近年來(lái)，研究人員一直在嘗試開能發(fā)使機(jī)器人學(xué)習(xí)新技能的方法。一種選擇是讓機(jī)器人從人類那里學(xué)習(xí)這些新技能，在不確定如何操作時(shí)從人類用戶的反應(yīng)中學(xué)習(xí)。

 

　　斯坦福大學(xué)的研究團(tuán)隊(duì)最近開發(fā)了另一種用戶友好的主動(dòng)獎(jiǎng)勵(lì)學(xué)習(xí)方法，可通過(guò)讓人類用戶回答他們的問題來(lái)訓(xùn)練機(jī)器人。在arXiv上預(yù)發(fā)表的一篇論文中提出的這種新方法可以訓(xùn)練機(jī)器人主動(dòng)提出一些問題，這些問題對(duì)于人類用戶來(lái)說(shuō)很容易回答，并且不是多余或不必要的，但對(duì)于機(jī)器人來(lái)說(shuō)這使得他們學(xué)習(xí)。

　　研究人員通過(guò)電子郵件告訴記者：“我們的團(tuán)隊(duì)對(duì)機(jī)器人如何學(xué)習(xí)人類想要的東西很感興趣。” “一種直觀的學(xué)習(xí)方式是通過(guò)提問。例如，您寧愿謹(jǐn)慎駕駛還是主動(dòng)駕駛自動(dòng)駕駛汽車？這種自動(dòng)駕駛汽車應(yīng)該在人類駕駛的汽車之前還是之后合并？”這項(xiàng)最新研究背后的主要假設(shè)是，理想情況下，機(jī)器人應(yīng)該問一些有益的問題，以從人類用戶那里獲取盡可能多的信息。換句話說(shuō)，高學(xué)習(xí)能力的機(jī)器人應(yīng)該能夠通過(guò)問盡可能少的問題，來(lái)理解人類的需求或想要他們做什么。

 

　　但是，實(shí)際上，大多數(shù)基于問題回答的現(xiàn)有培訓(xùn)方法，都沒有考慮人類用戶回答機(jī)器人提出的特定問題有多么容易。這通常會(huì)導(dǎo)致用戶浪費(fèi)時(shí)間來(lái)回答大量不必要的問題或無(wú)法確定地進(jìn)行響應(yīng)。

 

　　研究人員說(shuō)：“我們發(fā)現(xiàn)大多數(shù)最先進(jìn)的算法都顯示出（幾乎）無(wú)法區(qū)分的人類替代方案，從而使人們無(wú)法正確回答機(jī)器人的問題。” “以我們的示例為例，這些方法可能會(huì)問：“您是否希望以29 mph或31 mph的速度在人工駕駛汽車前合并？”這對(duì)于機(jī)器人決定是否在人們希望時(shí)速超過(guò)30英里/小時(shí)，但這種選擇（對(duì)于人來(lái)說(shuō)）太接近了，人們無(wú)法可靠地做出響應(yīng)。”

 

　　為了克服現(xiàn)有主動(dòng)學(xué)習(xí)方法的局限性，研究人員開發(fā)了一種算法，可以選擇更有效的問題來(lái)詢問用戶。該算法確定的問題最大程度地減少了機(jī)器人對(duì)人類用戶偏好的不確定性（即，使信息獲取最大化），同時(shí)還考慮了人類用戶回答這些問題的難易程度。

 

　　研究人員說(shuō)：“受先前工作的缺點(diǎn)的啟發(fā)，當(dāng)我們開發(fā)這種算法時(shí)，我們專注于考慮人類實(shí)際回答機(jī)器人提出的問題的能力。” “這是基于這樣的思想，即只有負(fù)責(zé)人類回答能力的機(jī)器人才能準(zhǔn)確，高效地學(xué)習(xí)人類的需求。”

 

　　研究人員通過(guò)測(cè)量熵的減少（即不確定性的量度）來(lái)計(jì)算信息增益，該熵的減少是根據(jù)機(jī)器人提出的問題對(duì)人類用戶的偏好進(jìn)行的。換句話說(shuō)，最大化信息增益的問題將最大程度地減少機(jī)器人對(duì)人類用戶的喜好有什么不確定性。這為機(jī)器人提供了一個(gè)正式的目標(biāo)，他們可以用來(lái)選擇最有用的問題。

 

　　“信息增益的一個(gè)很好的特點(diǎn)是它固有地最大化了機(jī)器人的不確定性（這樣機(jī)器人就可以從這個(gè)問題中學(xué)到很多東西），同時(shí)也使人類的不確定性最小化（這樣，這個(gè)問題對(duì)人類來(lái)說(shuō)是容易回答的）。使用信息增益生成問題，從而提高主動(dòng)學(xué)習(xí)，不僅是因?yàn)閱栴}是最大的信息，但也因?yàn)槿祟愄峁└俚腻e(cuò)誤反應(yīng)。

 

　　研究人員設(shè)計(jì)的方法貪婪地選擇在每一個(gè)時(shí)間步長(zhǎng)最大化信息增益的問題。從本質(zhì)上講，機(jī)器人對(duì)與之交互的用戶的偏好保持一種信念（即概率分布），并從這種信念和可能的問題空間中獲取樣本。

 

　　最終，機(jī)器人選擇的問題是，在當(dāng)前可能的人類偏好分布中，提供最多的信息增益。隨后，它會(huì)根據(jù)收到的答案更新用戶想要什么的答案。這個(gè)過(guò)程不斷重復(fù)，讓機(jī)器人通過(guò)學(xué)習(xí)用戶的偏好逐漸提高性能。
 

圖片來(lái)源：B?y?k等

 

　　研究人員說(shuō)：“我們制定了一種計(jì)算簡(jiǎn)便的方法，可以讓我們快速發(fā)現(xiàn)人類對(duì)真實(shí)機(jī)器人任務(wù)的偏好，優(yōu)于以往的方法。”在我們的研究中，用戶更喜歡我們的方法，而不是其他最先進(jìn)的技術(shù)。”

 

　　在他們的研究中，斯坦福大學(xué)的團(tuán)隊(duì)表明，訓(xùn)練機(jī)器人提問最大化信息增益與最先進(jìn)的方法具有相同的計(jì)算復(fù)雜性。換句話說(shuō)，與其他方法產(chǎn)生的問題相比，機(jī)器人發(fā)現(xiàn)這些信息性問題并不難。

 

　　最終，機(jī)器人選擇了在可能的人類偏好的當(dāng)前分布范圍內(nèi)提供最大信息收益的問題。隨后，它根據(jù)收到的答案更新對(duì)用戶想要的信念。該過(guò)程不斷重復(fù)進(jìn)行，從而使機(jī)器人可以通過(guò)了解用戶的偏好來(lái)逐漸提高其性能。

 

　　研究人員說(shuō)：“我們還指出，我們的方法具有一些理想的數(shù)學(xué)特性，例如亞模量，這使我們能夠采用為先前方法開發(fā)的擴(kuò)展和理論界限，并將其與我們的方法一起使用。” “例如，我們可以使用先前的著作來(lái)一次查找多個(gè)信息性問題，而不是一次搜索一個(gè)問題。”

 

　　該團(tuán)隊(duì)通過(guò)一系列模擬評(píng)估了他們的主動(dòng)獎(jiǎng)勵(lì)學(xué)習(xí)方法，發(fā)現(xiàn)該方法使機(jī)器人能夠比其他最新方法更快，更準(zhǔn)確地掌握人類的喜好。在人們可以正確回答難題或回答為“我不知道”的情況下，也是如此。

 

　　研究人員還進(jìn)行了一項(xiàng)用戶研究，其中要求人類參與者回答由他們的方法產(chǎn)生的問題，以及使用其他最新方法產(chǎn)生的其他問題。他們收集的反饋表明，人們發(fā)現(xiàn)用他們的方法所產(chǎn)生的問題要容易回答得多。另外，用戶通常認(rèn)為使用新方法的機(jī)器人比以前提出的方法更能準(zhǔn)確地表達(dá)自己的偏好。

 

　　研究人員說(shuō)：“綜合考慮我們所有的貢獻(xiàn)，我們朝著使機(jī)器人能夠確定人的偏好邁出了一步。” “我們證明了我們最初希望機(jī)器人最大化的真正目標(biāo)——提出問題以獲取盡可能多的信息，這可以用與現(xiàn)有方法相同的計(jì)算復(fù)雜性來(lái)解決。”

 

　　將來(lái)，由這組研究人員開發(fā)的主動(dòng)獎(jiǎng)勵(lì)學(xué)習(xí)技術(shù)可以幫助更有效地訓(xùn)練機(jī)器人，使它們更符合用戶的喜好。此外，它還可用于教機(jī)器人問人類可以輕松理解和回答的問題。在未來(lái)的研究中，研究人員還希望研究訓(xùn)練機(jī)器人的方法，以對(duì)其動(dòng)作進(jìn)行有用的解釋。

 

　　研究人員說(shuō)：“我們對(duì)機(jī)器人感到興奮，它們不僅能提出好問題，還能解釋為什么會(huì)提出這些問題。”我們?cè)O(shè)想這樣一個(gè)場(chǎng)景：一輛自動(dòng)駕駛汽車將人類兩種不同的合并方案可視化，然后說(shuō)明它之所以詢問這些方案，是因?yàn)楝F(xiàn)在正是交通高峰時(shí)間，它想確定自己的行為是否應(yīng)該更積極。”