谷歌機(jī)器人研究部門在一篇博客文章中表示，他們正在研究如何讓機(jī)器人自己進(jìn)行長距離移動。高級研究科學(xué)家Aleksandra Faust和高級機(jī)器人軟件工程師Anthony Francis表示：“僅在美國，就有300萬人患有行動障礙，無法出門，機(jī)器可以幫助行動不便的人做一些簡單的事情，比如拿食品、藥品或包裹等。”

 

　　在某種程度上，通過使用強(qiáng)化學(xué)習(xí)（RL）可以做到這一點(diǎn)，這是一種人工智能訓(xùn)練技術(shù)，它利用獎勵來驅(qū)動個體朝著目標(biāo)前進(jìn)。福斯特、弗朗西斯和他的同事們將強(qiáng)化學(xué)習(xí)與長距離規(guī)劃路線結(jié)合起來，編出能夠安全穿越短距離（約15米）且不會撞上移動障礙物的程序。他們利用AutoRL，一個自動搜索強(qiáng)化學(xué)習(xí)獎勵和神經(jīng)網(wǎng)絡(luò)架構(gòu)的工具，在模擬環(huán)境中進(jìn)行訓(xùn)練，再使用經(jīng)過訓(xùn)練的程序構(gòu)建路線圖，或由節(jié)點(diǎn)（位置）和邊組成圖。

 

 

　　使用傳統(tǒng)RL方法的訓(xùn)練，仍存在許多問題，比如它需要花費(fèi)時(shí)間迭代和手工調(diào)整獎勵，并在人工智能架構(gòu)方面不夠明智，更不用說減輕遺忘，這種現(xiàn)象是指人工智能系統(tǒng)在學(xué)習(xí)新信息時(shí)，突然忘記了以前學(xué)過的信息。

 

　　AutoRL試圖通過兩個階段來解決這個問題，獎勵搜索和神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索。在第一階段， 每個獎勵功能略有不同，在這個階段的最后，通常會選擇將帶到其目的地的獎勵。神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索階段本質(zhì)上是第一階段的重復(fù)，但使用選定的獎勵來優(yōu)化網(wǎng)絡(luò)，并對累積獎勵進(jìn)行優(yōu)化。

 

　　這個自動化的訓(xùn)練過程，可以減輕模型的遺忘情況，并且與現(xiàn)有技術(shù)相比，由此產(chǎn)生的策略的質(zhì)量更高（導(dǎo)航任務(wù)的質(zhì)量提高了26%），它們甚至足夠強(qiáng)大，可以在非結(jié)構(gòu)化環(huán)境中引導(dǎo)機(jī)器人。

 

　　AutoRL制定的策略，對本地導(dǎo)航很有幫助，但遠(yuǎn)程導(dǎo)航就需要用到概率路線圖了，它們是基于采樣的規(guī)劃器的一個子類，對機(jī)器人的姿態(tài)進(jìn)行采樣，創(chuàng)建符合機(jī)器人特性的路線圖。

 

　　福斯特和弗朗西斯解釋說：“首先，我們在一個通用的模擬訓(xùn)練環(huán)境中對機(jī)器人進(jìn)行訓(xùn)練，訓(xùn)練一個本地規(guī)劃策略。再根據(jù)該策略構(gòu)建一個PRM，稱為PRM-rl，它位于部署環(huán)境的平鋪圖之上，相同的平面圖可以用于任何機(jī)器人。”

 

　　為了評估PRM-RL，谷歌的研究人員使用比培訓(xùn)環(huán)境大200倍的辦公室樓層地圖構(gòu)建了一個路線圖，在20次試驗(yàn)中，成功率達(dá)90%以上。