如今，深度學(xué)習(xí)已經(jīng)在語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)等多個(gè)應(yīng)用領(lǐng)域取得了重大突破。然而，要說(shuō)到它在機(jī)器人領(lǐng)域的發(fā)展，那就要另當(dāng)別論了——深度學(xué)習(xí)在機(jī)器人領(lǐng)域，不僅發(fā)展速度慢，甚至還遭到很多人的質(zhì)疑。為什么呢？

 

　　究其原因，最重要的一點(diǎn)在于所需數(shù)據(jù)難以共享——將深度學(xué)習(xí)應(yīng)用到機(jī)器人領(lǐng)域，涉及到許多具體物理系統(tǒng)的表達(dá)。這意味著，所需數(shù)據(jù)往往是機(jī)器人領(lǐng)域的特定數(shù)據(jù)集。因此，研究人員在收集數(shù)據(jù)時(shí)，就要耗費(fèi)較多時(shí)間；而在處理和環(huán)境相交互的主動(dòng)系統(tǒng)時(shí)，則會(huì)更加費(fèi)時(shí)。

 

　　近日，來(lái)自魯汶大學(xué)的兩位研究人員Klaas Kelchtermans和Tinne Tuytelaars就為解決這一問(wèn)題展開(kāi)了研究，并將研究成果撰寫(xiě)成論文《How hard is it to cross the room ? - Training (Recurrent) Neural Networks to steer a UAV》，發(fā)布在了arXiv上。

 

　　摘要

 

　　我們研究了在無(wú)人機(jī)導(dǎo)航控制中采用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）代替前饋神經(jīng)網(wǎng)絡(luò)（FNN），是否能增加其活動(dòng)的靈活性。實(shí)驗(yàn)條件是：無(wú)人機(jī)在執(zhí)行高級(jí)導(dǎo)航任務(wù)時(shí)，需要用前視攝像頭收集信息。

 

　　為了讓無(wú)人機(jī)通過(guò)模仿學(xué)習(xí)學(xué)會(huì)執(zhí)行導(dǎo)航任務(wù)，我們建立了一個(gè)用來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)、可應(yīng)用于空中和陸地兩種交通工具的通用框架。實(shí)驗(yàn)中，我們把框架應(yīng)用于在模擬環(huán)境中飛行的無(wú)人機(jī)中，讓它學(xué)習(xí)如何穿越有多障礙物的房間。

 

　　到目前為止，無(wú)人機(jī)控制的訓(xùn)練過(guò)程中通常只使用前饋神經(jīng)網(wǎng)絡(luò)。為了處理更多高難度的任務(wù)，我們提出，引入循環(huán)神經(jīng)網(wǎng)絡(luò)代替前饋神經(jīng)網(wǎng)絡(luò)，并且訓(xùn)練一個(gè)長(zhǎng)短期存儲(chǔ)器（ LSTM）來(lái)控制無(wú)人機(jī)。

 

　　通過(guò)視覺(jué)信息進(jìn)行控制屬于序列預(yù)測(cè)問(wèn)題，并且需要高相關(guān)性的輸入數(shù)據(jù)。這一高相關(guān)性就使得訓(xùn)練神經(jīng)網(wǎng)絡(luò)，尤其是循環(huán)神經(jīng)網(wǎng)絡(luò)，變得不容易進(jìn)行。

 

　　為了克服這一問(wèn)題，我們?cè)谟?xùn)練網(wǎng)絡(luò)時(shí)采用了WW-TBPTT法（window-wise truncated backpropagation through time）。另外，考慮到端對(duì)端訓(xùn)練所需的數(shù)據(jù)通常無(wú)法獲得，我們將“只對(duì)全連接（FC）進(jìn)行再訓(xùn)練的控制層”和“只對(duì)長(zhǎng)短期存儲(chǔ)器控制層（所需網(wǎng)絡(luò)為端到端的訓(xùn)練）進(jìn)行再訓(xùn)練的控制層”的表現(xiàn)進(jìn)行了對(duì)比。

 

　　最后，通過(guò)讓無(wú)人機(jī)穿越有障礙物房間這一相對(duì)簡(jiǎn)單的實(shí)驗(yàn)，我們已經(jīng)能看出訓(xùn)練神經(jīng)控制網(wǎng)絡(luò)所具有的重要指導(dǎo)意義和其良好的實(shí)踐效果?？梢暬牟町愋杂兄诮忉専o(wú)人機(jī)學(xué)習(xí)到的行為。

 

　　如何讓無(wú)人機(jī)靈活穿越滿是障礙的房間？訓(xùn)練一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)試試看

 

　　實(shí)驗(yàn)變量：已知和未知的房間、無(wú)人機(jī)用不同構(gòu)架的神經(jīng)網(wǎng)絡(luò)和不同訓(xùn)練方法進(jìn)行控制、是否有攝像頭；

 

　　S-LSTM 用S-TBPTT訓(xùn)練、WW-LSTM用WW-TBPTT。

 

　　探討和結(jié)論

 

　　此研究中，我們測(cè)試了在導(dǎo)航控制中，存儲(chǔ)器（圖12）能如何幫助深度神經(jīng)網(wǎng)絡(luò)更高效地運(yùn)作。

 

　　結(jié)果表明，用WW-TBPTT去除訓(xùn)練數(shù)據(jù)的相關(guān)性，在訓(xùn)練如長(zhǎng)短期存儲(chǔ)器這樣的循環(huán)神經(jīng)網(wǎng)絡(luò)時(shí)，極其有幫助。盡管使用WW-TBPTT 法會(huì)使實(shí)驗(yàn)方差增大，計(jì)算存儲(chǔ)值的過(guò)程也使訓(xùn)練變慢（如圖12最右邊一組條形圖），但它能通過(guò)時(shí)間長(zhǎng)度有效避免滑動(dòng)截?cái)喾聪騻鞑サ捻樞蚱睿╰he sequential bias of sliding truncated back propagation）。

 

　　另外，實(shí)驗(yàn)結(jié)果表明，預(yù)先訓(xùn)練網(wǎng)絡(luò)也非常有意義。在導(dǎo)航控制試驗(yàn)中，僅僅重訓(xùn)練最后一層卷積網(wǎng)絡(luò)全連接層（如Inception），比訓(xùn)練端對(duì)端訓(xùn)練網(wǎng)絡(luò)表現(xiàn)更好。訓(xùn)練端對(duì)端網(wǎng)絡(luò)不僅需要更多數(shù)據(jù)，而且時(shí)間也更長(zhǎng)。也正是上述這個(gè)原因，機(jī)器人（雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))注：這里指無(wú)人機(jī)）在實(shí)際應(yīng)用中才不夠靈活。

 

　　我們將公開(kāi)“穿過(guò)房間一”和“穿過(guò)房間二”兩次實(shí)驗(yàn)的數(shù)據(jù)集（它們代表了實(shí)驗(yàn)所需數(shù)據(jù)的復(fù)雜程度），讓其他研究人員能以此為參考標(biāo)準(zhǔn)，學(xué)習(xí)導(dǎo)航控制。

 

　　最后，我們還想強(qiáng)調(diào)，想要打開(kāi)深度學(xué)習(xí)這個(gè)黑箱子，差異化評(píng)價(jià)法和可視化是非常有必要的。