“想想蒼蠅能做什么，” EPFL腦思維研究所的實(shí)驗(yàn)室Pavan Ramdya教授和EPFL計(jì)算機(jī)科學(xué)學(xué)院的Pascal Fua教授的實(shí)驗(yàn)室領(lǐng)導(dǎo)了這項(xiàng)研究。“蒼蠅可以爬過(guò)輪式機(jī)器人無(wú)法做到的地形。”
蠅并不完全對(duì)人類具有吸引力，不過(guò)我們可以適當(dāng)?shù)貙⑺麄兣c日常生活中令人垂涎的經(jīng)歷聯(lián)系在一起——機(jī)器人。事實(shí)證明，蒼蠅具有某些特性和能力，可以為機(jī)器人系統(tǒng)的新設(shè)計(jì)提供依據(jù)。
拉姆迪亞說(shuō)：“與大多數(shù)脊椎動(dòng)物不同，蒼蠅幾乎可以爬任何地形。” “它們可以粘在墻壁和天花板上，因?yàn)樗鼈兊耐燃馍嫌姓澈蠅|和爪子。這使它們基本上可以移動(dòng)到任何地方。這也很有趣，因?yàn)槿绻麑⑵浞旁谌魏伪砻嫔?，都可以通過(guò)等待來(lái)管理能量消耗在適當(dāng)?shù)臅r(shí)候采取行動(dòng)。”
正是這種提取飛行行為原理的構(gòu)想為機(jī)器人的設(shè)計(jì)提供了信息，從而推動(dòng)了DeepFly3D的發(fā)展，DeepFly3D是捕捉果蠅（Drosophila melanogaster）（一種幾乎在整個(gè)生物學(xué)中廣泛使用的模型生物）的運(yùn)動(dòng)系統(tǒng)而開發(fā)出來(lái)的。
在拉姆迪亞（Ramdya）的實(shí)驗(yàn)裝置中，蒼蠅在微型浮球之類的微小浮球上行走，而七個(gè)攝像頭記錄了它的每一次運(yùn)動(dòng)。蒼蠅的頂側(cè)被粘在一個(gè)固定的舞臺(tái)上，這樣當(dāng)它在球上行走時(shí)它始終保持在原位。然而，蒼蠅“相信”它正在自由運(yùn)動(dòng)。
果蠅的不同姿勢(shì)可以通過(guò)多臺(tái)攝像機(jī)捕獲，并使用DeepFly3D軟件進(jìn)行處理。
圖片來(lái)源：EPFL P. Ramdya
圖片來(lái)源：EPFL P. Ramdya
然后，由SemihGünel（博士）開發(fā)的深度學(xué)習(xí)軟件 DeepFly3D處理收集到的相機(jī)圖像。拉姆迪亞說(shuō)：“這是一個(gè)必要的，跨學(xué)科的合作和變革的典范。” “通過(guò)利用計(jì)算機(jī)科學(xué)和神經(jīng)科學(xué)，我們解決了長(zhǎng)期的挑戰(zhàn)。”
DeepFly3D的特殊之處在于，它可以推斷飛行中甚至其他動(dòng)物的3D姿態(tài)，這意味著它可以自動(dòng)預(yù)測(cè)并以空前的分辨率進(jìn)行行為測(cè)量，以用于各種生物學(xué)應(yīng)用。該軟件無(wú)需手動(dòng)校準(zhǔn)，它使用相機(jī)圖像自動(dòng)檢測(cè)并糾正在計(jì)算飛行姿勢(shì)時(shí)所犯的任何錯(cuò)誤。最后，它還使用主動(dòng)學(xué)習(xí)來(lái)提高自己的表現(xiàn)。
DeepFly3D開辟了一種方法，可以在三個(gè)維度上高效、準(zhǔn)確地對(duì)果蠅的運(yùn)動(dòng)，姿勢(shì)和關(guān)節(jié)角度建模。這可能會(huì)激發(fā)一種標(biāo)準(zhǔn)方法來(lái)自動(dòng)模擬其他生物中的3D姿勢(shì)。
拉姆迪亞說(shuō)：“果蠅作為模型有機(jī)體，很好地平衡了可處理性和復(fù)雜性。” “如果我們了解它是如何工作的，我們會(huì)對(duì)機(jī)器人技術(shù)和醫(yī)學(xué)產(chǎn)生重要影響，也許最重要的是，我們可以在相對(duì)較短的時(shí)間內(nèi)獲得這些見解。”
