“想想蒼蠅能做什么，” EPFL腦思維研究所的實(shí)驗室Pavan Ramdya教授和EPFL計算機(jī)科學(xué)學(xué)院的Pascal Fua教授的實(shí)驗室領(lǐng)導(dǎo)了這項研究。“蒼蠅可以爬過輪式機(jī)器人無法做到的地形。”
蠅并不完全對人類具有吸引力，不過我們可以適當(dāng)?shù)貙⑺麄兣c日常生活中令人垂涎的經(jīng)歷聯(lián)系在一起——機(jī)器人。事實(shí)證明，蒼蠅具有某些特性和能力，可以為機(jī)器人系統(tǒng)的新設(shè)計提供依據(jù)。
拉姆迪亞說：“與大多數(shù)脊椎動物不同，蒼蠅幾乎可以爬任何地形。” “它們可以粘在墻壁和天花板上，因為它們的腿尖上有粘合墊和爪子。這使它們基本上可以移動到任何地方。這也很有趣，因為如果將其放在任何表面上，都可以通過等待來管理能量消耗在適當(dāng)?shù)臅r候采取行動。”
正是這種提取飛行行為原理的構(gòu)想為機(jī)器人的設(shè)計提供了信息，從而推動了DeepFly3D的發(fā)展，DeepFly3D是捕捉果蠅（Drosophila melanogaster）（一種幾乎在整個生物學(xué)中廣泛使用的模型生物）的運(yùn)動系統(tǒng)而開發(fā)出來的。
在拉姆迪亞（Ramdya）的實(shí)驗裝置中，蒼蠅在微型浮球之類的微小浮球上行走，而七個攝像頭記錄了它的每一次運(yùn)動。蒼蠅的頂側(cè)被粘在一個固定的舞臺上，這樣當(dāng)它在球上行走時它始終保持在原位。然而，蒼蠅“相信”它正在自由運(yùn)動。
果蠅的不同姿勢可以通過多臺攝像機(jī)捕獲，并使用DeepFly3D軟件進(jìn)行處理。
圖片來源：EPFL P. Ramdya
圖片來源：EPFL P. Ramdya
然后，由SemihGünel（博士）開發(fā)的深度學(xué)習(xí)軟件 DeepFly3D處理收集到的相機(jī)圖像。拉姆迪亞說：“這是一個必要的，跨學(xué)科的合作和變革的典范。” “通過利用計算機(jī)科學(xué)和神經(jīng)科學(xué)，我們解決了長期的挑戰(zhàn)。”
DeepFly3D的特殊之處在于，它可以推斷飛行中甚至其他動物的3D姿態(tài)，這意味著它可以自動預(yù)測并以空前的分辨率進(jìn)行行為測量，以用于各種生物學(xué)應(yīng)用。該軟件無需手動校準(zhǔn)，它使用相機(jī)圖像自動檢測并糾正在計算飛行姿勢時所犯的任何錯誤。最后，它還使用主動學(xué)習(xí)來提高自己的表現(xiàn)。
DeepFly3D開辟了一種方法，可以在三個維度上高效、準(zhǔn)確地對果蠅的運(yùn)動，姿勢和關(guān)節(jié)角度建模。這可能會激發(fā)一種標(biāo)準(zhǔn)方法來自動模擬其他生物中的3D姿勢。
拉姆迪亞說：“果蠅作為模型有機(jī)體，很好地平衡了可處理性和復(fù)雜性。” “如果我們了解它是如何工作的，我們會對機(jī)器人技術(shù)和醫(yī)學(xué)產(chǎn)生重要影響，也許最重要的是，我們可以在相對較短的時間內(nèi)獲得這些見解。”
