
還記得年初三星推出的車尾有四塊屏幕的安全貨車嗎?通過安裝在車頭的攝像頭加屏幕,后面的汽車可以“透視”貨車,從而在超車時了解前方路況,減少車禍。在今年的IROS 2016上,韓國科學(xué)技術(shù)院KAIST的機器人與計算機視覺實驗室也展示了一項類似的技術(shù),但他們沒用屏幕這種粗暴的方式,而是做到了真正讓汽車擁有透視能力。
簡單來說,KAIST的團隊在前后兩輛汽車上都裝上了攝像頭,前車所看到的信息會通過WiFi網(wǎng)絡(luò)傳到后車,并置于后車視野中的適當(dāng)位置,這樣就可以在車載屏幕上看到前車視野中的信息了(效果如下圖)。相關(guān)的論文也已經(jīng)發(fā)表。

圖中黃色的標(biāo)記其實是題圖中灰色的起亞
這種技術(shù)在超車時特別有用,想必老司機都經(jīng)歷過前有大卡車擋路,但不敢隨便超車的情況吧。
雖然過程描述起來很簡單,但真正實現(xiàn)并沒有那么容易。這項技術(shù)中,前車配備了兩個攝像頭,負(fù)責(zé)采集3D景物圖像;后車有一個攝像頭,負(fù)責(zé)估計與追蹤前車的相對位置。

前車的兩個攝像頭

后車攝像頭
這樣,前車采集到的圖像就可以通過相對位置投影到后車的視線里。因為只要有了攝像機的位姿(pose)和景物的3D數(shù)據(jù),任何AR顯示都只是算投影而已。
新加坡南洋理工一位視覺方面的研究者告訴雷鋒網(wǎng),這里最難的一個是實時處理,一個是攝像頭位姿估計的準(zhǔn)確性,對于后者,目前都沒有真正很好的實時估計算法。
而這也得到了KAIST團隊的確認(rèn),他們表示在城市環(huán)境中實現(xiàn)SLAM,以及后車的實時定位都是很困難的事。
論文作者之一的Hyowon Ha告訴雷鋒網(wǎng)(搜索“雷鋒網(wǎng)”公眾號關(guān)注),開發(fā)中的主要困難是在算法和網(wǎng)絡(luò)上。后車要在持續(xù)變化的環(huán)境中實現(xiàn)定位,才能將前車的圖像準(zhǔn)確置于視野中,這是一個很大的挑戰(zhàn)。在網(wǎng)絡(luò)上,現(xiàn)在他們用的是汽車到汽車(V2V)WiFi網(wǎng)絡(luò)傳輸圖像,未來還會用到5G技術(shù)。

前車中布滿了數(shù)據(jù)線
目前,KAIST已經(jīng)可以做到實時在后車上顯示前車看到的圖像,視頻幀率約在15幀每秒,延時小于100ms。他們還在KAIST園區(qū)做了實驗,并在德國做了DEMO。

等待測試的兩輛汽車
論文另一作者Francois Rameau表示,現(xiàn)在已經(jīng)有一家德國公司在與團隊合作,考慮將這一技術(shù)用在實際場景中。他同時表示,未來還會提升系統(tǒng)的穩(wěn)定性,以適應(yīng)多種天氣環(huán)境、光照條件和時間,除了透視,也還會加入場景理解與識別功能。

測試中用的前車
不過這項技術(shù)是否真那么實用呢?有人指出,如果真要規(guī)避前面障礙,用雷達(dá)就好了,但這項技術(shù)確實在視覺領(lǐng)域有一定的難度。

測試中的后車
不過想那么多干什么呢,目前看起來很酷就好了。