文/稚暉君
關(guān)于這個(gè)問題，剛好我在大學(xué)的時(shí)候，做過類似的項(xiàng)目，探索過一陣。
機(jī)器人實(shí)物圖
下面我也基于我以前做的項(xiàng)目進(jìn)行簡(jiǎn)單地分析一下接球機(jī)器人可能用到的一些CV方法。
這篇paper的鏈接在這里：
關(guān)于這個(gè)問題，剛好我在大學(xué)的時(shí)候，做過類似的項(xiàng)目，探索過一陣。
機(jī)器人實(shí)物圖
傳統(tǒng)CV范疇（其實(shí)更偏機(jī)器視覺），與之相對(duì)應(yīng)的就是現(xiàn)在如日中天的基于深度學(xué)習(xí)的相關(guān)CV技術(shù)。當(dāng)然傳統(tǒng)的方法有傳統(tǒng)方法所專長(zhǎng)的領(lǐng)域，比如測(cè)量、定位等，機(jī)器人接球，就可以用到其中的很多技術(shù)，比如基于幾何約束的雙目視覺。
經(jīng)典的CV方法的特點(diǎn)在于其簡(jiǎn)潔和可解釋性，知其然也知其所以然，每一步我們都可以知道其作用是什么；但是如果是涉及到跟復(fù)雜特征提取檢測(cè)相關(guān)的，那么顯然上深度學(xué)習(xí)會(huì)有效許多，可以把對(duì)手工設(shè)計(jì)特征的要求，轉(zhuǎn)嫁到對(duì)數(shù)據(jù)的采集標(biāo)注和清洗，即便有一定的黑盒特性，但是目前DL領(lǐng)域各種SOTA model的效果是有目共睹的。
下面我也基于我以前做的項(xiàng)目進(jìn)行簡(jiǎn)單地分析一下接球機(jī)器人可能用到的一些CV方法。
首先顯然的，要接球，就必須知道球的位置和速度信息，也就能夠?qū)η蜻M(jìn)行檢測(cè)識(shí)別。
對(duì)球的識(shí)別我們可以有很多方法去做，由于球的特征相對(duì)來說是比較簡(jiǎn)單的（有很明顯的形狀、顏色、紋理特征），所以這一步使用傳統(tǒng)CV的方法就完全可以勝任了。
這里以乒乓球?yàn)槔峁┮恍┧悸罚?/span>
由于我們所處三維空間，要想獲取一個(gè)物體的空間坐標(biāo)只靠二維圖像相機(jī)是肯定不行的（目前有一些基于深度學(xué)習(xí)的RGB圖像深度估計(jì)方法，但是理論上都是根據(jù)先驗(yàn)知識(shí)去腦補(bǔ)，精度在這個(gè)應(yīng)用里無法達(dá)到要求）。多目視覺可以在這里提供一個(gè)很好的解決方案，實(shí)際上目前幾乎所有能打球的機(jī)器人也都是采用多目相機(jī)系統(tǒng)來跟蹤球的運(yùn)動(dòng)，比如新松機(jī)器人、歐姆龍的乒乓球機(jī)器人、電子科大的羽毛球機(jī)器人等等都是這個(gè)思路。
科大的羽毛球機(jī)器人視覺系統(tǒng)
多目視覺的意義在于，一方面可以增加感知系統(tǒng)監(jiān)視覆蓋的區(qū)域；另一方面通過兩個(gè)或更多相機(jī)捕捉的同一時(shí)刻的目標(biāo)位置，根據(jù)幾何約束關(guān)系求解出目標(biāo)的實(shí)際三維空間坐標(biāo)。求解的方法一般都是根據(jù)多目視差，當(dāng)然前提是要先做好相機(jī)內(nèi)外參數(shù)的標(biāo)定（因?yàn)楝F(xiàn)實(shí)世界里不存在理想鏡頭，為了提高精度需要對(duì)各種鏡頭畸變做預(yù)先矯正）。
鏡頭畸變示意圖
至于相機(jī)的標(biāo)定方法像是OpenCV、Halcon、Matlab等都有相關(guān)工具可以自行去了解一下。
然后是單個(gè)攝像頭圖像里的目標(biāo)識(shí)別，在接球這個(gè)應(yīng)用里面，我們可以認(rèn)為攝像機(jī)是位置固定的（區(qū)別于拿著手機(jī)這樣的情景），所以其實(shí)有一些很實(shí)用的方法可以用來簡(jiǎn)化模型。
比如我們首先利用進(jìn)行高斯混合模型（GMM）甚至簡(jiǎn)單的差幀等方法，來進(jìn)行背景去除（下一幀畫面減去上一幀畫面，就可以只得到圖像中變化了的部分），這對(duì)于運(yùn)動(dòng)物體的跟蹤是很有幫助的，去除了絕大部分干擾信息。接下來以篩選到的區(qū)域?yàn)楹诵?，進(jìn)行一些簡(jiǎn)單的形態(tài)學(xué)處理（腐蝕、膨脹等）消除噪點(diǎn)并擴(kuò)大主要選取，這樣就把目標(biāo)搜索范圍限制在了很小的局部區(qū)域內(nèi)。
得到了搜索的選取ROI，就可以利用一些球的其他特征進(jìn)行精確檢測(cè)了，比如色彩空間、形狀檢測(cè)等，再結(jié)合多個(gè)相機(jī)圖像的檢測(cè)結(jié)果做視差計(jì)算，就可以得到球的三維空間坐標(biāo)了。
當(dāng)然只是這樣的話還比較粗糙，tracking by detection很多時(shí)候并不可靠，指望每一幀都能成功檢測(cè)到目標(biāo)太理想化了。這時(shí)候有必要引入一些跟蹤器方法，比如卡爾曼、光流、相關(guān)性濾波器等等，總之就是在檢測(cè)丟幀期間做合理的插補(bǔ)，同時(shí)穩(wěn)定輸出。
當(dāng)然這只是實(shí)現(xiàn)了視覺系統(tǒng)，要想讓機(jī)器人準(zhǔn)確接球的話，機(jī)械結(jié)構(gòu)和機(jī)電控制算法也極其重要，要展開來講的話就是個(gè)很龐大的問題了。
除了傳統(tǒng)的CV技術(shù)，深度學(xué)習(xí)的發(fā)展其實(shí)也給這個(gè)領(lǐng)域帶來了很多可能性。
最典型的比如人體關(guān)鍵點(diǎn)的檢測(cè)和姿態(tài)識(shí)別：把機(jī)器視覺的焦點(diǎn)從球擴(kuò)展到了包括發(fā)球的人在內(nèi)。大家都知道專業(yè)的運(yùn)動(dòng)員是可以考觀察發(fā)球動(dòng)作就大致預(yù)判出球路的，而如果機(jī)器也具備這樣的感知能力，無疑對(duì)于接球有極大幫助。
如果再進(jìn)一步呢？不光能識(shí)別出人的姿態(tài)，甚至可以“預(yù)知”人的動(dòng)作呢？
東京工業(yè)大學(xué)的研究小組就設(shè)計(jì)了一套名為“FuturePose”的系統(tǒng)，通過深度學(xué)習(xí)能預(yù)測(cè) 0.5 秒后對(duì)手的動(dòng)作。
該方法通過殘差網(wǎng)絡(luò)來提取RGB圖像特征，以估計(jì)對(duì)手的2D位置，然后將該位置輸入到 LSTM中學(xué)習(xí)時(shí)序特征，并且預(yù)測(cè)未來的2D位置，通過從一個(gè) RGB 相機(jī)捕獲的圖像中，從 30 fps（1幀= 1/30秒）圖像中預(yù)測(cè)15幀，即0.5秒后的動(dòng)作，得到下面的效果：
這篇paper的鏈接在這里：
https://ieeexplore.ieee.org/abstract/document/8658594
方法的實(shí)用性有待進(jìn)一步檢驗(yàn)，但是我覺得這個(gè)方向是很有創(chuàng)意的。
