近日，一項(xiàng)發(fā)表于IEEE的研究成果引發(fā)機(jī)器人領(lǐng)域廣泛關(guān)注。來(lái)自越南河內(nèi)工業(yè)大學(xué)、中國(guó)臺(tái)灣科技大學(xué)、日本芝浦工業(yè)大學(xué)等機(jī)構(gòu)的科研團(tuán)隊(duì)，成功研發(fā)出一種基于手眼相機(jī)的工業(yè)機(jī)器人視覺(jué)抓取與放置控制系統(tǒng)，為工業(yè)機(jī)器人智能化升級(jí)提供了關(guān)鍵技術(shù)支撐。

在工業(yè)生產(chǎn)中，機(jī)器人與視覺(jué)系統(tǒng)的融合至關(guān)重要，但現(xiàn)有方案存在諸多難題。此前不少研究局限于模擬環(huán)境，在實(shí)際應(yīng)用時(shí)，機(jī)器人與相機(jī)坐標(biāo)系對(duì)齊困難，數(shù)據(jù)準(zhǔn)確性也難以保證。并且，使用工業(yè)相機(jī)成本高昂，基于2D相機(jī)的研究又常面臨實(shí)時(shí)坐標(biāo)系同步等挑戰(zhàn)。針對(duì)這些問(wèn)題，該研究提出創(chuàng)新解決方案。

研究團(tuán)隊(duì)采用低成本2D相機(jī)，將其安裝在機(jī)器人手臂末端，并結(jié)合深度學(xué)習(xí)算法。系統(tǒng)核心是融合YOLOv7深度學(xué)習(xí)網(wǎng)絡(luò)與GAN（生成對(duì)抗網(wǎng)絡(luò)）。YOLOv7以其快速推理和高準(zhǔn)確率優(yōu)勢(shì)，成為物體檢測(cè)的基礎(chǔ)框架，能夠快速識(shí)別出機(jī)器人工作空間內(nèi)的物體。GAN則用于生成更逼真、多樣的數(shù)據(jù)，輔助訓(xùn)練圖像分類算法，即便在真實(shí)數(shù)據(jù)有限的情況下，也能有效提升物體檢測(cè)精度。

YOLOv7的整體網(wǎng)絡(luò)架構(gòu)

為實(shí)現(xiàn)相機(jī)與機(jī)器人坐標(biāo)系的精準(zhǔn)同步，研究人員利用方格棋盤圖案進(jìn)行校準(zhǔn)。通過(guò)特定算法計(jì)算，得出相機(jī)的內(nèi)參和外參，將相機(jī)獲取的物體坐標(biāo)準(zhǔn)確轉(zhuǎn)換為機(jī)器人坐標(biāo)系下的坐標(biāo)，保障機(jī)器人精確抓取和放置物體。

標(biāo)定系統(tǒng)和視攝像頭

相機(jī)的校準(zhǔn)在工作范圍內(nèi)進(jìn)行

在機(jī)器人運(yùn)動(dòng)控制方面，研究針對(duì)6自由度協(xié)作機(jī)器人的復(fù)雜運(yùn)動(dòng)學(xué)問(wèn)題，運(yùn)用矩陣變換法計(jì)算機(jī)器人的正向和逆向運(yùn)動(dòng)學(xué)參數(shù)。通過(guò)數(shù)值逆運(yùn)動(dòng)學(xué)求解器和雅可比線性化方法，實(shí)現(xiàn)機(jī)器人在笛卡爾空間的平滑運(yùn)動(dòng)控制，確保機(jī)器人準(zhǔn)確到達(dá)目標(biāo)位置，穩(wěn)定抓取和放置物體。

求解逆運(yùn)動(dòng)學(xué)過(guò)程的數(shù)值方法

科研團(tuán)隊(duì)對(duì)該系統(tǒng)進(jìn)行了全面測(cè)試。在仿真實(shí)驗(yàn)中，利用RoboDK軟件模擬機(jī)器人工作場(chǎng)景，結(jié)果顯示其在不同姿態(tài)下均能精準(zhǔn)定位目標(biāo)，且正向和逆向運(yùn)動(dòng)學(xué)計(jì)算精度與以往研究相近，但仿真過(guò)程更簡(jiǎn)便高效。

RoboDK在仿真中的應(yīng)用

在實(shí)際實(shí)驗(yàn)里，使用3種不同物體進(jìn)行測(cè)試，經(jīng)200輪訓(xùn)練，系統(tǒng)物體檢測(cè)精度超94%。機(jī)器人可按預(yù)設(shè)流程，準(zhǔn)確抓取和放置物體，每小時(shí)能處理220 - 250個(gè)產(chǎn)品，展現(xiàn)出強(qiáng)大的實(shí)用價(jià)值。

機(jī)械臂拾取和放置物體

該研究成果意義重大，為工業(yè)機(jī)器人發(fā)展開辟新方向。低成本2D相機(jī)的使用，大幅降低系統(tǒng)成本，同時(shí)保證高精度操作；YOLOv7與GAN的融合，提高物體識(shí)別的準(zhǔn)確性和適應(yīng)性；棋盤格校準(zhǔn)方法實(shí)現(xiàn)相機(jī)與機(jī)器人坐標(biāo)系的實(shí)時(shí)同步；系統(tǒng)在仿真和實(shí)際環(huán)境中的良好表現(xiàn)，驗(yàn)證了其可行性和有效性。未來(lái)，研究團(tuán)隊(duì)計(jì)劃探索YOLOv8、YOLOv10等算法在系統(tǒng)中的應(yīng)用，并嘗試在更先進(jìn)的3D設(shè)備上進(jìn)行測(cè)試，致力于打造更靈活、高效的機(jī)器人控制系統(tǒng)，推動(dòng)工業(yè)自動(dòng)化發(fā)展。