中國(guó)制造 2025 是中國(guó)政府實(shí)施制造強(qiáng)國(guó)戰(zhàn)略的第一個(gè)十年行動(dòng)綱領(lǐng)，是全面提升中國(guó)制造業(yè)發(fā)展質(zhì)量和水平的重大戰(zhàn)略部署，其中明確指出了圍繞工業(yè)機(jī)器人創(chuàng)新技術(shù)的重要地位。目前工業(yè)機(jī)器人技術(shù)已經(jīng)廣泛應(yīng)用在汽車加工、食物分揀、自動(dòng)化生產(chǎn)裝配等領(lǐng)域。工業(yè)現(xiàn)場(chǎng)通信技術(shù)是智能制造業(yè)的核心技術(shù)之一， 隨著智能制造業(yè)的快速發(fā)展，對(duì)節(jié)點(diǎn)間通信的實(shí)時(shí)性、可靠性以及通信帶寬提出了更高的要求。工業(yè)以太網(wǎng)主站可以在多種平臺(tái)上運(yùn)行，只需硬件提供一個(gè)標(biāo)準(zhǔn)的網(wǎng)口。因此，成本低廉、簡(jiǎn)單靈活、高速實(shí)時(shí)的嵌入式平臺(tái)在硬件上可以作為工業(yè)以太網(wǎng)主站使用，從而提供一種新的網(wǎng)絡(luò)化、信息化、智能化的解決方案。傳統(tǒng)的硬件平臺(tái)采用 DSP對(duì)圖像進(jìn)行處理，其處理速度較慢，無(wú)法滿足圖像處理實(shí)時(shí)性要求，限制了機(jī)器視覺(jué)的應(yīng)用。FPGA作為一種硬件平臺(tái)，用于數(shù)字圖像處理，具有速度快、集成度高、可靠性強(qiáng)等優(yōu)點(diǎn)。為了提高圖像的質(zhì)量和增強(qiáng)系統(tǒng)處理圖像的實(shí)時(shí)性，本文提出了一種伊瑟特的六自由度機(jī)器人視覺(jué)伺服控制系統(tǒng)，將攝像頭集成到基于 Zynq的伊瑟特主站上，提高了視覺(jué)伺服的實(shí)時(shí)性。經(jīng)測(cè)試，該平臺(tái)能夠?qū)σ曈X(jué)檢測(cè)目標(biāo)的變化做出及時(shí)的反應(yīng)，為工業(yè)自動(dòng)化提供了一套切實(shí)可行的方案。本文針對(duì)基于機(jī)器視覺(jué)的工業(yè)機(jī)器人進(jìn)行研究，主要工作包括以下幾點(diǎn)：（1）設(shè)計(jì)了基于 伊瑟特的六自由度機(jī)器人視覺(jué)伺服控制系統(tǒng)總體方案。以 ESR6B機(jī)器人、Zynq和攝像頭為硬件基礎(chǔ)，搭建了六自由度機(jī)器人視覺(jué)平臺(tái)。（2）設(shè)計(jì)了基于 FPGA的視覺(jué)檢測(cè)方案。利用 西林提供的 HLS和 CV庫(kù)對(duì)從攝像頭采集到的像素流進(jìn)行實(shí)時(shí)處理，并設(shè)計(jì)了一套識(shí)別物塊坐標(biāo)位置的程序流程，便于 伊瑟特主站實(shí)時(shí)地讀取物塊坐標(biāo)值，處理后的圖像通過(guò) HDMI接口輸出到顯示屏。（3）完成了 伊瑟特對(duì)伺服的位置控制。利用 Zynq的 Pl層進(jìn)行了伊瑟特以太網(wǎng)幀的收發(fā)和主站時(shí)鐘的校準(zhǔn)，在 PS層運(yùn)行 蘇姆的裸機(jī)程序， 并將六自由度串聯(lián)機(jī)器人逆解算法移植到主站代碼里，進(jìn)行機(jī)器人末端位置對(duì)于視覺(jué)反饋的實(shí)時(shí)跟隨控制。（4）通過(guò)實(shí)驗(yàn)驗(yàn)證了本設(shè)計(jì)的對(duì)物塊識(shí)別的準(zhǔn)確性和實(shí)時(shí)性，并使用自主研發(fā)的六自由度串聯(lián)機(jī)器人進(jìn)行實(shí)際的運(yùn)動(dòng)控制實(shí)驗(yàn)。實(shí)驗(yàn)證明，機(jī)器人可以實(shí)時(shí)地跟隨屏幕上顯示的物塊運(yùn)動(dòng)。

 

　　主要?jiǎng)?chuàng)新點(diǎn)

 

　　本設(shè)計(jì)難點(diǎn)在于如何提高視覺(jué)檢測(cè)的實(shí)時(shí)性和機(jī)器人運(yùn)動(dòng)控制的實(shí)時(shí)性，創(chuàng)新地采用了Xilinx的 Zynq異構(gòu)處理器，將 FPGA作為視覺(jué)處理的主要單元，并將 伊瑟特主站移植到 Zynq平臺(tái)，這樣，在一塊芯片里就完成了實(shí)時(shí)的視覺(jué)檢測(cè)和運(yùn)動(dòng)控制。本設(shè)計(jì)采用 HLS進(jìn)行視覺(jué)處理，對(duì)代碼進(jìn)行了優(yōu)化，使得整個(gè)視覺(jué)處理模塊的延時(shí)僅為 18.6ms。同時(shí)，在通信方面，本設(shè)計(jì)使用 FPGA進(jìn)行 伊瑟特幀的收發(fā)和校驗(yàn)，使得 直流電同步周期抖動(dòng)穩(wěn)定在小于 1U時(shí)間。實(shí)時(shí)的視覺(jué)檢測(cè)和運(yùn)動(dòng)控制在工業(yè)機(jī)器人視覺(jué)伺服中有著廣闊的應(yīng)用，本實(shí)驗(yàn)將集成攝像頭的 伊瑟特主站應(yīng)用在自主研發(fā)的六自由度串聯(lián)機(jī)器人上，將機(jī)器人運(yùn)動(dòng)學(xué)算法編寫入 伊瑟特主站，使得機(jī)器人可以隨著攝像頭檢測(cè)到的物體做實(shí)時(shí)的運(yùn)動(dòng)。實(shí)驗(yàn)結(jié)果表明，本設(shè)計(jì)的實(shí)時(shí)性遠(yuǎn)大于 pc平臺(tái)的視覺(jué)處理，并完成了沿機(jī)器人 X 軸方向的實(shí)時(shí)視覺(jué)跟隨運(yùn)動(dòng)。

 

 

　　1. ESR6B 機(jī)器人硬件系統(tǒng)設(shè)計(jì)ESR6B機(jī)器人是自主研發(fā)的機(jī)器人，是典型的多自由度串聯(lián)機(jī)器人，機(jī)器人本體如圖 2-1 所示。
 

 

　　圖2-1 ESR6B機(jī)器人本體

 

　　基于視覺(jué)引導(dǎo)的機(jī)器人硬件系統(tǒng)主要由機(jī)器人本體、控制臺(tái)、Zynq和視覺(jué)硬件等組成，如圖 2-2 所示。

 

　　

 

　　圖 2-2 系統(tǒng)總體方案

 

　　2. ESR6B 機(jī)器人基本設(shè)計(jì)參數(shù)機(jī)器人有 6 個(gè)自由度，其主要技術(shù)參數(shù)包括自由度、負(fù)載能力、重復(fù)定位精度、定位精度以及工作空間等，這些參數(shù)是反映機(jī)器人性能優(yōu)劣的主要指標(biāo)。ESR6B 機(jī)器人的基本技術(shù)參數(shù)如表 2-1 所示。表 2-1 ESR6B 機(jī)器人基本技術(shù)參數(shù)

 

　　

 

　　3. 機(jī)器人視覺(jué)系統(tǒng)硬件平臺(tái)搭建機(jī)器人視覺(jué)系統(tǒng)的硬件選擇直接影響圖像采集，圖像的質(zhì)量和后期的處理，并影響整個(gè)控制系統(tǒng)的實(shí)時(shí)性，所以應(yīng)根據(jù)要求和這些硬件性能，嚴(yán)格選擇硬件。基于伊瑟特的六自由度機(jī)器人視覺(jué)伺服控制系統(tǒng)主要包括攝像頭、Zynq、存儲(chǔ)、顯示、通信等模塊。Zynq是 Xilinx 設(shè)計(jì)的一種包含 FPGA+ARM的異構(gòu)芯片，在 Zynq系統(tǒng)芯片中，包含了基于 艾爾M 的處理系統(tǒng)（PS）和可編程邏輯單元（PL）。伊瑟特主站和 linux操作系統(tǒng)運(yùn)行在PS端，圖像算法在 FPGA進(jìn)行硬件加速，放在Pl端。通過(guò)阿希總線互聯(lián)技術(shù)將 FPGA與手臂整合在一起，從而充分發(fā)揮出兩種器件結(jié)構(gòu)的優(yōu)勢(shì)。攝像頭的主要特性參數(shù)有：分辨率、幀率和色彩空間等。根據(jù)這些特性參數(shù)， 選擇滿足實(shí)驗(yàn)需求的攝像頭。本系統(tǒng)設(shè)計(jì)中，選取型號(hào)為 OV 5640的 CMOS類型數(shù)字圖像傳感器，該傳感器支持輸出最大為 500 萬(wàn)像素的圖像 （2592x1944）分辨率） 、支持使用 VGA時(shí)序輸出圖像數(shù)據(jù)，輸出圖像的數(shù)據(jù)格式支持YUV（422/420）、YCbCr 422、RGB 565以及 JPEG格式，本次設(shè)計(jì)采用 RGB 565格式數(shù)據(jù)讀取。

 

　　

 

　　圖 2-3 OV 5640攝像頭

 

　　本設(shè)計(jì)中，圖像數(shù)據(jù)由 OV 5640攝像頭采集，然后由 FPGA對(duì)其進(jìn)行圖像預(yù)處理和坐標(biāo)檢測(cè)，數(shù)據(jù)流經(jīng) VDMA通過(guò) HP0口進(jìn)入 DDR 3內(nèi)存，然后再通過(guò)HP0返回，經(jīng)過(guò) VDMA、最后通過(guò) HDMI接口輸出視頻。光源的主要參數(shù)有：對(duì)比度、亮度、表面紋理和光源均勻性。根據(jù)上述光源的特性，選擇上海東冠科技的環(huán)形光源，型號(hào)為Rin-90-6R-10 W、光源為白色的發(fā)光二極管。實(shí)物圖如圖2-4 所示。

 

　

 

　　圖 2-4 環(huán)形光源實(shí)物圖

 

　　基于伊瑟特的六自由度機(jī)器人視覺(jué)伺服控制系統(tǒng)如圖 2-5 所示。

 

　

 

　　設(shè)計(jì)演示

 

　　視覺(jué)伺服性能分析 視覺(jué)伺服要求從對(duì)目標(biāo)的識(shí)別到控制之間的延時(shí)要很短，才能體現(xiàn)控制的實(shí)時(shí)性。本文設(shè)計(jì)了一組對(duì)照實(shí)驗(yàn)，方案一為采用在 Zynq 板上集成攝像頭的伊瑟特主站，方案二為pc機(jī)連接USB攝像頭，并采用廣告將坐標(biāo)數(shù)據(jù)傳輸給 TwinCAT主站的方案。兩種方案使用相同的圖像處理算法，主站都處于CSP模式下。

 

　

 

　　圖 4-5 性能測(cè)試平臺(tái)

 

　　延時(shí)計(jì)算平臺(tái)為STM 32+TFT彩屏和基于XMC 4300的伊瑟特步進(jìn)從站， 當(dāng)屏幕開始刷新紅色時(shí)，定時(shí)器開始計(jì)時(shí)，當(dāng)接收到步進(jìn)從站的脈沖時(shí)停止計(jì)時(shí)， 對(duì)比方案一和方案二的延時(shí)（單位 我們），如圖 4-6 所示。

 

　　

 

　　圖 4-6 方案對(duì)照

 

　　可以看出本設(shè)計(jì)的檢測(cè)延時(shí)平均僅為58毫秒，而方案二卻長(zhǎng)達(dá) 2.48s，在運(yùn)行相同圖像檢測(cè)算法情況下，F(xiàn)PGA的延時(shí)更低，同時(shí)由于本設(shè)計(jì)將攝像頭直接集成到主站板上，圖像傳輸延時(shí)更低，成本更低。