在過去幾年中,開發(fā)者一直在努力克服機器人抓取能力上的不足,使其能夠應用于這個市值數(shù)十億美元的產(chǎn)業(yè)。如果機器人能夠安全抓取和轉(zhuǎn)移傳送帶上快速移動的物品,那么它們在這些企業(yè)中的前景將非常廣闊。
馬薩諸塞州貝德福德市的初創(chuàng)企業(yè)Soft Robotics正在使用NVIDIA Isaac Sim幫助機器人抓取應用縮小在模擬環(huán)境與現(xiàn)實環(huán)境中的差距,其中的一個領(lǐng)域是完善待包裝食品的撿取和放置。
食品包裝和加工企業(yè)正在使用這家初創(chuàng)企業(yè)的mGripAI系統(tǒng)。這套系統(tǒng)結(jié)合了軟性抓取與3D視覺和人工智能(AI)技術(shù),能夠在不破壞食品的情況下抓取蛋白質(zhì)、農(nóng)產(chǎn)品、烘焙食品等脆弱的食品。
Soft Robotics軟件工程高級總監(jiān)David Weatherwax表示:“我們銷售的是抓取解決方案中的‘手’、‘眼’和‘大腦’。”
Soft Robotics表示,不同于其他已經(jīng)采用機器人技術(shù)的行業(yè),市值8萬億美元的食品市場在開發(fā)用于處理非結(jié)構(gòu)化環(huán)境中的不同物品的機器人方面一直進展緩慢。
該公司成立于2013年,最近從Tyson Ventures、Marel和Johnsonville Ventures獲得了2600萬美元的C輪融資。
Tyson Foods、Johnsonville等企業(yè)正在投資于機器人自動化技術(shù)來幫助提高其工廠的安全性和產(chǎn)量。這兩家公司都依賴Soft Robotics的技術(shù)。
Soft Robotics是NVIDIA初創(chuàng)加速計劃成員,該計劃為企業(yè)提供GPU方面的支持和AI平臺方面的指導。
使用合成數(shù)據(jù)訓練抓取
Soft Robotics為公司的每個抓取應用開發(fā)了單獨的模型,每個模型都需要特定的數(shù)據(jù)集。對一堆濕滑的雞肉和其他食物進行揀選是一個非常棘手的挑戰(zhàn)。

通過Omniverse和Isaac Sim,該公司可以為不同背景下的雞肉部位創(chuàng)建3D渲染圖,比如傳送帶上、箱子中以及各種照明場景中。該公司使用Isaac Replicator開發(fā)合成數(shù)據(jù),為每個模型生成數(shù)十萬張圖像并分發(fā)到云端的各種實例中。Isaac Replicator是一套使用Isaac Sim生成合成數(shù)據(jù)的工具、API和工作流程。
點擊觀看視頻:https://www.softroboticsinc.com/industries/protein/#true-2
它還能運行姿勢估計模型,幫助抓取系統(tǒng)看到待抓取物品的角度。
憑借現(xiàn)場的NVIDIA A100 GPU,Soft Robotics能夠使用這些食品加工廠每個應用所特有的模型在瞬間進行推理。同時,通過Isaac Sim中的模擬和訓練功能,加工廠還可以使用NVIDIA A100擴大工作的規(guī)模。
Weatherwax表示:“我們目前的設置全部是合成的,所以能夠快速部署新的應用。我們把寶都壓在了Omniverse和Isaac Sim上,并且效果非常好。”
解決遮擋和照明問題
為了了解不同雞肉塊在被倒成一堆時的堆疊和重疊方式,Soft Robotics需要解決遮擋這個重大難題。
Weatherwax表示:“這些雞肉堆的形成方式可能相當復雜。”濕雞肉上的反光可能會使檢測模型失效。“我們需要解決的另一個重大難題是照明,所以NVIDIA RTX驅(qū)動的光線追蹤十分重要。”但真正重要的是為所有物品構(gòu)建3D模型并在一瞬間找出堆中的哪件物品受阻最小,最容易被機器人抓手抓取和放置。
Omniverse通過構(gòu)建符合物理學的合成數(shù)據(jù)集使Soft Robotics能夠創(chuàng)造出這樣的環(huán)境。我們需要克服的一大挑戰(zhàn)是這些形狀各異的物體的堆積方式。提高產(chǎn)線的抓取準確率食品加工廠產(chǎn)線上的移動速度很快,但部署了特定應用模型的機器人每分鐘可進行多達100次抓取。
這種機器人目前仍在開發(fā)中,而這項工作的成敗取決于對物品堆的準確表述,同時訓練數(shù)據(jù)集需要涵蓋物品落入堆中的所有可能方式。這個數(shù)據(jù)集是為了訓練機器人知道在一個復雜、不斷變化的環(huán)境中如何進行最佳的抓取。
如果食品從傳送帶上掉下來或因其他原因而損壞,那就會造成浪費,直接影響到產(chǎn)量。
推動產(chǎn)量增長
肉類包裝公司在產(chǎn)線上加工雞肉。但與許多其他行業(yè)一樣,他們也面臨著員工短缺問題。
Weatherwax表示,一些正在建設新食品加工廠的企業(yè)甚至無法在剛開始生產(chǎn)時吸引到足夠的工人。“這些企業(yè)遇到了很多人手方面的問題,這推動了自動化的趨勢。”
Omniverse驅(qū)動的工作使食品加工企業(yè)的模擬能力提升了10倍以上,將AI抓取系統(tǒng)的部署時間從幾個月縮短到幾天。這使Soft Robotics的客戶不但能夠部署自動化雞肉抓取線,還能夠應對沖擊許多行業(yè)的人手問題,尤其是受傷和健康風險較高的行業(yè)。
Weatherwax表示:“機器人更適合處理生雞肉”。