從全球范圍來看，無論是特斯拉、PhysicalIntelligence(PI)，還是Figure都無一例外采用了端到端的大模型，由此看來，端到端具身大模型是實現(xiàn)具身智能體的重要路徑。各路科技媒體紛紛報道這一世界級新成果。
英雄所見略同？
但有趣的是，機器人大講堂經(jīng)過深入研究發(fā)現(xiàn)，F(xiàn)igure Helix的這一最新模型架構(gòu)卻與清華姚班團隊在2024年6月發(fā)表在CoRL2024的一篇論文中的端到端具身大模型HiRT模型架構(gòu)高度相似。HiRT還同期應(yīng)用在了清華系具身智能企業(yè)星動紀(jì)元自研端到端原生機器人大模型ERA-42上，因此星動也是國內(nèi)第一個能夠做到One policy for multipletasks，實現(xiàn)端到端原生機器人大模型落地真機的公司。
Figure Helix與清華姚班團隊
2024年6月發(fā)布在CoRL2024的端到端具身大模型HiRT架構(gòu)高度相似
HiRT應(yīng)用在清華系具身智能企業(yè)星動紀(jì)元自研端到端原生機器人大模型ERA-42
HiRT: Enhancing Robotic Control with Hierarchical Robot Transformers于2024年6月發(fā)表在CoRL2024
論文傳送門：https://arxiv.org/pdf/2410.05273
Figure Helix的端到端機器人大模型架構(gòu)
技術(shù)架構(gòu)解讀
從論文中可以看到Figure Helix和ERA-42在模型框架結(jié)構(gòu)上高度相似，都采用相同的層次化系統(tǒng)結(jié)構(gòu)，使用latent來連接上層視覺語言模型和下層控制網(wǎng)絡(luò)，完全擁有相同的高頻控制特性、泛化能力、端到端架構(gòu)。
具體來看，首先，Helix和ERA-42都采用了層次化設(shè)計。
Helix：采用系統(tǒng)1（S1）和系統(tǒng)2（S2）的雙系統(tǒng)架構(gòu)。S2是一個擁有70億參數(shù)的視覺-語言模型（VLM），處理頻率為7-9Hz，負(fù)責(zé)高級理解；S1是一個擁有8000萬參數(shù)的視覺-運動控制策略，處理頻率為200Hz，負(fù)責(zé)實時動作控制。
ERA-42：采用高層次規(guī)劃和低層次控制的雙系統(tǒng)架構(gòu)。高層次規(guī)劃負(fù)責(zé)理解任務(wù)和生成動作序列，低層次控制負(fù)責(zé)實時執(zhí)行動作。高層使用70億參數(shù)的Instructblip 視覺語言模型，低層使用4000萬參數(shù)的transformer結(jié)構(gòu)，兩種之間使用latent變量進(jìn)行通信連接。
其次，兩者都采用端到端訓(xùn)練。
Helix：Helix的訓(xùn)練是完全端到端的，從原始像素和自然語言指令映射到連續(xù)動作輸出，使用標(biāo)準(zhǔn)回歸損失進(jìn)行訓(xùn)練。
ERA-42：ERA-42也支持端到端訓(xùn)練，能夠直接從輸入數(shù)據(jù)到輸出動作進(jìn)行學(xué)習(xí)，無需復(fù)雜的中間表示。
第三，兩者都具備強大泛化能力。
Helix：Helix具有強大的泛化能力，能夠處理數(shù)千種形狀、大小和材質(zhì)各異的物品，并且可以在零樣本情況下泛化到新測試對象上。
ERA-42：ERA-42通過層次化的Transformer模型，能夠更好地處理復(fù)雜的機器人控制任務(wù)，并且在不同的環(huán)境和任務(wù)中表現(xiàn)出良好的泛化能力。
第四，兩者都可以在機器人上實現(xiàn)實時控制。
Helix：Helix的系統(tǒng)1（S1）能夠以200Hz的頻率輸出精確的機器人動作，實現(xiàn)高精度的動作協(xié)調(diào)。
ERA-42：ERA-42通過層次化的Transformer模型，能夠?qū)崿F(xiàn)對機器人動作的實時控制，確保機器人在復(fù)雜環(huán)境中快速響應(yīng)。
第五，兩者都用單一神經(jīng)網(wǎng)絡(luò)。
Helix：Helix使用單一的一組神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)所有行為，無需進(jìn)行任何針對特定任務(wù)的微調(diào)。
ERA-42：ERA-42通過層次化的Transformer模型，能夠在一個統(tǒng)一的框架下處理多種機器人控制任務(wù)，無需為每個任務(wù)單獨訓(xùn)練模型。
路線的分化與創(chuàng)新
后期，星動紀(jì)元還將世界模型融入原生機器人大模型ERA-42中
Video Prediction Policy:A Generalist Robot Policy with Predictive Visual Representations 于2024年12月發(fā)表在arXiv
論文傳送門：https://arxiv.org/pdf/2412.14803
后期，星動紀(jì)元采取了一條不同的訓(xùn)練道路，將世界模型融入，使ERA-42不僅具備行動能力，還具備了對物理世界的理解能力，能夠?qū)ξ磥硇袆榆壽E進(jìn)行預(yù)測，有效提升了機器人執(zhí)行任務(wù)的高效性、準(zhǔn)確性和在執(zhí)行長時序任務(wù)時的抗干擾性，使人形機器人商業(yè)化應(yīng)用潛力更進(jìn)一步。
現(xiàn)實執(zhí)行任務(wù)行動軌跡和ERA-42預(yù)測執(zhí)行任務(wù)行動軌跡對比圖,
體現(xiàn)了融入世界模型后ERA-42不僅能夠?qū)ξ磥硇袆榆壽E進(jìn)行預(yù)測，且預(yù)測行動軌跡和現(xiàn)實行動軌跡幾乎一致。
此外，強化學(xué)習(xí)在模型訓(xùn)練中的應(yīng)用提升了模型的推理能力和泛化能力。它也為未來人工智能在具身智能體領(lǐng)域的研究和應(yīng)用提供了新的思路和方法。
例如，DeepSeek通過其GRPO（基于群組采樣的高效大語言模型強化學(xué)習(xí)訓(xùn)練方法）實現(xiàn)了更高效和穩(wěn)定的訓(xùn)練過程。此外，強化學(xué)習(xí)還被證明能夠激勵模型自主發(fā)展出復(fù)雜的行為和解決問題的策略，例如DeepSeek-R1-Zero在訓(xùn)練過程中展現(xiàn)出的“頓悟時刻”，進(jìn)一步證明了強化學(xué)習(xí)在解鎖新智能水平方面的潛力。這些成果表明，強化學(xué)習(xí)不僅是提升模型性能的關(guān)鍵技術(shù)，更是未來人工智能發(fā)展的必然趨勢。
因此，星動后續(xù)模型訓(xùn)練也采用了強化學(xué)習(xí)技術(shù)，通過獎勵機制引導(dǎo)模型學(xué)習(xí)最優(yōu)的動作策略。這些方法使得模型能夠在復(fù)雜的環(huán)境中自主學(xué)習(xí)和優(yōu)化，進(jìn)一步提升訓(xùn)練效率、降低訓(xùn)練成本和提升了模型的泛化能力。（星動紀(jì)元發(fā)表相關(guān)論文：Improving Vision-Language-Action Model with online Reinforcement Learning 在ICRA 2025）
論文傳送門：https://arxiv.org/pdf/2501.16664
構(gòu)建通用具身智能體需要軟硬件協(xié)同迭代，就像人的“大腦”和“身體”需要同步成長一樣，這也是星動紀(jì)元與Figure技術(shù)思路相一致的地方。據(jù)相關(guān)報道顯示，ERA-42協(xié)同星動紀(jì)元自研全直驅(qū)、12個全主動自由度五指靈巧手星動XHAND1以及高性能通用人形機器人星動STAR1能夠能夠執(zhí)行靈巧高精度任務(wù)。目前星動XHAND1已學(xué)會了使用不同工具完成100多種復(fù)雜靈巧操作精細(xì)化任務(wù)，并且持續(xù)在同一個模型下學(xué)習(xí)新的技能。
基于端到端原生機器人大模型以及為AI設(shè)計的硬件平臺，國內(nèi)企業(yè)在推動原生通用具身智能體產(chǎn)業(yè)落地方面已具備一定優(yōu)勢。隨著技術(shù)的不斷進(jìn)步與完善，有望在未來的全球市場競爭中占據(jù)有利地位，并加速實現(xiàn)機器人的廣泛應(yīng)用。
