IT之家3月8日消息，周一，來自谷歌和柏林工業(yè)大學的一組人工智能研究人員推出了史上最大的視覺語言模型——PaLM-E，參數量高達5620億（GPT-3的參數量為1750億）。
5620億參數！谷歌發(fā)布史上最大“通才”AI模型PaLM-E，可讓機器人自主執(zhí)行多種任務
5620億參數！谷歌發(fā)布史上最大“通才”AI模型PaLM-E，可讓機器人自主執(zhí)行多種任務
PaLM-E是迄今為止已知的最大VLM（視覺語言模型）。作為一種多模態(tài)具身VLM，它不僅可以理解圖像，還能理解、生成語言，執(zhí)行各種復雜的機器人指令而無需重新訓練。它還展示出了強大的涌現能力（模型有不可預測的表現）。
據谷歌稱，當得到一個高級命令，如“把抽屜里的米片拿給我”，PaLM-E可以為帶有手臂的移動機器人平臺（由谷歌機器人公司開發(fā)）生成一個行動計劃，并自行執(zhí)行這些行動。
5620億參數！谷歌發(fā)布史上最大“通才”AI模型PaLM-E，可讓機器人自主執(zhí)行多種任務
PaLM-E通過分析來自機器人攝像頭的數據來實現這一目標，而無需對場景進行預處理。這消除了人類對數據進行預處理或注釋的需要，使機器人控制更加自主。
PaLM-E還很有彈性，能夠對環(huán)境做出反應。例如，PaLM-E模型可以引導機器人從廚房里拿一袋薯片，由于PaLM-E集成到了控制回路中，它對任務中可能發(fā)生的中斷有了抵抗力。在一個視頻例子中，一名研究人員從機器人手中抓起薯片并移動它們，但機器人找到了薯片并再次抓起它們。
另外，PaLM-E模型也可控制機器人自主完成原需人類指導的復雜任務。除了機器人技術外，谷歌研究人員還觀察到使用大型語言模型作為PaLM-E核心的幾個有趣效果，其中一個是PaLM-E能表現出“正向轉移”，這意味其可將從一個任務中學到的知識和技能轉移到另一個任務中，相較單任務機器人模型能有更好的表現。
IT之家曾報道，身為谷歌AI勁敵的微軟近期也發(fā)表了「ChatGPTforRobotics」的論文，以類似的方式結合視覺數據和大型語言模型來控制機器人。
