西雅圖人工智能研究機構Ai2（艾倫人工智能研究所）今日宣布發布MolmoAct 7B，這是開源D空一個突破性的開源具身AI模型，通過讓機器人在執行動作前進行"思考"，模型為機器人技術帶來了智能。讓機
空間推理對AI模型來說并不新鮮，器人這些模型能夠通過可視化圖像或視頻來推理世界，間″然后得出結論。規劃例如，″動用戶可以上傳圖像或視頻到OpenAI的發布ChatGPT，詢問如何組裝桌子的開源D空問題并得到答案。同樣，模型機器人AI基礎模型可以被指示拿起杯子并放到水槽里。讓機
"具身AI需要一個優先考慮推理、器人透明性和開放性的間″新基礎，"首席執行官Ali Farhadi表示。規劃"通過MolmoAct，我們不僅僅是發布一個模型；我們正在為AI的新時代奠定基礎，將強大AI模型的智能帶入物理世界。"
大多數機器人AI模型通過推理提供給它們的語言來運行，分解自然語言句子——比如上面的例子"拿起柜臺上的杯子放到水槽里"——并將其轉化為動作。它們通過結合從攝像頭和其他傳感器獲得的知識以及命令來做到這一點。
Ai2表示，MolmoAct是該公司稱為動作推理模型（ARM）的新類別AI模型中的首個，它解釋高級自然語言，然后推理出一系列物理動作計劃，以在現實世界中執行這些動作。與市場上當前作為視覺語言動作基礎模型運行的機器人模型不同，ARM將指令分解為一系列航點和動作，這些航點和動作考慮了模型能夠看到的內容。
"一旦它看到世界，它就會將整個世界提升到3D中，然后繪制軌跡來定義其手臂將如何在該空間中移動，"Ai2計算機視覺團隊負責人Ranjay Krishna在接受采訪時表示。"所以，它為未來做規劃。在完成規劃后，它才開始采取行動并移動關節。"
ARM和VLA模型都充當機器人的"大腦"，包括AI模型機器人初創公司Physical Intelligence的pi-zero、英偉達公司用于人形機器人的GR00T N1、學術研究人員實驗常用的70億參數開源模型OpenVLA，以及930億參數的Octo模型。參數指的是模型用來做決策和預測的內部變量數量。MolmoAct包含70億個參數，因此名稱中有7B。
該公司使用256個英偉達H100圖形處理單元集群上的1800萬個樣本來訓練模型，預訓練大約在一天內完成。微調使用64個H100大約需要2小時。相比之下，英偉達的GR00T-N2-2B使用1024個H100在6億個樣本上進行訓練，而Physical Intelligence使用9億個樣本和未披露數量的芯片訓練pi-zero。
"很多這些公司給你這些技術報告，但這些技術報告看起來是這樣的：它們中間有一個大黑盒，上面寫著'Transformer'，對吧？除此之外，你真的不知道發生了什么，"Krishna說。
與市場上許多當前模型不同，MolmoAct 7B是在大約12000個來自真實環境（如廚房和臥室）的"機器人事件"精選開放數據集上訓練的。這些演示用于映射目標導向的動作——比如整理枕頭和收拾洗衣。
Krishna解釋說，MolmoAct通過完全開放克服了這個行業透明度挑戰，提供其代碼、權重和評估，從而解決了"黑盒問題"。它既在開放數據上訓練，其內部工作原理也是透明和公開可用的。
為了增加更多控制，用戶可以在執行前預覽模型的計劃動作，其預期運動軌跡疊加在攝像頭圖像上。這些計劃可以使用自然語言或在觸摸屏上繪制修正來修改。
這為開發人員或機器人技術人員在家庭、醫院和倉庫等不同環境中控制機器人提供了細粒度方法。
Ai2表示，該公司使用SimPLER評估了MolmoAct的預訓練能力，這是一個使用一組模擬測試環境來測試常見真實世界機器人設置的基準。使用該基準，該模型實現了72.1%的最先進任務成功率，擊敗了來自Physical Intelligence、谷歌、微軟和英偉達的模型。
"MolmoAct是我們進入這個領域的第一次嘗試，表明推理模型是訓練這些大規模機器人基礎模型的正確方式，"Krishna說。"我們的使命是實現真實世界的應用，所以任何人都可以下載我們的模型，然后為他們的任何目的進行微調，或者嘗試開箱即用。"
Q&A
Q1：MolmoAct 7B是什么？它有什么特別之處？
A：MolmoAct 7B是由Ai2發布的突破性開源具身AI模型，屬于動作推理模型（ARM）新類別。它的特別之處在于能夠解釋高級自然語言，然后推理出物理動作計劃，在執行前先進行"思考"和3D空間規劃，而不是直接執行動作。
Q2：MolmoAct與其他機器人AI模型有什么區別？
A：與傳統的視覺語言動作模型不同，MolmoAct會將整個世界提升到3D空間，繪制軌跡定義手臂移動路徑，為未來做規劃后才開始行動。它還完全開源，提供代碼、權重和評估，解決了行業中的"黑盒問題"，用戶還可以預覽和修改機器人的計劃動作。
Q3：MolmoAct的訓練數據和性能如何？
A：該模型使用約12000個來自真實環境的"機器人事件"數據集訓練，在256個英偉達H100 GPU上用1800萬樣本預訓練約一天完成。在SimPLER基準測試中，它實現了72.1%的任務成功率，超越了Physical Intelligence、谷歌、微軟和英偉達的模型。
特別聲明：以上文章內容僅代表作者本人觀點，不代表新浪網觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與新浪網聯系。
