浭深2024年5月6日消息，特斯拉人形機器人又解鎖了新技能！

昨日，Tesla Optimus 官方發布了新的 demo 視頻，展示了二代 Optimus 人形機器人的最新進展。

這次，Optimus 開始進廠打工了，在特斯拉電池工廠學會了分裝電池，并且比以前走得更快更遠更穩了。

現在，Optimus 的端到端神經網絡經過訓練，能夠對特斯拉工廠的電池單元進行準確分裝。

Optimus 在機器人的 FSD 計算機上實時運行，而僅僅依靠 2D 攝像頭、手部觸覺和力傳感器。Optimus 利用它的腿保持平衡，同時網絡驅動著整個上半身。

在插入過程中需要非常精確的動作，且容錯率很低，神經網絡會自動定位下一個空閑槽位。Optimus 還能從故障中自主恢復。

Optimus 的訓練數據是通過人類遠程操作收集，并針對各種任務進行了擴展。

Optimus 在工廠進行測試，人工干預率持續下降。

當然，Optimus 現在可以在定期繞著辦公室行走，不僅走得更快，走的距離也越來越遠了。

對此，特斯拉 Optimus（Tesla Bot）工程師 Milan Kovac 對 Optimus 的更多訓練細節進行了解讀。

在過去的幾個月里，特斯拉出色的制造團隊制造出了更多的機器人，以便進行研究并收集人工智能數據。

團隊訓練并部署了一個神經網絡，允許 Optimus 開始執行有用的任務，例如從傳送帶上撿起電池單元并將它們精確地插入托盤中。

這個神經網絡完全端到端運行，這意味著 Optimus 只消耗來自機器人 2D 攝像頭的視頻以及板載本體感受器上的數據，并直接產生關節控制序列。

Optimus 完全在機器人的嵌入式 FSD 計算機上運行，由板載電池供電。這樣的設計使得單個神經網絡可以通過添加更多樣化的數據到訓練過程中來執行多個任務。

雖然目前 Optimus 還不完美，速度還有點慢，但我們看到了越來越高的成功率和越來越少的失誤。特斯拉還訓練 Optimus 從失敗案例中恢復，并看到了自發的校正發生。

特斯拉已經在一家工廠部署了幾臺 Optimus 人形機器人，它們每天都在真實的工作站上進行測試，并持續改進。

團隊正在進行進一步的工作，以使 Optimus 移動更快，以及應對更惡劣的地形，同時不犧牲它的人性化特性。團隊還將專注于可重復性、訓練神經網絡處理動態校準和機器人之間的微小差異。很快會有更多的更新。

此外，英偉達高級研究科學家、AI Agents 負責人 Jim Fan 對 Optimus 新視頻展示出的技能給予了很高的評價。

他認為，視頻讓我們窺見了人類數據收集的真實場景，這是 Optimus 最大的優勢。建立這樣的流水線需要什么呢？Optimus 做到了以下幾點：

Optimus 的手是世界上頂級五指靈巧型機器人手之一，它具有觸覺感知，擁有 11 個自由度（DOF），相比之下許多競品只有 6-7 個 DOF，并且具有強大的穩健性，能夠在不需要持續維護的情況下承受大量的物體交互。

遠程操作軟件：我們可以看到人類操作員戴著 VR 眼鏡和手套。設置軟件以實現第一人稱視頻的實時傳輸和精確控制輸出，同時保持極低延遲，這是非常了不起的。人類對于自己動作和機器人動作之間的最微小延遲都非常敏感。Optimus 有一個流暢的全身控制器，可以實時執行人類姿態。

大規模 fleet：你需要不止一個機器人來并行收集數據，需要訓練有素的人類每天進行多次輪班（最好全天候），以及一個隨叫隨到的維護團隊，以確保機器人始終處于忙碌狀態。這是學術研究實驗室甚至都不會考慮的大量操作復雜性。

任務與環境：弄清楚要遠程操作什么也同樣重要。目前，大多數此類工作都是由演示驅動的：收集你想要放入社交媒體視頻中的任務數據。但想要解決通用型機器人的問題，我們需要仔細考慮任務和環境的分布。從視頻的 43 秒到 51 秒部分，我們可以看到工廠和家居環境，如移動電池、處理洗衣物、將日常物品分類放入貨架。

這是一個開放性的研究問題：如果你只有預算來收集 1000 個任務的訓練數據，你會選擇什么來最大化技能轉移和泛化呢？

結論：遠程操作是解決人形機器人問題的必要條件，但不足以充分解決問題。它從根本上來說無法擴展。

在評論區，馬斯克預告了 Optimus 人形機器人手部的最新目標，在今年晚些時候將擁有 22 自由度（DoF）。這就更讓人期待一波了。

此前，據馬斯克在財報電話會議上透露，特斯拉 Optimus 人形機器人可能會在今年底擁有完成「有用的工廠任務」的能力，并計劃今年底前在自家工廠率先使用。同時特斯拉有可能在 2025 年年底前對外銷售 Optimus。

特斯拉人形機器人「進化史」

特斯拉人形機器人最早要追溯到 2021 年 8 月的「特斯拉 AI 日」活動上，當時馬斯克首次透露了要造人形機器人（Tesla Bot）的設想。

這款人形機器人的身高大概是 1.72 米，重約 112 斤，身材勻稱，還帶有一張面部屏幕，能夠以約 8 公里 / 小時的速度移動。

2022 年 10 月，這一年的「特斯拉 AI 日」上，Optimus 人形機器人首次亮相。彼時，它還不能做跳舞等花樣表演。機器人工作時的功耗是 500W，重量達到 73 公斤，手運動的自由度有 27 個。

不過，在 Demo 演示中，Optimus 展示了其搬箱子、澆花、在特斯拉超級工廠工作的畫面。

2023 年 5 月，經過半年多的蟄伏，特斯拉 Optimus 終于具備了流暢行走和抓取物體的能力。

2023 年 9 月，特斯拉 Optimus 再次進化，可以自主對物體進行分類了，亮點在于神經網絡完全端到端訓練：輸入視頻、輸出控制。閑暇之余，它還能做瑜伽消遣。

2023 年 12 月，Optimus 二代到來，讓人的確看到了電影《機械公敵》里的樣子了。

隨著新視頻的發布，特斯拉人形機器人的進步速度再次令人驚嘆。