目前跟蹤“手眼腦”協同的操作流程,主要包括手眼位置標定、基于圖像抓取位姿估計網絡模型、觸覺感知力反饋調節等技術難點。

1) 如何實時、準確跟蹤末端執行器與被操作物體之間的空間距離和位置信息?手眼位 置標定是通過建立機器人末端執行器坐標系與相機坐標系之間轉換關系,實現視覺引導 機器人操作的準確性和可靠性。根據機械臂與相機之間的裝配方式,手眼標定分為Eye to-Hand和Eye-in-Hand。早期的手眼標定技術主要依靠矩陣關系(旋轉矩陣和平移矩 陣)描述機器人和相機之間的空間關系。隨著計算機視覺和優化算法的發展,基于圖像 處理和數學優化的手眼標定方法逐漸成為主流,利用標定板或特征點進行相機標定,再 結合機器人末端執行器的位置數據進行標定計算,以實現準確的手眼標定。

Eye-in-Hand;相機固定在末端執行器,相機所攝取場景數據隨著機械臂移動而發 生變化,適合對末端操作對象(比如零件)進行G精度局部觀察,也可以靈活調整 視角,用于精密裝配等應用。

Eye-to-Hand:相機固定安裝在人形機器人某個位置(比如頭部),d立于機械臂 運動。相機視角覆蓋整個工作空間,可實現全局觀測,適合監控機器人整體運動軌 跡或大范圍場景,標定結果無需頻繁更新。

2) 如何正確選擇跟交互物體的操作位姿?機器人抓取檢測技術是機器人領域中的重要 研究方向之一,涉及到機器人在實際操作中獲取Z優抓取姿態和位置的能力,從而實現 有效、穩定的抓取動作。抓取檢測技術的發展可以分為傳統的解析方法和基于深度學習 的方法。傳統的解析法是基于機械手爪和目標物體的運動學和動力學關系進行建模,計 算Z優抓取位姿,適合非常準確場景控制需求,比如工業機器人對物體抓取和移動,但 受限于環境復雜性和泛化能力不足。傳統方法往往需要復雜的模型和參數調整,無法實 現對各種場景和物體的智能適應。

隨著人工智能和機器學習技術的不斷發展,深度學習抓取策略持續導入�；�于深度學習 的抓取技術通過深度神經網絡對大量圖像數據進行訓練,從而學習抓取的正確位置和姿 態,具有更好的泛化能力和適應性。基于深度學習的抓取技術可以分為基于抓取候選框 和基于魯棒性函數兩類。

基于抓取候選框的方法主要采用滑窗的方法預先在輸入圖像上生成若干個感興趣的區 域,通過卷積神經網絡等模型提取圖像特征,預測抓取位置和姿態。該方法檢測精度較 G但因會產生大量的候選框而使得檢測算法耗時較長。目前現存一些機器人抓取的任務 基準數據集可以用于抓取位置和姿態預測訓練優化。比如康奈爾大學創建的Cornel Grasp數據集,即使用KinectV1相機在真實場景中采集,涉及240種生活中常見物體 的885張RGB-D圖像和相應的三維云點。數據特征涵蓋了多樣的對象形狀和大小及帶 有旋轉角度的抓取標注框。

基于魯棒性函數的方法主要通過學習抓取質量函數,評估抓取質量,進而確定Z優抓取 位置和姿態。該方法實現端到端訓練與預測,算法運行速度較快。典型地,智元機器人 發布開源仿真數據集AgiBotDigitalWoHdDataset,涵蓋五大類場景、180+品類具體物 品等。平臺基于NVDlA1saac-Sim仿真平合開發(Sim2Real),可以提供G度逼真的視 覺渲染和準確的物理模擬。仿真過程中,具身智能數據生成引擎可以進行豐富的環境光 照、物體材質、物理屬性等隨機變化,同時支持多種操作軌跡增強方式,以生成多樣性 和魯棒性的專家軌跡數據,增強模型泛化能力。目前AgiBotDigitalWord可建立貫穿 專家軌跡生成、模型訓練、基準測試、部署驗證的完整評估流程,支持對機器人的端到 端模型進行多面測試。