通過諾亦騰動(dòng)作捕捉系統(tǒng)遙操作 NVIDIA Isaac Sim 中的

智元遠(yuǎn)征 A2 機(jī)器人虛擬本體

諾亦騰專注于動(dòng)作捕捉與高精度追蹤技術(shù)，是少數(shù)能夠提供全譜系動(dòng)作捕捉與運(yùn)動(dòng)測(cè)量產(chǎn)品的技術(shù)企業(yè)之一。在解決方案中，諾亦騰提供基于慣性傳感器的 PN Studio 動(dòng)作捕捉套裝以及基于光學(xué)慣性混合追蹤技術(shù)的 HybridTrack 光學(xué)運(yùn)動(dòng)測(cè)量系統(tǒng)，以適應(yīng)不同級(jí)別用戶的需求。前者具有部署成本低、環(huán)境適應(yīng)性強(qiáng)、方便易用的特點(diǎn)；后者優(yōu)勢(shì)則在于更高追蹤精度以及更強(qiáng)的魯棒性。

NVIDIA Isaac Sim 是一套應(yīng)用 AI 與仿真工具/平臺(tái)，允許開發(fā)者在基于物理的虛擬環(huán)境中設(shè)計(jì)、仿真、測(cè)試和訓(xùn)練基于 AI 的機(jī)器人和自主機(jī)器。NVIDIA Isaac Sim 提供虛擬環(huán)境、各類機(jī)器人以及自主機(jī)器的物理精確的 SimReady 3D 資產(chǎn)，這些資產(chǎn)建立在高度逼真的物理仿真基礎(chǔ)之上，可以模擬真實(shí)環(huán)境下存在的力矩、摩擦、空間干擾以及自干擾等因素，使開發(fā)者可以在虛擬環(huán)境中加速機(jī)器人算法的開發(fā)和測(cè)試過程。

基于自定義的 MocapApi 接口，諾亦騰實(shí)現(xiàn)了動(dòng)作捕捉系統(tǒng)與 NVIDIA Isaac Sim 的數(shù)據(jù)聯(lián)通，從而基于現(xiàn)有算法，快速接入動(dòng)作捕捉和高精度追蹤數(shù)據(jù)流，實(shí)時(shí)驅(qū)動(dòng)仿真環(huán)境下的虛擬機(jī)器人本體或者真實(shí)的機(jī)器人本體，用遙操作的模式完成任務(wù)，采集數(shù)據(jù)。除此之外，還可以在機(jī)器人自主任務(wù)完成的過程中實(shí)現(xiàn)快速人工干預(yù)覆蓋失敗場(chǎng)景。

動(dòng)作捕捉數(shù)據(jù)到 NVIDIA Isaac 及具身智能機(jī)器人本體/數(shù)據(jù)集產(chǎn)出

基于數(shù)據(jù)，特別是通過動(dòng)作捕捉獲取的真實(shí)人類動(dòng)作數(shù)據(jù)，對(duì)機(jī)器人控制基礎(chǔ)模型進(jìn)行訓(xùn)練，并通過遙操作收集真實(shí)訓(xùn)練數(shù)據(jù)集，從而提升具身智能算法，已成為具身智能機(jī)器人學(xué)界與業(yè)界的重要科研共識(shí)。

具身智能機(jī)器人的數(shù)據(jù)采集與算法訓(xùn)練，可通過“基于真實(shí)本體”“基于虛擬本體”或“完全基于人體動(dòng)作捕捉”等方式實(shí)現(xiàn)。其中基于真實(shí)本體方式能夠最大程度反映真實(shí)世界的物理特性，其余方式雖然成本可控，但均存在一定程度上的 Domain Gap。

基于真實(shí)本體的數(shù)據(jù)集生產(chǎn) - 手部動(dòng)作捕捉遙操作智元遠(yuǎn)征 A2 機(jī)器人靈巧手

諾亦騰基于 NVIDIA Isaac 以及動(dòng)作捕捉/高精度追蹤技術(shù)構(gòu)建出 HITL 解決方案，攜手業(yè)界合作伙伴智元機(jī)器人，共同探索提升算法的「Sim2Real2Sim」路徑。

結(jié)合了動(dòng)作捕捉/高精度追蹤硬件設(shè)備和 NVIDIA Isaac 平臺(tái)的 HITL 解決方案易于搭建，可高效運(yùn)轉(zhuǎn)，具備快速構(gòu)建大規(guī)模具身智能數(shù)據(jù)工廠的能力。

基于 NVIDIA Isaac 平臺(tái)的豐富生態(tài)與標(biāo)準(zhǔn)化接口，該解決方案能夠快速打通各類具身智能機(jī)器人本體和自主機(jī)器之間的數(shù)據(jù)障礙，實(shí)現(xiàn)快速部署和擴(kuò)展，從而幫助用戶搭建大規(guī)模具身智能數(shù)據(jù)集生產(chǎn)流水線。

大規(guī)模具身智能機(jī)器人訓(xùn)練數(shù)據(jù)集生產(chǎn)工廠（Data Factory）示意圖