2025年3月13日，在第三屆具身智能機(jī)器人產(chǎn)業(yè)發(fā)展論壇上，浙江人形機(jī)器人創(chuàng)新中心首席科學(xué)家、浙江大學(xué)求是特聘教授熊蓉談到，機(jī)器人智能操作的演變經(jīng)歷了從簡單的抓放到高精度作業(yè)的顯著飛躍，這一進(jìn)步得益于大模型的融合應(yīng)用，極大地提升了機(jī)器人的行為規(guī)劃與決策能力。

隨著數(shù)據(jù)驅(qū)動(dòng)技術(shù)的不斷進(jìn)步，機(jī)器人正逐步從感知智能向行為智能轉(zhuǎn)變，這一轉(zhuǎn)變過程中，接觸交互的重要性愈發(fā)凸顯。然而，數(shù)據(jù)獲取與應(yīng)用仍是當(dāng)前面臨的主要挑戰(zhàn)，數(shù)據(jù)稀缺成為制約發(fā)展的關(guān)鍵瓶頸。為了應(yīng)對(duì)這一挑戰(zhàn)，人工遙控采集和合成數(shù)據(jù)生成成為常用的數(shù)據(jù)獲取手段。但遙控采集對(duì)設(shè)備的實(shí)時(shí)性和操作人員的經(jīng)驗(yàn)提出了高要求，導(dǎo)致成本高昂；而合成數(shù)據(jù)雖然在視覺渲染方面取得了較為成熟的成果，但在接觸仿真方面仍存在明顯不足。

在技術(shù)方法層面，大模型雖然具備一定的通用性，但在準(zhǔn)確性方面仍有待提升，尤其是在機(jī)器人行為的高精度、高可靠性和高效率要求下，這一不足尤為明顯。此外，機(jī)器學(xué)習(xí)領(lǐng)域也面臨著可解釋性差、災(zāi)難性遺忘等亟待解決的問題，亟需進(jìn)一步優(yōu)化。

盡管面臨諸多挑戰(zhàn)，但當(dāng)前人形機(jī)器人、大動(dòng)作模型和空間智能等技術(shù)正處于產(chǎn)業(yè)起步階段，資本和研究投入十分活躍。

浙江人形機(jī)器人創(chuàng)新中心首席科學(xué)家、浙江大學(xué)求是特聘教授

以下為演講內(nèi)容整理:

具身智能操作發(fā)展概述

在機(jī)器人領(lǐng)域的發(fā)展進(jìn)程中，操作能力始終是其關(guān)鍵的基礎(chǔ)功能。從機(jī)器人誕生之初，追求操作的通用性便成為行業(yè)的核心目標(biāo)。早期，機(jī)器人主要通過專家離線編程實(shí)現(xiàn)反復(fù)執(zhí)行，在工業(yè)場(chǎng)景中憑借高精度、高效率和高負(fù)載的優(yōu)勢(shì)發(fā)揮了重要作用。但隨著應(yīng)用場(chǎng)景的不斷拓展，工業(yè)場(chǎng)景中的加工部件頻繁變化，且諸多非工業(yè)場(chǎng)景難以像工業(yè)環(huán)境那樣進(jìn)行預(yù)設(shè)和定義，促使技術(shù)不斷演進(jìn)。

圖源:浙江人形機(jī)器人創(chuàng)新中心

20世紀(jì)80年代，伴隨機(jī)器視覺技術(shù)的興起，基于專家規(guī)則的在線感知及伺服控制應(yīng)運(yùn)而生，為制造業(yè)發(fā)展注入新動(dòng)力。如今，具身智能操作成為研究的新焦點(diǎn)。在計(jì)算機(jī)領(lǐng)域，從2011年起，就開始采用數(shù)據(jù)驅(qū)動(dòng)的方式提升智能的可泛化性，具身智能被定義為具備感知推理能力且能與物理世界互動(dòng)的智能系統(tǒng)。在自動(dòng)化和機(jī)器人領(lǐng)域，圖靈對(duì)智能的定義影響深遠(yuǎn)，此前依靠機(jī)理建模和專家經(jīng)驗(yàn)解決問題，如今借助人工智能技術(shù)，可通過環(huán)境交互獲取數(shù)據(jù)來學(xué)習(xí)操作。

早在2016年，谷歌就利用16臺(tái)機(jī)器人歷經(jīng)6個(gè)月的訓(xùn)練，使其學(xué)會(huì)抓取操作。此后，UC伯克利等機(jī)構(gòu)不斷融合學(xué)習(xí)技術(shù)，推動(dòng)具身智能從簡單的抓放操作向高精度作業(yè)等更多復(fù)雜行為拓展。大模型在機(jī)器人操作智能的行為規(guī)劃和決策方面發(fā)揮了重要作用，然而在動(dòng)作軌跡和控制涉及的力覺等信息處理上仍存在不足，如何構(gòu)建和應(yīng)用數(shù)據(jù)提升接觸交互的智能性成為當(dāng)下研究的關(guān)鍵問題。

具身智能操作發(fā)展面臨的挑戰(zhàn)

具身智能操作在發(fā)展過程中面臨諸多挑戰(zhàn)。數(shù)據(jù)方面，數(shù)據(jù)匱乏是主要問題。目前獲取數(shù)據(jù)的常見方式包括遙控采集和合成數(shù)據(jù)。遙控采集對(duì)設(shè)備實(shí)時(shí)性和操作人員經(jīng)驗(yàn)要求頗高，特斯拉為獲取高質(zhì)量數(shù)據(jù)提供高薪，卻也凸顯了高昂的成本。合成數(shù)據(jù)雖有視覺渲染技術(shù)支持，但在接觸仿真方面仍較為薄弱。例如，常用的英偉達(dá)Isaac Sim仿真平臺(tái)，在處理多剛體運(yùn)動(dòng)時(shí)，與真實(shí)場(chǎng)景存在差距，對(duì)操作中力覺信息的仿真支持不足，難以滿足學(xué)習(xí)訓(xùn)練需求。即便像海耐基梅隆大學(xué)聯(lián)合多院校推出的Genesis，在接觸仿真性能上也無法達(dá)到應(yīng)用要求。

圖源:浙江人形機(jī)器人創(chuàng)新中心

方法層面，盡管大模型發(fā)展迅速，但通用性和準(zhǔn)確性難以平衡。對(duì)于機(jī)器人行為而言，任何差錯(cuò)都可能在工業(yè)生產(chǎn)中引發(fā)事故，在服務(wù)場(chǎng)景中危及人機(jī)安全。機(jī)器學(xué)習(xí)自身也面臨可解釋性差、災(zāi)難性遺忘等問題，如何在確保泛化性的同時(shí)實(shí)現(xiàn)高精度、高可靠和高效率，是亟待解決的難題。

執(zhí)行體性能同樣有待提升。在接觸作業(yè)中，力覺傳感器、端側(cè)智能計(jì)算控制器和操作末端靈巧手等執(zhí)行體組件，目前的性能無法充分滿足具身智能操作的需求，限制了技術(shù)的進(jìn)一步發(fā)展和應(yīng)用。

團(tuán)隊(duì)研究成果與應(yīng)用

浙江大學(xué)熊蓉團(tuán)隊(duì)在機(jī)器人領(lǐng)域開展了長期且深入的研究工作。自2000年起，團(tuán)隊(duì)聚焦機(jī)器人智能融合，探索機(jī)器人從封閉受控環(huán)境向開放環(huán)境的智能移動(dòng)和作業(yè)。2012年起，致力于減少人工編程依賴，推動(dòng)機(jī)器人自主學(xué)習(xí)。

在人形機(jī)器人研究方面成果豐碩，研發(fā)出多類型人形機(jī)器人。如多次榮獲國內(nèi)冠軍、4次獲得國際亞軍的足球機(jī)器人；在國家863重點(diǎn)項(xiàng)目支持下，研制出能與人或雙機(jī)器人進(jìn)行乒乓球?qū)Υ虻奈蚩找淮瑢?duì)打回合數(shù)達(dá)100多個(gè)；還成功開發(fā)出室內(nèi)外快速穩(wěn)定行走的雙足機(jī)器人，并在操作領(lǐng)域取得進(jìn)展，涵蓋未知混雜情況下的位置估計(jì)、多行為決策及工業(yè)應(yīng)用。

2023年12月，團(tuán)隊(duì)注冊(cè)成立浙江人形機(jī)器人創(chuàng)新中心有限公司，專注于人形機(jī)器人與具身智能的融合，打造相關(guān)產(chǎn)品和應(yīng)用工具鏈。2022年3月和8月分別發(fā)布領(lǐng)航者1號(hào)和領(lǐng)航者2號(hào)樣機(jī)。前者實(shí)現(xiàn)長距離穩(wěn)定行走和全身協(xié)調(diào)舞蹈；后者身高提升至1米65，更適配人類作業(yè)環(huán)境，解決了雙手協(xié)同操作、使用工具和全身協(xié)同行走等問題。

圖源:浙江人形機(jī)器人創(chuàng)新中心

在操作技術(shù)研究上，團(tuán)隊(duì)探索出一套獨(dú)特的方法。在感知層，針對(duì)大模型在物體檢測(cè)和位置估計(jì)方面的不足，采用Real2SimReal等方法，通過對(duì)物體進(jìn)行高保真重構(gòu)、在仿真場(chǎng)景渲染圖像并應(yīng)用于實(shí)際，有效提升檢測(cè)精度，在非透明和透明物體檢測(cè)中均得到驗(yàn)證。在行為層，早在2012年就研究將人類操作行為轉(zhuǎn)化為機(jī)器人程序，解決視覺觀測(cè)誤差與機(jī)器人執(zhí)行精度的差異問題，實(shí)現(xiàn)多種裝配作業(yè)。2022年，將抓取操作與語言視覺大模型聯(lián)合建模，使其能在混雜場(chǎng)景下完成復(fù)雜作業(yè)，并構(gòu)建面向目標(biāo)的長序列行為生成機(jī)制，應(yīng)對(duì)復(fù)雜任務(wù)要求。

在動(dòng)作層，致力于實(shí)現(xiàn)擬人化動(dòng)作，提出動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)方法學(xué)習(xí)長序列動(dòng)作映射，保障人機(jī)動(dòng)作相似性、機(jī)器人可執(zhí)行性和安全性。目前，已實(shí)現(xiàn)將人類動(dòng)作數(shù)據(jù)快速部署到機(jī)器人上，并解決了人形機(jī)器人站立作業(yè)和全身行走的技術(shù)難題，還能實(shí)現(xiàn)邊走邊揮手等交互動(dòng)作，未來將進(jìn)一步提升穩(wěn)定性和擬人化程度。

在底層控制方面，團(tuán)隊(duì)將視覺伺服控制與學(xué)習(xí)方法融合，解決了傳統(tǒng)方法需人工定義特征和收斂慢的問題，使其能適應(yīng)多種物體和操作場(chǎng)景，無需相機(jī)標(biāo)定即可完成作業(yè)。同時(shí)，構(gòu)建基礎(chǔ)歷史模型，提升控制的泛化能力，在華為生產(chǎn)線的充電插拔和光模塊插板等操作中，精度、學(xué)習(xí)效率和成功率均超越傳統(tǒng)方法。此外，團(tuán)隊(duì)還將力覺信息融合應(yīng)用于服裝制造的柔性布料上下料和PCB柔性毛刷抓取等領(lǐng)域，顯著提升了自動(dòng)化水平，縮短了部署和測(cè)試優(yōu)化時(shí)間。