如果你關(guān)注近幾年的人形機(jī)器人競賽應(yīng)該能發(fā)現(xiàn)一個(gè)明顯變化比賽項(xiàng)目正從“走一段路”“翻一個(gè)跟頭”這類運(yùn)動(dòng)表演轉(zhuǎn)向“找到火源并完成處理”“從書架上取書再準(zhǔn)確放回”這類任務(wù)型場景。在第二屆世界人形機(jī)器人運(yùn)動(dòng)會(huì)上智元精靈 G2 拿下“消防應(yīng)急場景”和“圖書場景”兩枚金牌這件事在技術(shù)圈值得展開討論的地方不在于“誰拿了金牌”而在于賽事項(xiàng)目本身透露出的行業(yè)信號(hào)人形機(jī)器人的評(píng)價(jià)標(biāo)準(zhǔn)正在從“能不能做出來”變成“能不能穩(wěn)定完成任務(wù)”。這個(gè)轉(zhuǎn)變對(duì)開發(fā)者來說很關(guān)鍵。過去我們?cè)u(píng)價(jià)一臺(tái)人形機(jī)器人常用指標(biāo)是行走速度、跳躍高度、平衡能力現(xiàn)在到了任務(wù)型競賽階段核心指標(biāo)變成了任務(wù)成功率、全流程完成度、異常恢復(fù)能力。換句話說行業(yè)正在把機(jī)器人當(dāng)作一個(gè)完整系統(tǒng)來考核而不是某個(gè)單點(diǎn)算法的展示臺(tái)。消防應(yīng)急和圖書場景之所以被選為比賽項(xiàng)目正是因?yàn)樗鼈兎謩e代表了“長鏈路強(qiáng)反饋任務(wù)”和“精細(xì)操作任務(wù)”這兩類最接近真實(shí)應(yīng)用的技術(shù)挑戰(zhàn)。這篇文章不打算只復(fù)述一次賽事結(jié)果。我會(huì)把“兩枚金牌”拆開來看消防應(yīng)急場景到底考了什么圖書場景又難在哪些技術(shù)細(xì)節(jié)一臺(tái)人形機(jī)器人要跑通這兩類任務(wù)需要具備什么樣的技術(shù)架構(gòu)如果你也想在仿真或?qū)嵨锲脚_(tái)上復(fù)現(xiàn)類似任務(wù)應(yīng)該從哪里入手有哪些常見坑。對(duì)于正在從事機(jī)器人開發(fā)、具身智能研究或者想從傳統(tǒng)自動(dòng)化轉(zhuǎn)向智能機(jī)器人的工程師這篇內(nèi)容可以作為一條從比賽到技術(shù)棧的梳理路徑。1. 這場比賽為什么值得技術(shù)人關(guān)注1.1 競賽項(xiàng)目的變化本質(zhì)是評(píng)價(jià)基準(zhǔn)的變化前幾年各類人形機(jī)器人展示更多是單點(diǎn)技能的 PK誰能走得更穩(wěn)誰能跑得更快誰能完成空翻。這些指標(biāo)當(dāng)然重要但它們反映的是運(yùn)動(dòng)控制算法在理想條件下的極限表現(xiàn)。而任務(wù)型競賽把多個(gè)技能串聯(lián)起來要求機(jī)器人在一個(gè)連續(xù)流程里完成感知、決策、移動(dòng)、操作、驗(yàn)證任何一個(gè)環(huán)節(jié)失敗都可能導(dǎo)致整個(gè)任務(wù)失敗。這種變化很像軟件工程領(lǐng)域從“算法題”轉(zhuǎn)向“可靠性工程”算法題只要求單點(diǎn)正確可靠性工程關(guān)心的是系統(tǒng)在真實(shí)條件、異常輸入、中間失敗下能不能扛住。人形機(jī)器人競賽項(xiàng)目一旦轉(zhuǎn)向“消防應(yīng)急”“圖書整理”這類任務(wù)說明行業(yè)已經(jīng)不再滿足于“我做出了一個(gè)能走路的機(jī)器人”而是開始追問“這臺(tái)機(jī)器人能不能完成一件完整的事”。1.2 為什么是消防應(yīng)急和圖書場景選這兩個(gè)場景不是隨機(jī)排列。消防應(yīng)急天然具備“長鏈路、強(qiáng)反饋、高不確定”的特點(diǎn)。機(jī)器人需要先感知環(huán)境再判斷哪里有異常目標(biāo)然后規(guī)劃路徑靠近目標(biāo)最后還要執(zhí)行一個(gè)干預(yù)動(dòng)作并確認(rèn)結(jié)果。整個(gè)過程不是單次動(dòng)作而是一個(gè)完整的閉環(huán)。圖書場景則相反它的外部環(huán)境相對(duì)固定但對(duì)操作精度要求極高。書架空間狹窄書本尺寸重量各異書脊文字可能反光夾取時(shí)力度大了會(huì)損壞書籍力度小了會(huì)打滑。這類任務(wù)考的是精細(xì)操作、力控制和視覺伺服是人形機(jī)器人從“會(huì)走”走向“會(huì)干活”的關(guān)鍵能力。兩個(gè)場景合在一起恰好覆蓋了具身智能落地最核心的兩個(gè)能力維度一個(gè)是系統(tǒng)魯棒性一個(gè)是操作精準(zhǔn)度。1.3 技術(shù)人真正該看的是“穩(wěn)定執(zhí)行”從材料看智元精靈 G2 能在“消防應(yīng)急場景”和“圖書場景”兩個(gè)項(xiàng)目中摘得金牌這背后值得關(guān)注的不是某個(gè)網(wǎng)絡(luò)結(jié)構(gòu)突然變強(qiáng)了而是它的整機(jī)系統(tǒng)在最容易翻車的任務(wù)閉環(huán)里保持了較高的成功率。做機(jī)器人系統(tǒng)的人都知道單點(diǎn)能力做到 90 分和全鏈路任務(wù)做到 90 分是完全不同的兩件事。前者可能只需要一兩個(gè)算法模塊后者需要工程架構(gòu)、調(diào)試工具、異常恢復(fù)機(jī)制共同支撐。所以這類比賽的金牌本質(zhì)上是一個(gè)系統(tǒng)工程能力的證明而不是某個(gè)模型的“性能榜”。2. 消防應(yīng)急場景真正考的是“可信賴性”2.1 場景任務(wù)拆解與共性問題從公開材料看本屆賽事將該項(xiàng)目歸為“消防應(yīng)急場景”。雖然我們拿不到官方的完整判分細(xì)則但這類任務(wù)通常會(huì)圍繞幾個(gè)共性問題展開識(shí)別異常源、通過復(fù)雜地形、靠近目標(biāo)、執(zhí)行簡單干預(yù)動(dòng)作、完成狀態(tài)上報(bào)。實(shí)際消防現(xiàn)場遠(yuǎn)比賽事復(fù)雜得多真實(shí)火場里有濃煙、高溫、有毒氣體、復(fù)雜障礙物這些對(duì)機(jī)器人是極端挑戰(zhàn)。因此比賽中往往會(huì)用模擬煙霧、模擬火源、可探測(cè)目標(biāo)物來構(gòu)造一個(gè)受控環(huán)境目的是檢驗(yàn)同樣的技術(shù)鏈路能不能在“近似真實(shí)”的條件下穩(wěn)定跑通。機(jī)器人在這里的定位是輔助巡檢和早期響應(yīng)而不是替代專業(yè)消防員。2.2 第一個(gè)難點(diǎn)復(fù)雜條件下的感知消防應(yīng)急場景最容易翻車的模塊就是感知。普通視覺模型在正常光照下識(shí)別目標(biāo)沒有問題一旦畫面出現(xiàn)煙霧干擾、光影劇烈變化、目標(biāo)物體部分遮擋識(shí)別精度會(huì)明顯下降。這類場景不能只靠單一傳感器。工程上更穩(wěn)妥的做法是多種傳感模態(tài)融合可見光相機(jī)負(fù)責(zé)語義識(shí)別例如目標(biāo)物體顏色、形狀熱成像或紅外傳感器負(fù)責(zé)檢測(cè)溫度異常激光雷達(dá)或深度相機(jī)提供三維結(jié)構(gòu)信息用于避障和定位可選配氣體探測(cè)傳感器感知環(huán)境危險(xiǎn)度。傳感器融合的價(jià)值在于容錯(cuò)。某個(gè)傳感器被煙霧干擾時(shí)其他傳感器仍然可以提供有效信息系統(tǒng)不至于直接“失明”。2.3 第二個(gè)難點(diǎn)長鏈路任務(wù)的有序執(zhí)行消防應(yīng)急任務(wù)不是一個(gè)單步動(dòng)作而是感知、定位、決策、移動(dòng)、操作、確認(rèn)的循環(huán)。機(jī)器人必須知道自己當(dāng)前處于任務(wù)的哪個(gè)階段下一步應(yīng)該做什么上一步結(jié)果是否可信。這要求機(jī)器人任務(wù)層有清晰的狀態(tài)管理。最常見的方案是狀態(tài)機(jī)或行為樹狀態(tài)機(jī)適合流程相對(duì)固定、狀態(tài)數(shù)量可控的任務(wù)行為樹更適合包含分支、回退、并行行為的復(fù)雜任務(wù)。狀態(tài)管理看起來“不夠炫酷”但它往往決定了整個(gè)任務(wù)能不能穩(wěn)定完成。很多比賽失敗不是輸在算法而是輸在狀態(tài)混亂機(jī)器人已經(jīng)完成了滅火動(dòng)作卻仍然停在“尋找火源”的狀態(tài)或者抓取失敗之后沒有重試機(jī)制只能原地宕機(jī)。2.4 第三個(gè)難點(diǎn)故障恢復(fù)與系統(tǒng)魯棒性消防應(yīng)急場景里機(jī)器人可能摔倒、被障礙物卡住、抓取設(shè)備時(shí)打滑。對(duì)比賽來說這些異常一旦出現(xiàn)如果系統(tǒng)沒有恢復(fù)能力任務(wù)就結(jié)束了如果系統(tǒng)能自動(dòng)重試或安全停機(jī)至少還能拿到部分任務(wù)分。故障恢復(fù)不是比賽專用的“附加功能”而是真實(shí)部署的必需品。在做機(jī)器人系統(tǒng)設(shè)計(jì)時(shí)建議把以下能力作為一級(jí)模塊來規(guī)劃狀態(tài)自檢每個(gè)子任務(wù)結(jié)束后確認(rèn)結(jié)果自動(dòng)重試對(duì)可恢復(fù)的失敗進(jìn)行有限次重試安全降級(jí)遇到無法處理的情況時(shí)進(jìn)入安全模式而不是繼續(xù)亂動(dòng)人工接管保留遠(yuǎn)程遙控和緊急停止通道。2.5 小結(jié)論金牌更像是對(duì)“工程可靠性”的認(rèn)可從技術(shù)角度看智元精靈 G2 能在消防應(yīng)急場景中摘得金牌說明它在這類長鏈路任務(wù)中的成功率、恢復(fù)能力和整體系統(tǒng)穩(wěn)定性是可靠的。這并不意味著它能在真實(shí)火場里完成撲救但至少說明它的感知-決策-執(zhí)行閉環(huán)已經(jīng)具備基礎(chǔ)的可信度。3. 圖書場景精細(xì)操作的“三項(xiàng)基本功”3.1 為什么取書放書并沒有想象中簡單很多人會(huì)覺得“從書架上取一本書再放回去”是再簡單不過的事情。但對(duì)機(jī)器人來說這個(gè)任務(wù)藏著大量工程難點(diǎn)。書脊文字小且容易反光不同書籍的封面紋理差異大書架上的書排列緊密機(jī)械臂和靈巧手的運(yùn)動(dòng)空間非常有限書籍之間可能有縫隙也可能塞得很緊夾取力量過大可能損傷書籍力量過小則會(huì)在移動(dòng)過程中滑落。更麻煩的是機(jī)器人每次面對(duì)的書都不一樣這意味著它不能靠死記硬背來完成抓取。圖書場景看起來溫和實(shí)際上是對(duì)機(jī)器人操作閉環(huán)的嚴(yán)格考驗(yàn)。很多機(jī)器人 demo 可以靠預(yù)設(shè)軌跡在固定位置成功一次但比賽要求的是連續(xù)多次執(zhí)行且保持高成功率這會(huì)讓“預(yù)設(shè)軌跡”式方案直接失效。3.2 第一項(xiàng)基本功檢測(cè)與識(shí)別圖書整理任務(wù)首先要求機(jī)器人“看懂”書架上有什么。這里需要兩類能力目標(biāo)檢測(cè)定位每一本書的書脊或封面區(qū)域輸出矩形框和類別文字識(shí)別通過 OCR 識(shí)別書脊上的書名用于后續(xù)分類和歸位。單一模型很難同時(shí)滿足這兩個(gè)需求。常見的做法是先檢測(cè)書脊區(qū)域再對(duì)區(qū)域內(nèi)的文字進(jìn)行二次識(shí)別。由于書脊文字存在反光和透視形變識(shí)別時(shí)還需要做圖像校正。這里真正容易踩坑的地方是訓(xùn)練數(shù)據(jù)不夠真實(shí)。網(wǎng)絡(luò)上能收集到的書脊圖片大多來自電商封面光線環(huán)境和真實(shí)書架差距較大。工程上建議自己采集一批目標(biāo)書架的圖片做微調(diào)或者使用數(shù)據(jù)增強(qiáng)模擬反光、模糊、遮擋等情況。3.3 第二項(xiàng)基本功抓取規(guī)劃與移動(dòng)操作圖書場景中的操作難點(diǎn)在于“移動(dòng)機(jī)器人 機(jī)械臂”的復(fù)合系統(tǒng)。移動(dòng)底盤或雙足在到達(dá)工作點(diǎn)時(shí)會(huì)有定位誤差機(jī)械臂再疊加運(yùn)動(dòng)誤差最后末端執(zhí)行器的誤差可能被放大到幾厘米。要抓取一個(gè)窄小的書脊這個(gè)誤差是致命的。解決思路是加入視覺伺服閉環(huán)眼睛先看目標(biāo)手臂開始移動(dòng)移動(dòng)過程中持續(xù)觀測(cè)目標(biāo)位置實(shí)時(shí)修正末端軌跡。手眼標(biāo)定的精度在這里也很重要如果相機(jī)坐標(biāo)系和機(jī)械臂坐標(biāo)系沒有精確對(duì)齊后續(xù)所有計(jì)算都會(huì)出問題。3.4 第三項(xiàng)基本功力控與柔順控制抓書動(dòng)作看似簡單本質(zhì)上是一個(gè)“接觸問題”。機(jī)器人需要控制末端執(zhí)行器與書籍之間的接觸力既不能夾不緊也不能夾壞書。工程上常用的手段是阻抗控制或?qū)Ъ{控制讓機(jī)械臂在接觸物體時(shí)表現(xiàn)出一定的“柔性”而不是生硬的剛性位置控制。柔性控制能力不僅用于夾書還可以擴(kuò)展到開門、插拔、裝配等很多操作任務(wù)。從產(chǎn)業(yè)角度看圖書整理場景練出的力控能力可以平移到倉儲(chǔ)揀選、檔案整理、零售補(bǔ)貨等場景價(jià)值并不局限于圖書館。3.5 小結(jié)論圖書場景是操作閉環(huán)的試金石智元精靈 G2 能在這個(gè)場景摘金意味著它具備了較完整的“感知-規(guī)劃-操作-驗(yàn)證”閉環(huán)能力而不是只會(huì)做單次抓取展示。這種能力恰恰是規(guī)模化部署操作型機(jī)器人最缺的一環(huán)。4. 具身智能機(jī)器人的通用技術(shù)架構(gòu)感知、決策、控制、仿真把消防應(yīng)急和圖書場景放在一起看會(huì)發(fā)現(xiàn)它們依賴的技術(shù)棧高度重合。我們可以用一張通用的四層架構(gòu)圖來理解一臺(tái)人形機(jī)器人是如何完成任務(wù)的層級(jí)主要功能典型技術(shù)模塊感知層感知環(huán)境、識(shí)別目標(biāo)、估計(jì)自身狀態(tài)目標(biāo)檢測(cè)、語義分割、OCR、SLAM、力覺感知、狀態(tài)估計(jì)決策層任務(wù)分解、行為選擇、路徑規(guī)劃狀態(tài)機(jī)、行為樹、LLM/VLM、搜索規(guī)劃、策略學(xué)習(xí)控制層運(yùn)動(dòng)控制、操作控制、全身協(xié)調(diào)MPC、WBC、強(qiáng)化學(xué)習(xí)、阻抗/導(dǎo)納控制、步態(tài)控制仿真與數(shù)據(jù)層訓(xùn)練、驗(yàn)證、回放、數(shù)據(jù)積累Gazebo、MuJoCo、Isaac Sim、數(shù)據(jù)平臺(tái)、日志系統(tǒng)感知層負(fù)責(zé)回答“我在哪、周圍有什么”決策層負(fù)責(zé)回答“下一步做什么”控制層負(fù)責(zé)回答“怎么動(dòng)”仿真與數(shù)據(jù)層則支撐整個(gè)系統(tǒng)的高效迭代。人形機(jī)器人和傳統(tǒng)機(jī)械臂的一個(gè)本質(zhì)差異是“全身耦合”。傳統(tǒng)機(jī)械臂固定在一個(gè)基座上運(yùn)動(dòng)學(xué)關(guān)系相對(duì)簡單人形機(jī)器人既要移動(dòng)又要操作移動(dòng)時(shí)候的姿態(tài)變化會(huì)直接影響機(jī)械臂操作精度機(jī)械臂的負(fù)載變化也會(huì)影響整機(jī)平衡。這意味著不能把導(dǎo)航、步態(tài)、操作三個(gè)模塊單獨(dú)開發(fā)完再拼在一起而要在系統(tǒng)層面做協(xié)同設(shè)計(jì)。近年被頻繁提及的多模態(tài)大模型在整個(gè)人形機(jī)器人架構(gòu)中主要落在決策層。大模型可以理解自然語言指令把“把桌上的書放回書架”拆解成若干子任務(wù)也可以實(shí)現(xiàn)視覺問答、目標(biāo)定位輔助。但高頻的運(yùn)動(dòng)控制和力控制仍然依賴底層控制算法或?qū)ｉT訓(xùn)練的控制策略。更穩(wěn)妥的系統(tǒng)架構(gòu)是“大模型負(fù)責(zé)長程規(guī)劃和語義理解底層控制器負(fù)責(zé)實(shí)時(shí)執(zhí)行”。5. 環(huán)境準(zhǔn)備與任務(wù)復(fù)現(xiàn)思路我們沒有智元精靈 G2 的內(nèi)部代碼但可以從公開技術(shù)生態(tài)出發(fā)復(fù)現(xiàn)這類任務(wù)的核心骨架。這套骨架完全可以用一臺(tái)普通的開發(fā)機(jī)、一個(gè)仿真環(huán)境和開源算法搭建出來。5.1 選型建議操作系統(tǒng)Ubuntu 22.04 或 20.04機(jī)器人中間件ROS 2 Humble 或?qū)?yīng)版本編程語言Python 3.10 或 3.8仿真平臺(tái)MuJoCo 適合控制算法驗(yàn)證Gazebo 適合 ROS 生態(tài)集成Isaac Sim 適合視覺策略和 GPU 仿真檢測(cè)模型YOLO 系列或 RT-DETR文字識(shí)別PaddleOCR 或 EasyOCR任務(wù)編排狀態(tài)機(jī)或行為樹。版本細(xì)節(jié)請(qǐng)以實(shí)際安裝環(huán)境為準(zhǔn)這里不寫死。重點(diǎn)是跑通一條完整鏈路讓你理解任務(wù)型機(jī)器人系統(tǒng)的工程結(jié)構(gòu)。5.2 安裝基礎(chǔ)環(huán)境sudo apt update sudo apt install -y ros-humble-desktop python3-colcon-common-extensions如果你的 ROS 2 版本不是 Humble把包名替換成對(duì)應(yīng)版本即可。安裝完成后創(chuàng)建一個(gè)工作空間mkdir -p ~/humanoid_task_ws/src cd ~/humanoid_task_ws colcon build source install/setup.bash這個(gè)工作空間會(huì)用來存放感知、任務(wù)調(diào)度、控制等模塊。如果你暫時(shí)不想使用 ROS 2也可以直接使用純 Python 工程結(jié)構(gòu)核心是任務(wù)流程本身而不是具體通信框架。5.3 仿真平臺(tái)選擇對(duì)開發(fā)者來說先用仿真驗(yàn)證算法是效率最高的方式。仿真不是“逃避真機(jī)”而是為了在低成本條件下快速試錯(cuò)。建議初學(xué)者優(yōu)先選擇 MuJoCo 或 Gazebo因?yàn)樗鼈兣c Python 和 ROS 生態(tài)的集成比較成熟社區(qū)資料也更豐富。仿真環(huán)境的要點(diǎn)是“任務(wù)邏輯可復(fù)現(xiàn)”機(jī)器人起始位置固定書架和書本布局可配置任務(wù)完成后可以通過腳本自動(dòng)重置場景。這樣一來你就能對(duì)同一個(gè)任務(wù)反復(fù)測(cè)試統(tǒng)計(jì)成功率而不是每一次實(shí)驗(yàn)都要重新擺場。6. 核心任務(wù)流程拆解從“看”到“動(dòng)”以下流程以“圖書整理任務(wù)”為例但它同樣適用于消防應(yīng)急任務(wù)的框架。6.1 任務(wù)解析與目標(biāo)生成機(jī)器人拿到一個(gè)高層指令例如“把書架第三層的藍(lán)色書放到桌子上的籃子里”。第一步是把高層指令拆成可執(zhí)行子任務(wù)序列。實(shí)現(xiàn)方式可以是規(guī)則引擎也可以是 LLM。關(guān)鍵要求是輸出結(jié)構(gòu)化任務(wù)列表例如1. 導(dǎo)航到指定書架區(qū)域 2. 檢測(cè)并定位目標(biāo)書 3. 抓取目標(biāo)書 4. 導(dǎo)航到目標(biāo)桌子 5. 放置書籍 6. 視覺驗(yàn)證放置結(jié)果任務(wù)解析的好壞直接決定后續(xù)狀態(tài)機(jī)設(shè)計(jì)的復(fù)雜度。如果一個(gè)高層指令可以固定對(duì)應(yīng)一組流程用規(guī)則就夠了如果指令變化多才需要考慮引入大模型做語義拆解。6.2 場景感知機(jī)器人到達(dá)書架前需要識(shí)別周圍環(huán)境。這里的輸出不是一張圖片而是結(jié)構(gòu)化的環(huán)境信息例如目標(biāo)書的類別、位置、姿態(tài)以及周圍障礙物的占用情況。book: { id: A001, title: 機(jī)器人學(xué)導(dǎo)論, bounding_box: [x1, y1, x2, y2], pose: [x, y, theta] }感知模塊輸出的質(zhì)量直接影響后續(xù)抓取。如果感知結(jié)果不準(zhǔn)再好的控制算法也救不回來。6.3 導(dǎo)航與定位機(jī)器人需要從當(dāng)前位置移動(dòng)到書架前的工作點(diǎn)。這涉及全局路徑規(guī)劃和局部避障。對(duì)人形機(jī)器人來說導(dǎo)航還需要考慮地面高低起伏、機(jī)身通過性等因素比輪式機(jī)器人更復(fù)雜。從工程經(jīng)驗(yàn)看移動(dòng)誤差是任務(wù)失敗的重要來源。機(jī)器人以為自己在書架前 30 厘米處實(shí)際可能偏了 5 厘米。所以導(dǎo)航到位后通常還需要根據(jù)視覺信息進(jìn)行二次定位。6.4 操作執(zhí)行操作執(zhí)行是任務(wù)流程中最核心的一步。機(jī)器人根據(jù)感知輸出的目標(biāo)位置規(guī)劃抓取軌跡隨后手臂逐漸靠近目標(biāo)在接觸過程通過力控調(diào)整夾取力度。這里需要特別關(guān)注手眼協(xié)同。如果機(jī)器人先看一眼目標(biāo)再盲目伸手過程中目標(biāo)位置沒有再次校正成功率往往不高如果手在靠近目標(biāo)的同時(shí)持續(xù)用視覺回饋位置成功率會(huì)顯著提升。6.5 結(jié)果確認(rèn)與恢復(fù)任務(wù)結(jié)束后機(jī)器人不能默認(rèn)“自己成功了”而要通過攝像頭或力覺傳感器檢查結(jié)果。放書后再拍一張圖確認(rèn)書已經(jīng)不在機(jī)械手上如果書還在手上說明放置失敗需要重新嘗試如果連續(xù)若干次失敗則進(jìn)入失敗狀態(tài)并報(bào)告人工處理。結(jié)果確認(rèn)這個(gè)動(dòng)作可以放在每個(gè)子任務(wù)之后而不僅是在整個(gè)任務(wù)之后這樣能盡早發(fā)現(xiàn)錯(cuò)誤減少無效操作。6.6 任務(wù)級(jí)狀態(tài)管理為了讓流程可控我們需要一個(gè)任務(wù)狀態(tài)機(jī)來記錄當(dāng)前狀態(tài)、驅(qū)動(dòng)流程遷移、處理失敗重試。這是機(jī)器人系統(tǒng)穩(wěn)定性的核心保障。7. 完整示例一個(gè)可跑的“圖書整理”任務(wù)骨架下面給出一套可以在純 Python 環(huán)境運(yùn)行的最小示例它演示了“感知模塊如何抽取書脊位置”和“任務(wù)狀態(tài)機(jī)如何編排流程”。真實(shí)項(xiàng)目中你需要把FakeRobotAPI替換成機(jī)器人 SDK并接入真正的視覺模型。7.1 創(chuàng)建工程目錄mkdir -p book_sorting_demo/book_sorting_demo cd book_sorting_demo7.2 感知模塊示例在book_sorting_demo/book_sorting_demo/book_detector.py中寫入# 文件路徑book_sorting_demo/book_sorting_demo/book_detector.py import cv2 def detect_book_boundaries(image_path: str): 檢測(cè)圖像中的書脊分界線用于定位書本位置。 真實(shí)項(xiàng)目可以將這段邏輯替換為目標(biāo)檢測(cè)模型例如 YOLO/RT-DETR。 這里用邊緣統(tǒng)計(jì)作為簡化演示目的是打通“圖像 - 結(jié)構(gòu)化輸出”的鏈路。 image cv2.imread(image_path) if image is None: raise FileNotFoundError(f無法讀取圖像: {image_path}) gray cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) edges cv2.Canny(gray, 50, 150) # 統(tǒng)計(jì)每一列的邊緣像素總數(shù)書脊之間的豎縫通常表現(xiàn)為低邊緣區(qū)域 col_sum edges.sum(axis0) boundaries [] for x in range(1, len(col_sum) - 1): if col_sum[x - 1] 0 and col_sum[x] 0: boundaries.append(x) return boundaries, image if __name__ __main__: img_path shelf.jpg boundaries, frame detect_book_boundaries(img_path) print(檢測(cè)到的書脊分界線 x 坐標(biāo):, boundaries)這段代碼用一個(gè)簡化邏輯演示“從圖像中找出書本之間的分界線”。如果col_sum[x] 0表示這一列幾乎沒有邊緣信息往往是書脊之間的縫隙。真實(shí)場景會(huì)使用目標(biāo)檢測(cè)模型直接輸出每個(gè)書脊的矩形框和類別并用 OCR 識(shí)別書名但核心思想一致把圖像轉(zhuǎn)換成后續(xù)決策可用的結(jié)構(gòu)化信息。7.3 任務(wù)狀態(tài)機(jī)示例在book_sorting_demo/book_sorting_demo/task_state_machine.py中寫入# 文件路徑book_sorting_demo/book_sorting_demo/task_state_machine.py from enum import Enum, auto class TaskState(Enum): INIT auto() NAVIGATE_TO_SHELF auto() DETECT_BOOK auto() GRASP_BOOK auto() PLACE_BOOK auto() VERIFY auto() SUCCESS auto() FAILED auto() class FakeRobotAPI: 模擬機(jī)器人接口用于本地驗(yàn)證狀態(tài)機(jī)邏輯。 def navigate(self, target): print(f[ROBOT] navigate to {target}) return True def detect_nearest_book(self): print([ROBOT] detect book) return {book_id: A001, pose: [0.5, 0.2, 0.3]} def grasp_book(self): print([ROBOT] grasp book) return True def place_book(self): print([ROBOT] place book) return True def verify_place(self): print([ROBOT] verify placed book) return True class BookSortingTask: def __init__(self, robot_api): self.robot_api robot_api self.state TaskState.INIT self.max_retry 2 self.retry_count 0 def run(self): while True: if self.state in (TaskState.SUCCESS, TaskState