理解自然語言實時感知場景，云深處機器狗配備“AI大腦”

中國經濟導報、中國發展網 記者崔立勇報道

近日，云深處科技首次公開機器狗與浙江大學“AI大腦”合作最新成果，基于大模型的機器人智能決策系統“機器人云腦”為X30機器狗賦能“大腦”，搭載該系統的X30機器狗不僅可以開口說話，理解人類自然語言，還學會了識別理解抽象圖像，欣賞梵高畫作，感知并撫慰人類情緒。

AI大腦+云深處機器狗識別梵高畫作

大模型+機器狗向“具身智能”探索前進

此次合作由云深處科技與浙江大學團隊聯合開展，“機器人云腦”結合了不同規模的大語言模型（LLM）、視覺語言模型（VLM）以及視覺語言行動模型（VLA），率先在四足機器人上整合大模型、同步定位與地圖構建技術（SLAM）、腿足控制等跨學科工程技術，大幅提升了四足機器人的環境感知與自然語言交互能力，向“具身智能”與“智能體”探索前進。

聯合實驗中，搭載“機器人云腦”的X30機器狗實現自然語言語義理解與交互，與人類對答如流，同時能夠實時感知場景，識別并理解隨機物體及抽象圖畫。在測試中X30機器狗認出了梵高的畫作《星空》，還秀了一把藝術天賦，為主人專業地解說了這幅世界名畫的風格與特點。在一名表情沮喪的工作人員面前，感知到人類情緒的X30機器狗不僅搖頭擺尾進行鼓勵，還給到許多舒緩心情的科學建議。

AI大腦+機器狗識別人類情緒

云深處AI+計劃

人工智能+機器人將實現AI與外部世界進行實體互動，為人工智能的交互能力帶來革命性潛力，是AI應用的重要形態。在生活場景，能夠進行自然語言理解與交互的機器人有可能成為“家庭成員”，陪伴照看人類；在工業領域，機器人將具備更豐富的輸入源分析處理能力，從而對圖像、聲音、溫度、空氣質量等各類傳感器數據做出更高效科學的規劃與決策，提升作業精度和可靠性，同時降低運營和維護成本。

云深處正開展“云深處AI+計劃”，集成AI功能與機器人軟件系統，持續賦能具身智能。今年的WAIC集中展示了云深處通過新的AI和軟件系統的眾多訓練成果未來，“云深處AI+計劃”還將擴展到感知、規劃、決策以及人機交互能力。大模型優秀的決策規劃和學習能力將有希望解決罕見而棘手的corner cases問題，提升機器人的智能化水平，降低機器人使用者的操作和學習門檻。