近日，由百度研究院機器人與自動駕駛實驗室(RAL)團隊牽頭開發的全新無人挖掘機作業系統(AES)這一最新技術成果，登上了國際頂級期刊《Science》子刊 《Science Robotics》，并獲得了評審專家與期刊編委的高度評價。
該研究融合了感知、運動規劃和控制系統，可驅動挖掘機自主完成挖裝任務，進行24小時連續無人化作業，并成為全球首個實際落地的、可長時間作業的無人挖掘機系統，在工程機械自動化、無人化作業領域具有重要價值和影響。
隨著新型基礎設施建設的大力推進，工程機械行業乘風而上，并不斷向數字化、智能化方向演進。挖掘機被譽為工程機械“皇冠上的明珠”，在資源開采、工業生產、建設施工和搶險救災等領域應用廣泛，且擁有十分可觀的全球市場份額。
為什么要將挖掘機無人化?實際上，由于工作環境和能力要求等原因，挖掘機行業普遍存在招工難的人力短缺問題;挖掘機操作手還會遇到塌方、惡劣天氣等問題，這些問題為工業生產帶來巨大挑戰。基于此，百度無人挖掘機作業系統(AES)應運而生。
挖掘機惡劣工況和作業環境
通用型無人挖掘作業系統
百度RAL實驗室牽頭提出了百度無人挖掘機作業系統(AES)的研究，并聯合馬里蘭大學和百度智能云事業部合作開發。AES包含一套以三維環境感知、實時運動規劃、魯棒運動控制為核心的AI算法,可在不同工作情況下進行無人化作業。
無人挖掘機系統(AES)硬件系統
技術上，AES實現了三個方面的提升：使用多種傳感器融合和感知算法，感知模塊可以支持無人挖掘機在不同的工況和惡劣環境下進行無人化作業，保證了AES系統的作業效率、魯棒性和泛化能力;作業和運動規劃模塊融合了數據驅動的學習算法和優化算法，可以有效計算挖掘位置和挖掘機鏟斗軌跡，確保作業效率;高精度運動控制系統，有效實現挖掘機各機構的精準運動控制。
無人挖掘機系統(AES)框架圖
具體而言，首先，感知系統利用低成本相機和激光雷達，實時生成高精度的三維環境地圖，通過計算機視覺和深度學習等算法，AES可以檢測作業環境中的運輸卡車、障礙物、石塊、標識和人員等，并對卡車、障礙物等物體進行準確的三維姿態估計，同時也可以識別作業物料材質等信息。其次，基于感知系統的信息反饋，通過學習和優化算法，AES能夠快速進行作業規劃和多自由度的挖掘機各關節運動路徑規劃，確保提升作業效率的同時降低機械損耗。最后，通過高精度運動閉環控制算法，AES能夠實現挖掘機各機構的精準運動控制，解決了傳統工程機械中運動控制無法閉環、軌跡難以跟蹤、跟蹤精度差等難題。此外，AES還包含一整套軟件和界面設計，協助終端用戶完成系統的操作、部署和使用。
AES視覺感知系統功能模塊
以石塊操作任務為例，AES系統的操作流程如下。感知系統以“從粗到細”的方式對場景信息進行處理。首先對圖像進行增強處理，消除粉塵對整個識別系統的影響;之后對作業區域的物料進行材質識別;然后將圖像中石塊所在區域進行語義和實例分割算法處理。通過融合二維實例分割結果和LiDAR三維點云，確定石塊的精確三維位置。感知模塊最后將石塊三維位置反饋給規劃和控制模塊，AES最后通過挖掘機多自由度運動規劃和運動閉環控制，實現移除石塊的任務。
AES石塊操作示例
目前，AES已在多種復雜的室內和室外不同工況下進行了挖裝測試、石塊操作及挖溝任務等，充分顯示了AES系統具備處理多種挖掘機任務的能力，證明了AES系統的技術先進性、作業任務兼容性、系統穩定性和魯棒性。
AES測試場景
實現落地應用 百度AI助力工業生產智能化
AES已經落地工業廢料處理相關領域，在實際的無人化、自動化應用中發揮重要作用。AES實現了工業廢料連續24小時自動上料功能，助力工業廢料處理產線實現全程的無人化處理。在工業廢料上料過程中，AES感知模塊首先進行工業廢料的地形三維重建，確定待挖掘區域;運動規劃模塊根據感知模塊的信息反饋設計運動軌跡，控制模塊根據運動軌跡進行工業廢料處理。目前AES賦能的無人挖掘機系統已在工業廢料處理產線上無故障作業了數千小時，充分顯示了AES系統的穩定性和魯棒性，有效減少了工業廢料對挖掘機操作手的損害，并為客戶大幅節省人力成本。
AES連續24小時無人作業
在AES系統的基礎上，百度RAL聯合百度智能云事業部開發的“盤古工程機械無人作業平臺”，已成為國內首個基于智能云平臺、軟硬一體、技術領先的工程機械無人作業平臺。基于盤古平臺的挖掘機，在沒有駕駛員操作的情況下，自主感知作業環境、規劃任務并完成作業。
目前，百度盤古團隊和徐工等工程機械頭部廠商打磨合作，優化和落地無人化作業系統，幫助工程機械用戶提升生產安全性、降本增效，推動工業生產向數字化、智能化、安全化、綠色化的目標邁進。
“百度盤古”賦能工程機械無人化作業
建設與發展是人類社會的主旋律，工業生產的自動化和智能化是未來的主流趨勢。百度將繼續創新與迭代AI技術，瞄準工業生產細分領域，為工業生產真實場景技術轉型突破賦能，持續推動技術落地產業實際應用。
