在人工智能與機器人技術的交匯點上，浙江大學控制學院的副教授朱秋國與云深處科技的創始人，分享了他在人形機器人與四足機器人研究領域的深厚積累。自2019年起，他與國外學者合作，將強化學習（RL）引入到傳統控制方法中，為機器人研究帶來了新的突破。
在近期的一次討論中，來自不同領域的專家圍繞“RL + Control”的主題展開了深入探討。王建明老師作為主持人，首先提出了一個引人深思的問題：為何眾多學者早在AI與機器人結合的浪潮到來之前，就選擇在這個領域深耕？
石冠亞教授分享了他的觀點。他認為，機器人研究之所以吸引他，是因為它是一個綜合性的系統工程，涵蓋了從“大腦”算法到“小腦”控制，再到硬件設計的各個方面。他引用了導師Joel W. Burdick的觀點，即每次機器人領域成為風口時，都會留下對領域發展有重大貢獻的成果，為下一次浪潮奠定基礎。
朱秋國教授則講述了自己從雙足人形機器人到四足機器人的研究歷程。他指出，人形機器人是一個極佳的研究平臺，但要讓機器人走出實驗室，適應復雜環境并實現實際應用，需要經歷長時間的探索與迭代。他強調了熱愛與堅持對于機器人研究的重要性。
羅劍嵐博士從控制理論的角度出發，分享了他對強化學習的看法。他提到，在傳統的控制方法中，狀態估計與控制往往是分離的，這在處理復雜操作時面臨很大挑戰。而強化學習通過端到端的方法，直接從感知到控制進行優化，為操作任務提供了新的解決思路。
盧宗青教授則從強化學習算法的角度，分享了他對機器人研究的見解。他認為，雖然現有的強化學習算法在實踐中表現良好，但針對機器人學習的特性進行定制化設計，仍有很大的探索空間。他強調了與物理世界交互的重要性，并指出這是提升機器人智能的關鍵。
在討論RL和Control在機器人移動能力（Locomotion）上的應用時，石冠亞教授提出了一個有趣的觀點：他認為RL和Control本質上都是解決同一個問題的方法，而非獨立的方法論。他詳細解釋了Sim2Real RL與基于模型的控制（MBC）在算力運用和狀態估計方面的差異，并強調了將RL與Control相結合的重要性。
朱秋國教授則從產業化的角度，分享了他在四足機器人控制方面的經驗。他提到，雖然傳統控制方法在某些場景下表現穩定，但RL在展現機器人全身運動能力方面更具優勢。他強調了在實際應用中，需要根據具體場景選擇合適的控制方法，并逐步將RL與傳統控制方法相結合。
在探討操作（Manipulation）方面時，羅劍嵐博士強調了強化學習在處理外部世界不確定性方面的優勢。他指出，與Locomotion不同，Manipulation面臨的主要挑戰來自外部世界的不確定性，而強化學習通過與環境的交互，能夠更好地適應這種不確定性。
關于商用機器人的可靠性問題，專家們一致認為，要達到99%以上的可靠性是一個巨大的挑戰。他們提出，除了技術層面的突破外，還需要結合場景需求進行定制化設計，并逐步通過真實世界的數據進行驗證與優化。
最后，關于RL算法本身的創新空間，專家們認為雖然現有的PPO、SAC等算法在實踐中表現良好，但針對機器人學習的特性進行定制化設計仍有很大的探索空間。他們強調了持續創新的重要性，并期待未來能有更多針對機器人領域的強化學習算法出現。
整場討論中，專家們不僅分享了各自的研究成果和經驗，還就RL與Control在機器人研究中的應用、挑戰與未來方向進行了深入交流。這次討論不僅為機器人領域的研究者提供了寶貴的啟示，也為未來機器人技術的發展指明了方向。
