英偉達在本周一的SIGGRAPH大會上,為機器人開發者帶來了一系列全新的AI模型、庫及基礎設施,這一系列發布引起了廣泛關注。其中,Cosmos Reason成為全場焦點。這款視覺語言模型擁有70億參數,專門針對物理AI應用和機器人設計,具備強大的“推理”能力。
除了Cosmos Reason,英偉達還推出了Cosmos Transfer-2,進一步豐富了Cosmos世界模型系列。這款新模型能夠加速從3D模擬場景或空間控制輸入中生成合成數據,同時提供了一個速度優化更為出色的精簡版。這些模型的主要目標是創建用于訓練機器人和AI智能體的合成文本、圖像和視頻數據集。
英偉達在發布會上重點介紹了Cosmos Reason的獨特能力。該模型依托其記憶和對物理原理的深刻理解,使機器人和AI智能體具備了“推理”能力。這意味著它們可以作為規劃模型,推斷具身智能體接下來可能采取的步驟。英偉達表示,Cosmos Reason在數據策劃、機器人規劃和視頻分析等方面具有廣泛應用前景。
英偉達還發布了新的神經重建庫,該庫包含一種先進的渲染技術,開發者可以利用傳感器數據以3D形式模擬現實世界。這一技術已被整合進開源模擬器CARLA中,進一步提升了CARLA的模擬能力。同時,英偉達還更新了Omniverse軟件開發工具包,為開發者提供了更多功能和便利。
在機器人工作流程方面,英偉達推出了兩款新產品。Nvidia RTX Pro Blackwell Server專為機器人開發工作負載設計,提供了單一架構,而Nvidia DGX Cloud則是一個基于云的管理平臺,為開發者提供了更加靈活和高效的工作環境。
英偉達此次深入機器人領域的舉措,標志著該公司在尋找AI GPU新應用場景方面取得了重要進展。這些新發布的產品不僅豐富了英偉達的產品線,還為機器人開發者提供了更多選擇和可能性,推動了AI技術在機器人領域的廣泛應用。