要點:
1. 快手與哈爾濱工業大學聯合研發的「KwaiAgents」系統實現了7B/13B模型的開源，超越了GPT-3.5的效果。
2. 「KwaiAgents」包含輕量級AI Agents系統（KAgentSys-Lite）、具有通用能力的大模型(KAgentLMs)、以及開箱即用的自動化評測Benchmark(KAgentBench)。
3. 通過Meta-Agent Tuning（MAT）方法，模型在訓練中引入更多Agent Prompt模板，提升大模型在任務規劃、工具使用、反思等能力，從而達到超越效果。
（ChinaZ.com）12月28日 消息:近日，快手聯合哈爾濱工業大學成功開源了「KwaiAgents」系統，實現了7B/13B模型的超越效果。這一成果的背后，是通過Meta-Agent Tuning（MAT）方法提升大模型的通用能力。整個項目包含了系統、模型、以及評測三個方面的內容，并通過GitHub完全開源，為研究者和開發者提供了極大的便利。
項目地址:https://github.com/KwaiKEG/KwaiAgents
該系統以大模型為認知內核，配以記憶機制和工具庫，形成迭代式自動化系統。記憶機制包含知識庫、對話和任務歷史三類記憶，通過混合向量檢索和關鍵詞檢索技術，在每一輪對話中檢索所需信息。工具集包含事實性增強工具，異構的搜索和瀏覽機制能夠匯集多個來源的知識，包括網頁、文本百科和視頻百科。自動化Loop中，系統在一輪對話中接收問題，進行記憶的更新和檢索，調用大模型進行任務規劃，根據需要調用工具，最后綜合歷史信息給出回答。
為避免訓練中單一模板引起的過擬合問題，團隊提出了MAT方法。該方法分為兩階段:模板生成階段和指令微調階段。在模板生成階段，通過設計Meta-Agent，生成實例化的Agent Prompt模板，候選結果與開源模板進行對比打分，從而篩選出高質量的Agent Prompt模板庫。在指令微調階段，基于上萬的模板構建了超過20萬的Agent調優指令微調數據。通過這一方法，模型在任務規劃、工具使用、反思等方面的能力得到提升，同時避免了過度依賴單一模板的問題。
KAgentBench通過人工精細化標注的數據，提供開箱即用的Agent能力自動化評測Benchmark。該Benchmark涵蓋不同種類的能力構造輸入，每個query配備多個模板和多個人工編輯的真實回答，綜合評測準確性和泛化性。評測結果顯示，通過MAT調優后，7B-13B模型在各項能力上均有顯著提升，超越了GPT-3.5的效果。
團隊表示，AI Agents是一條具有潛力的道路，未來將持之以恒地沉淀核心技術，并積極探索Agents技術與快手業務的結合，嘗試更多有趣、有價值的創新應用落地。這一開源項目為整個社區注入了新的活力，為研究者提供了豐富的資源和參考。
