9月9日，掘力計劃第23期線上分享活動以“AIGC的應用和創新”為主題召開。本次活動的分享主題為《metaGPT：讓每個人擁有專屬智能體》，由深度賦智 NLP & AIGC 方向算法負責人洪思睿主講。
洪思睿曾任智能控制上市企業 NLP 團隊負責人，負責千萬級行業知識圖譜及多項自然語言處理技術的應用落地。在深度賦智，她負責法律、物流、美妝、電商等多個領域的知識問答、搜索系統及多模態應用等行業落地工作。他還開源了多智能體框架metaGPT，并在 NeurIPS AutoDL 頂級競賽中獲得世界冠軍，相關工作及論文發表于頂級學術期刊《IEEE TPAMI》。
直播回放地址：https://juejin.cn/live/jpowermeetup23
大語言模型發展歷程
洪思睿首先回顧了大語言模型技術的發展歷程，從早期的 CBOW 自監督學習方法，到 BERT 的雙向編碼器以及 GPT-3 的巨大規模預訓練，再到最近的 GPT-4，大語言模型取得了巨大的技術突破。
早期技術：SSL、Transformer 和 BERT
自2013年起，自然語言理解領域出現了一些新的技術趨勢。早在2013年，CBOW 模型就使用了自監督學習的方法，將詞嵌入到稠密的向量空間中，奠定了后來語言模型技術的基礎。2017年，Transformer 模型則通過引入注意力機制，改善了 CNN 在長序列建模方面的困難。隨后在2018年，BERT 的出現則證明了規模化預訓練對自然語言理解的巨大提升，只需要在特定下游任務進行微調就可以取得非常強的效果。具體來說，BERT使用了多層 Transformer 編碼器進行預訓練，通過 masked language model 和 next sentence prediction 等任務獲得了語義理解能力，然后在下游任務中進行微調從而適應特定領域。
GPT-3的預訓練范式
相比 BERT 采用預訓練與微調相結合的方法，OpenAI 的 GPT 系列模型更加強調巨大規模的單向預訓練。以 GPT-3 為例，它擁有高達 1750 億參數，但沒有進行微調就直接進行預訓練并應用。GPT-3 證明了更大規模的模型即使不經微調也可以取得較強的泛化性能。隨著模型規模的擴大，GPT-3 展現出了更強的 Few-Shot 學習能力。
Instruction Tuning
在 GPT-3 之后，研究者提出了指令微調(Instruction Tuning)的訓練方法，使用自然語言指令引導模型學習，可以進一步提升大規模預訓練語言的數據利用能力，增強泛化能力。例如，基于該方法調優后的模型，即使在未見過的數據集上也可以取得更高的準確率。這為模型帶來了更好的遷移學習能力。
InstructGPT
Instruction Tuning 的idea也被 OpenAI 借鑒到了 InstructGPT 模型中。該模型不僅使用了指令微調，還利用了基于人類反饋的強化學習進行來降低模型輸出的毒性。實驗證明，使用人類反饋進行調優后，模型的輸出質量可以大幅提升，信息量更大，偏向性和有毒性內容更少，更符合人類期待。
GPT-4時代的到來
今年3月，OpenAI 發布了 GPT-4 模型，其規模達到了 GPT-3 的 10 倍以上，參數量高達 18000 億。為實現這樣大規模模型的高效推理，OpenAI 采用了混合專家(Mixture of Experts)技術。具體來說，GPT-4 包含了 16 個規模約為 1110 億參數的專家模型，每次推理會調用 2 個專家，并在專家之間共享部分權重。在訓練數據方面，GPT-4 使用了約 130 萬億個詞元進行預訓練，是目前最大規模的語言模型。為實現高效訓練，OpenAI 采用了多達 8k 的上下文序列長度，以及可變序列批處理和流水線等技術。
GPT-4 的到來預示著語言模型技術已經進入一個新的階段，各大企業和機構也紛紛推出了自己的預訓練語言模型。在模型評測領域，MMLU 基準測試已經成為衡量不同語言模型能力的標準測試集。各模型在 MMLU 基準測試中的排名也成為大家關注的焦點。
metaGPT：構建多智能體框架
在模型技術日益成熟的背景下，模型的落地應用也成為一個重要方向。洪思睿介紹了他們多智能體框架 metaGPT。該框架可以通過簡單的自然語言描述完成完整的軟件開發過程中的文檔輸出和代碼生成工作。
metaGPT 通過定義不同的角色，如產品經理、架構師、工程師等，讓每個角色負責軟件開發過程中的不同階段，實現流水線式的協同工作。具體來說，產品經理會根據需求輸出產品文檔，架構師負責設計架構圖，最后工程師根據上游輸出進行代碼實現。
實驗證明，metaGPT 生成的代碼質量明顯優于其他基于智能體框架的代碼生成效果。因為上游角色的輸出為下游工程師提供了完整的上下文信息，將原始的需求/任務進行了更細化和結構化的拆解，減少了歧義，提升了最終代碼的可靠性。在多個數據集上的評測也證明了 metaGPT 生成代碼的優異性能。
智能體技術的應用前景
洪思睿認為，基于大語言模型訓練的智能體將會成為未來社會的重要組成部分。未來的人機交互范式也會從嵌入式模式，發展到輔助模式，再到代理模式，最終達到人機深度協作的社會化模式。在這個模式下，人類和智能體既可以自主提出需求，也可以相互提供資源來完成任務。
此外，未來互聯網的門戶也將從 App 變成智能體。用戶只需要向單個或多個智能體提出需求，由智能體負責完成整個工作流程，包括調用不同的軟件程序、設定參數等。這將極大提升人機協同的效率，更進一步帶來生活和工作方式的變革。
總結
本次分享活動洪思睿詳細介紹了大語言模型技術的發展歷程，以及最新的GPT-4等前沿技術。她從他們開源的工作metaGPT展開，展示了如何構建多智能體協作框架，并展望了智能體技術在簡化人機交互等方面的應用前景。這次活動內容豐富，對于理解當前AI技術發展具有重要參考價值。
掘力計劃
掘力計劃由稀土掘金技術社區發起，致力于打造一個高品質的技術分享和交流的系列品牌。聚集國內外頂尖的技術專家、開發者和實踐者，通過線下沙龍、閉門會、公開課等多種形式分享最前沿的技術動態。(作者：孔恒偉)
