新智元報道
編輯：編輯部
【新智元導讀】國產模型開源紀錄，又被刷新了！上海AI實驗室等機構開源的InternLM-20B，竟然能和Llama2-70B打個平手？
就在剛剛，國內開源模型參數量紀錄，又被刷新了！
9月20日，上海人工智能實驗室（上海AI實驗室）與商湯科技聯合香港中文大學和復旦大學，正式開源了200億參數的InternLM-20B模型。
項目地址：https://Github.com/InternLM/InternLM
魔搭社區：https://modelscope.cn/organization/Shanghai_AI_Laboratory
這次的200億參數版書生·浦語大模型，可以說是「加量不加價」，參數量還不到三分之一，性能卻可以劍挑當今開源模型的標桿——Llama2-70B。而當前主流的開源13B模型們，則在所有維度上都被InternLM-20B甩在身后。
不僅如此，面向大模型研發與應用的全鏈條工具體系也同時升級。
從開源模型本身，再到全鏈條的開源工具，這一次，上海AI實驗室把自身研發大模型所沉淀的壓箱底的寶藏，全都拿了出來，希望幫助廣大研究者、機構、社會從業者，都能以極低成本和門檻，參與大模型帶來的這場技術革命。
性能「同級領先」，門檻「開箱即用」，InternLM-20B，就是大模型走向千行百業的催化劑和新支點！
這股大模型的浪潮，將惠及每個人。
我們用的，全部開源
眾所周知，在大模型的整個研發體系中，有串在一起的多個環節，這是十分復雜的一套閉環。
如何用更規范的代碼方式去組織？拿到基座模型該怎么用？落地到應用的一步步過程中，有哪些注意事項？到處都是問題。
在經過日常工作中真正的實踐后，上海AI實驗室的團隊沉淀出來一套寶貴經驗。
現在，他們為了繁榮開源生態，干脆把模型從數據準備，到預訓練、部署，再到評測應用，這整套流程中會涉及到的工具，全部開源了。
解密「獨家配方」
數據，之于大模型重要性，就好比生產的原材料，沒有動力來源，無法驅動智能AI系統運轉。尤其，高質量的數據更是大模型產業化的關鍵要素之一。
在收集上，不僅需要有效地過濾和清洗從網頁、書籍、專業報告論文等各種渠道中爬取的原始素材，還需要充分利用模型內測用戶提供的反饋。
不過，要想讓LLM能夠獲取關鍵能力，比如理解、編程、邏輯推理，成為真正的「六邊形戰士」，更重要的是自己去構建數據。
在這一方面，學術界的研究也是非常活躍，比如微軟「Textbooks Are All You Need」，通過構建數據訓練后的模型phi-1，能夠在基準上取得相對領先優勢。
就上海AI實驗室團隊來說，他們沒有選擇從單點方向去構建數據，而是從「全維度」，對整個知識體系梳理后構建語料。
因此，這些語料在知識和邏輯的密度上，是非常高的。
在大量的常規內容中加入少量的「催化劑」，不僅可以更好地激發出LLM的關鍵能力，而且模型對于相關信息的吸收和理解也會更強。
用上海AI實驗室領軍科學家林達華的話來說，「從某種意義上來說，這里的1個token，可以等同于10個，甚至100個傳統token的效力」。
就算力方面，除了互聯網大廠坐擁著豐富的資源外，開源社區大部分的開發者很難獲取更多的算力。
「希望能夠有輕量級的工具，能夠把模型用起來」。這是上海AI實驗室收到最多的社區反饋。
通過開源XTuner輕量級微調工具，用戶可以在8GB消費級GPU上，用自己的數據就能微調上海AI實驗室開源的模型。
此外，在模型應用方向上，「聊天對話」依舊是模型非常重要的能力的一部分。
上海AI實驗室還想突出一點是，大模型作為中央Hub，使用工具解決問題，類似于Code Interpreter的方式去調用工具。
同時，在這個過程中，大模型還能進行自我反思，這便是LLM加持下智能體展現的巨大潛力。
林達華認為，Agent會是一個長期發展非常有價值的需要去探索的方向。
最終智能體的世界，整個組織分工也會在不斷的升級和演進，未來肯定是非常多的智能體的共同存在，有各自擅長的領域，相互之間會有很多技術能夠促進它們之間的交流。
那么，此次工具鏈具體升級的地方在何處？
- 數據：OpenDataLab開源「書生·萬卷」預訓練語料
數據上，書生·萬卷1.0多模態訓練語料8月14日正式開源，數據總量超總量超過2TB，包含了文本數據集、圖文數據集、視頻數據集三部分。
通過對高質量語料的「消化」，書生系列模型在語義理解、知識問答、視覺理解、視覺問答等各類生成式任務表現出的優異性能。
截止目前，已經有近10萬的下載量。
- 預訓練：InternLM高效預訓練框架
預訓練階段，InternLM倉庫也開源了預訓練框架InternLM-Train。
一方面，深度整合了Transformer模型算子，使得訓練效率得到提升，另一方面則提出了獨特的Hybrid Zero技術，實現了計算和通信的高效重疊，訓練過程中的跨節點通信流量大大降低。
得益于極致的性能優化，這套開源體系實現了千卡并行計算的高效率，訓練性能達到了行業領先水平。
- 微調：InternLM全參數微調、XTuner輕量級微調
低成本大模型微調工具箱XTuner也在近期開源，支持了Llama等多種開源大模型，以及LoRA、QLoRA等微調算法。
硬件要求上，XTuner最低只需8GB顯存，就可以對7B模型進行低成本微調，20B模型的微調也能在24G顯存的消費級顯卡上完成。
XTuner為各類開源模型提供了多樣的微調框架
- 部署：LMDeploy支持十億到千億參數語言模型的高效推理
部署方面，LMDeploy涵蓋了大模型的全套輕量化、推理部署和服務解決方案。
它支持了從十億到千億參數的高效模型推理，在吞吐量等性能上超過了社區主流開源項目FasterTransformer，vLLM，Deepspeed等。
- 評測：OpenCompass一站式、全方位大模型評測平臺
評測部分，開源的大模型評測平臺OpenCompass提供了學科、語言、知識、理解、推理五大維度的評測體系。
同時，它還支持50+評測數據集、30萬道評測題目，支持零樣本、小樣本及思維鏈評測，是目前最全面的開源評測平臺。
- 應用：Lagent輕量靈活的智能體框架
在最后的應用環節，上海AI實驗室團隊將重點放在了智能體上，開發并開源了Lagent輕量靈活的智能體框架。
它能夠支持用戶快速地將一個大語言模型轉變為多種類型的智能體，并提供典型工具為大語言模型賦能。
這套開源框架集合了多種類型的智能體能力，包括經典的ReAct、AutoGPT和ReWoo等。
這個框架的代碼結構不僅清晰，而且簡單。只用不到20行代碼，開發者就能創建一個屬于自己的智能體。
另外，Lagent支持包括InternLM，Llama，ChatGPT在內的多個大模型。
在Lagent加持下，這些智能體能夠調用大語言模型進行規劃推理和工具調用，并在執行過程中及時進行反思和自我修正。
國內首發16k上下文，200億參數打平Llama2-70B
除了全套的大模型工具鏈外，上海AI實驗室還全新開源了高達200億參數的InternLM-20B。
評測結果顯示，在同量級開源模型中，InternLM-20B是當之無愧的綜合性能最優。
- 超長上下文支持
首先，在語境長度上，InternLM-20B可以支持高達16K的上下文窗口。
如下圖所示，InternLM-20B閱讀了某知名咖啡品牌的長新聞后，能夠對三個提問做出準確回答。
對于超級長篇的論文和報告，InternLM-20B也能準確地提取摘要。
比如，輸入經典的Re.NET論文后，它立馬寫出了摘要，準確概括了ResNet的核心思想和實驗效果。
- 調用工具，自學成才
其次，在長語境的支持下，模型的能力被大大拓展，無論是工具調用、代碼解釋，還是反思修正，都有了更大的空間。而這也成了在InternLM-20B之上打造智能體的關鍵技術。
現在，InternLM-20B不僅可以支持日期、天氣、旅行、體育等數十個方向的內容輸出，以及上萬個不同的API，而且還能過類似Code Interpreter的方式去進行工具的調用。
與此同時，在這個過程中，它還能進行反思修正，跟現實場景產生聯系。
在清華等機構聯合發布的大模型工具調用評測集ToolBench中，InternLM-20B和ChatGPT相比，達到了63.5%的勝率，在該榜單上取得了最優結果。
而且，InternLM-20B模型還展現出一定的零樣本泛化能力。即使模型在訓練過程中并沒有學過一些工具，它竟然也能根據工具描述和用戶提問來調用工具。
如下圖所示，給它提供一些AI工具，它就可以自己進行規劃和推理，完成用戶問題。
- 同量級全面領先
在多達50款各個維度的主流評測集上，InternLM-20B也一舉實現了同量級開源模型的綜合性能最優。
與此同時，在平均成績上也明顯超越了規模更大的Llama-33B，甚至在部分評測中還能小勝Llama2-70B。
具體來說，InternLM-20B在MMLU、C-Eval、AGIEval綜合性學科評測中成績優異，在同量級開源模型中處于領先位置。
尤其是在包含中文學科考試的C-Eval和AGIEval上，表現明顯超過了Llama2-70B。
在考驗事實性知識的評測上，InternLM-20B全面超越了13B模型，并且能與Llama-33B一較高下。
但相比于Llama-65B或者Llama2-70B仍有一定差距。
在理解能力維度，InternLM-20B的表現更是突出，全面超越了包括Llama2-70B在內的各量級開源模型。
推理，是考倒了不少模型的「攔路虎」，考驗的是大模型真金白銀的本事，也很大程度上決定了模型是否能支撐實際應用。
在下述四個推理測評集上，InternLM-20B的成績均超越了主流的13B開源模型，甚至已經接近了Llama-65B的推理能力。
編程能力上，InternLM-20B也有了顯著提升。在HumanEval和MBPP兩個典型評測集上，接近了Llama2-70B。
注：上述截圖中的粗體為13B-33B量級范圍內，各項最佳成績。
在HuggingFace最新公布的Open LLM Leaderboard評測榜單上，InternLM-20B在參數量60B以下基模型中平均成績領先，也超過了Llama-65B。
- 更安全的開源模型
最后，在價值對齊上，InternLM-20B也更加完善、更為安全。
如果你向它提出帶有偏見的問題，它就會立馬識別出其中的不安全因素，給出正確的價值引導。
大模型，從來都不是大廠的專利
大模型浪潮掀起后，我們需要關注的，不僅僅是在測評榜單上拔得頭籌，還有如何讓大模型從「AI皇冠上的明珠」，成為千行百業都可用的「全新生產力」。
縱觀歷史，真正引領時代的技術，不只是顛覆性的創新，更重要的，是做到低成本、低門檻、人人可用。但OpenAI、谷歌這樣的大廠是絕對不會把其中具體的細節公之于眾。
而這，正是上海AI實驗室的初心之所在。
自6月首發以來，書生·浦語已經完成了多輪升級，在開源社區和產業界產生了廣泛影響。
而且，除了把代碼在GitHub上開放、把模型放在HuggingFace和魔搭社區，上海AI實驗室甚至每天都會派專人去看社區里的反饋，對用戶提問悉心解答。
此前，Meta的LLaMA模型開源，引爆了ChatGPT平替狂潮，讓文本大模型迎來了Stable Diffustion時刻。
就如同今天羊駝家族的繁榮生態，上海AI實驗室的開源努力，必將給社區帶來不可估量的價值。
對于全球范圍內活躍的開發者和研究者，書生·浦語會提供一個體量適中、但能力非常強的基座。
大部分企業，尤其是中小企業，雖然看到了大模型的趨勢，但是不太可能像大廠一樣花很大代價去購買算力，并且吸引最頂尖的人才。
實際上，從7月6號的人工智能大會開始，上海AI實驗室就已經在做全鏈條地做開源。比如XTuner能以非常輕量級的方式，讓用戶只用自己的一些數據，就能訓出自己的模型。
不僅如此，一個團隊把開源社區的問題、語料、文檔和XTuner模型結合，訓練出了一個開源社區客服。這就是對開源社區實打實的貢獻。
甚至，上海AI實驗室把自己的整個技術體系，都分享給了社區（也就是上文提到的全鏈條工具體系）。
全社會如此多的行業，如此多的企業，如此多的機構和研發者，如果能實實在在把大模型的價值落地，將是非常重要的力量。
他們擁有無窮的創造力，唯一缺的就是資源。
而上海AI實驗室的「雪中送炭」，必然會讓大模型在落地領域發揮出巨大的價值。
正如林達華所言——
作為實驗室，我們能提供基礎模型以及將各行業的know-how融匯成數據、模型能力的一系列工具，并且將它們做得非常易用、教會更多人用，讓它們能在各個行業里開花結果。
全鏈條工具體系開源鏈接
「書生·萬卷」預訓練語料：
https://github.com/opendatalab/WanJuan1.0
InternLM預訓練框架：
https://github.com/InternLM/InternLM
XTuner微調工具箱：
https://github.com/InternLM/xtuner
LMDeploy推理工具鏈：
https://github.com/InternLM/lmdeploy
OpenCompas大模型評測平臺：
https://github.com/open-compass/opencompass
Lagent智能體框架：
https://github.com/InternLM/lagent
