引言
又幾個(gè)月過(guò)去了，大模型（LLM）行業(yè)有什么新進(jìn)展、新趨勢(shì)？
（0）總結(jié)——太長(zhǎng)不看
關(guān)鍵結(jié)論：
開源社區(qū)模型不具備真正智能，更好的小模型來(lái)自大模型的 Scale Down
GPT-4模型信息：采用MoE架構(gòu)，16個(gè)experts，800b參數(shù)
如何減少幻覺(jué) hallucination？scaling/retrieval/reward model
指令遵循的開源小模型被過(guò)度炒作，已經(jīng)到達(dá)瓶頸，突破方向是更強(qiáng)的 Base Model 和更進(jìn)一步的反饋數(shù)據(jù)
用不了多久，大家會(huì)把80%算力從 TrAIning 轉(zhuǎn)向 Serving
預(yù)計(jì)未來(lái)模型的迭代節(jié)奏會(huì)很像手機(jī)系統(tǒng)：1-2 年更新一次大版本，中間有無(wú)數(shù)次小版本迭代；
中期來(lái)看，RLHF 不應(yīng)該是 Alignment 的唯一手段， Direct Preference Optimization 和 Stable Alignment 是新路徑
長(zhǎng)期來(lái)看，小版本迭代的角度：隱私/權(quán)限的增強(qiáng)、更多的圖片/文件/聲音格式的 Embedding
LLM 的 Context Window 就像電腦內(nèi)存，向量數(shù)據(jù)庫(kù)是 LLM 的硬盤
Robot Learning 已成為學(xué)界主流研究路線
（1）上一期報(bào)告回顧
3個(gè)月前，文章（The Age of AI：拾象大模型及OpenAI投資思考）介紹了拾象投研機(jī)構(gòu)對(duì)LLM的調(diào)研報(bào)告，內(nèi)容涉及：
① 什么是大模型？LLM是新一代通用計(jì)算機(jī)，windows 95 級(jí)別的計(jì)算機(jī)平臺(tái)；
② 從基礎(chǔ)模型到 Killer Apps，價(jià)值鏈如何被分配？OpenAI、Anthropic 為代表的基礎(chǔ)模型能力邊界不斷拓寬，占據(jù)價(jià)值鏈中最主要的環(huán)節(jié)；
③ 什么是 AI Native 應(yīng)用？AI Native 應(yīng)用不是語(yǔ)言模型的嵌套，而是對(duì)現(xiàn)有軟件服務(wù)的重構(gòu)；
④ LLM 浪潮下，科技巨頭們是如何和 LLM 做結(jié)合的？頂級(jí)CEO 們對(duì)于 LLM 尚未形成共識(shí)，未來(lái) 6 個(gè)月是重要的窗口期；
⑤ OpenAI 為什么能夠成為 LLM 最強(qiáng)王者？OpenAI 組織活力來(lái)自自上而下對(duì) AGI 的堅(jiān)定信仰、極高的人才密度，以及自下而上推動(dòng)創(chuàng)新的實(shí)驗(yàn)機(jī)制。
具體來(lái)說(shuō)，對(duì)于LLM的幾個(gè)關(guān)鍵判斷：
① LLM是計(jì)算機(jī)，而OpenAI的GPT系列將成為Windows 95級(jí)別的計(jì)算機(jī)平臺(tái)
② LLM基礎(chǔ)模型拿走價(jià)值鏈的大頭（60%），其次是AI Infra基礎(chǔ)架構(gòu)、Killer Apps，各占20%。所以，大家紛紛發(fā)力訓(xùn)練大模型。
③ 從Mobile到LLM：大模型真正理解語(yǔ)言，數(shù)據(jù)組織效率和能力繼續(xù)加強(qiáng)。人機(jī)交互方式開始邁入新時(shí)代（CUI對(duì)話交互）
④ LLM的邊界：目前只是空有大腦，身體和感官還在逐步成長(zhǎng)。
⑤ 下一步：給大腦裝上感官（多模態(tài)）以及手腳（插件/AutoGPT之類）
另外，LLM之上的應(yīng)用會(huì)是什么樣？全方位的重構(gòu)：交互、數(shù)據(jù)信息、服務(wù)以及反饋機(jī)制，一個(gè)可行的路子是AI Native軟件開發(fā)——把已有應(yīng)用按照LLM的能力圖譜重新設(shè)計(jì)一遍，對(duì)話式交互（CUI）走到前臺(tái)。
相對(duì)于應(yīng)用層，未來(lái)3-5年，AI-Infra的確定性機(jī)會(huì)更多，體現(xiàn)在模型層和工具層的各類應(yīng)用。
（2）最新報(bào)告：State of LLM
6月29日，時(shí)隔3個(gè)月，拾象投研團(tuán)隊(duì)再次發(fā)布LLM調(diào)研報(bào)告：State of LLM
精簡(jiǎn)總結(jié)如下（原始報(bào)告獲取方式見尾部附錄）
繼續(xù)看好LLM，如火如荼、大動(dòng)干戈的“千模大賽”到底在爭(zhēng)什么？下一代超級(jí)入口！
目前，OpenAI、Anthropic和google處于第一梯隊(duì)。
報(bào)告甚至將LLM訓(xùn)練復(fù)雜度比作“造原子彈”，每次發(fā)布堪稱“登月”，有些夸張，但LLM訓(xùn)練確實(shí)不容易。
過(guò)去的幾個(gè)月時(shí)間，已經(jīng)很多家公司發(fā)布自己的大模型，各有特色，燦若繁星：
開源系列羊駝大家族最為耀眼，英文名已經(jīng)“售罄”。
更多介紹見前文：ChatGPT復(fù)現(xiàn): 三步走+大模型進(jìn)化圖譜
其中不少LLM宣稱達(dá)到或趨近ChatGPT/GPT-4的80-90%，大家也都體驗(yàn)過(guò)，可圈可點(diǎn)
上次的有偏評(píng)測(cè)（約120道題）中，初步探了探底：
詳見文章：千模大賽哪家強(qiáng)？大語(yǔ)言模型中文評(píng)測(cè)實(shí)踐。
報(bào)告里關(guān)于LLM訓(xùn)練的事實(shí)和觀點(diǎn)：
預(yù)訓(xùn)練：GPT系列的成功主要源自于小創(chuàng)新，訓(xùn)練數(shù)據(jù)遠(yuǎn)超過(guò)其他大模型。
微調(diào)：GPT并非采用預(yù)訓(xùn)練一體的模型結(jié)構(gòu)。
獎(jiǎng)勵(lì)模型：OpenAI 數(shù)據(jù)飛輪效應(yīng)有限，外部數(shù)據(jù)標(biāo)注分散給多家公司。
至于穩(wěn)坐神壇的GPT-4，這次報(bào)告明確指出：GPT-4采用MoE架構(gòu)，16個(gè)experts，800b參數(shù)，“吃掉”30T數(shù)據(jù)，訓(xùn)練消耗5萬(wàn)張A100，推理用了3-4萬(wàn)A100。而這只是開始，下一代模型重點(diǎn)是多模態(tài)，消耗的資源將更大更多，10萬(wàn)張H100！
至于業(yè)界普遍看好的開源模型，這次報(bào)告波了盆冷水：開源社區(qū)模型不具備真正智能，更好的小模型來(lái)自大模型的 Scale Down
同時(shí)，報(bào)告還指出：指令遵循的開源小模型被過(guò)度炒作，已經(jīng)到達(dá)瓶頸，突破方向是更強(qiáng)的Base Model 和更進(jìn)一步的反饋數(shù)據(jù)。
LLaMA+指令微調(diào)≠GPT 3.5
怎么辦？開源社區(qū)開始“分工協(xié)作”，轉(zhuǎn)向 pre-train環(huán)節(jié)。
至于，盛傳的“開源大模型才是未來(lái)的贏家”，大家態(tài)度截然相反，客戶堅(jiān)信，而研究者悲觀，算力、數(shù)據(jù)、時(shí)間差以及全棧產(chǎn)品鏈，不是一般開源組織玩得起的。
千模大賽還在繼續(xù)，熱潮還會(huì)持續(xù)多久？過(guò)于關(guān)注訓(xùn)練會(huì)不會(huì)浪費(fèi)資源？
跟風(fēng)而上的浪潮終究會(huì)退下，到時(shí)候，少數(shù)人成為弄潮兒，而多數(shù)人被淹死，成為他人談資。
大模型訓(xùn)練塵埃落定后，新的浪潮是什么？大模型應(yīng)用，其中 Serving 是個(gè)難題。
報(bào)告里分析了什么時(shí)候80%算力從 Training 轉(zhuǎn)向 Serving？要看用戶群體，B/C/G 時(shí)間點(diǎn)各不相同。
B/G：私有化部署和小語(yǔ)種模型
C：終端推理解決隱私問(wèn)題
產(chǎn)品上，目前主要簡(jiǎn)單輔助，多模態(tài)、復(fù)雜推理問(wèn)題解決后，才會(huì)帶來(lái)質(zhì)的飛躍。
成熟期時(shí)間軸上的刻度依次是 長(zhǎng)程窗口、多模態(tài)、小模型天花板、模型壓縮等，B/C/G側(cè)應(yīng)用隨之逐步展開，Serving時(shí)刻到來(lái)。
預(yù)計(jì)未來(lái)模型的迭代節(jié)奏會(huì)很像手機(jī)系統(tǒng)：1-2 年更新一次大版本，中間有無(wú)數(shù)次小版本迭代；
中期來(lái)看，RLHF 不應(yīng)該是 Alignment 的唯一手段， Direct Preference Optimization 和 Stable Alignment 是新路徑
長(zhǎng)期來(lái)看，小版本迭代的角度：隱私/權(quán)限的增強(qiáng)、更多的圖片/文件/聲音格式的 Embedding
LLM 的 Context Window 就像電腦內(nèi)存，向量數(shù)據(jù)庫(kù)是 LLM 的硬盤；因而，向量數(shù)據(jù)庫(kù)成為L(zhǎng)LM領(lǐng)域應(yīng)用的必備工具，大量vector store廠商成為投資熱門。
LLM應(yīng)用新趨勢(shì)：LLM扮演system 1，負(fù)責(zé)快思考，而LLM的Agent助手扮演system 2，負(fù)責(zé)慢思考（理性推導(dǎo)）
報(bào)告還提到了經(jīng)典的幻覺(jué)問(wèn)題：
幻覺(jué)原因：模型學(xué)習(xí)了錯(cuò)誤信息，模型只善于模仿語(yǔ)言風(fēng)格，而不能良好地判斷正確的信息
如何減少幻覺(jué)（hallucination）？
方法有：scaling/retrieval/reward model
① scaling：大模型小型化，降低幻覺(jué)頻率
② retrieval：通過(guò)檢索融入事實(shí)信息，糾正幻覺(jué)
③ reward model：用獎(jiǎng)勵(lì)模型來(lái)鑒別幻覺(jué)
有了大模型的加持，學(xué)術(shù)界已經(jīng)把Robot Learning 做為主流研究路線
LLM+Robotics=？
軟件上，機(jī)器人大腦大幅升級(jí)；
硬件上，人形機(jī)器人熱度再起。
