- 做不做基礎(chǔ)大模型？
- To B or to C？國(guó)內(nèi) or 海外？
- 人民幣資本 or 美元資本？
- AI Native 的應(yīng)用是移動(dòng)互聯(lián)網(wǎng)級(jí)別的機(jī)會(huì)嗎？
- 你們的 vision 是 AGI 嗎？
- 大模型胡說八道的問題可以解決嗎？
- 大模型 infra 如何盈利？
- 你們的護(hù)城河在哪里？
- 你們的商業(yè)模式能 scale 嗎？
- 如何應(yīng)對(duì)大模型的監(jiān)管和法律責(zé)任？
下面就這 10 個(gè)靈魂拷問，分享一些我自己的觀點(diǎn)。
做不做基礎(chǔ)大模型？
如果做基礎(chǔ)大模型，需要上億美金的前期投入，如何融到這么多資，如何招到靠譜的算法、數(shù)據(jù)和 infra 團(tuán)隊(duì)？現(xiàn)在已經(jīng)有這么多做基礎(chǔ)大模型的公司，包括巨頭和明星創(chuàng)業(yè)公司，現(xiàn)在入局已經(jīng)沒有先發(fā)優(yōu)勢(shì)，如何跟這些大佬競(jìng)爭(zhēng)？
如果不做基礎(chǔ)大模型，只是用其他商用模型的 API，成本太高；開源模型的能力又不足。如何建立護(hù)城河？
我的觀點(diǎn)：這涉及到對(duì)大模型未來趨勢(shì)的判斷。很多人認(rèn)為基礎(chǔ)模型未來是巨頭贏者通吃，美國(guó)幾家，中國(guó)幾家，像目前的云計(jì)算市場(chǎng)一樣，大多數(shù)市場(chǎng)都被幾家巨頭占據(jù)，很難有小公司的機(jī)會(huì)。
我認(rèn)為這個(gè)判斷只是部分正確。最強(qiáng)大的基礎(chǔ)模型，比如 GPT-4 甚至 GPT-5，很可能是閉源模型，出現(xiàn)贏者通吃的局面。但這樣的模型推理成本會(huì)很高，就像現(xiàn)在 GPT-4 讀一篇論文要 10 美金，只有高凈值客戶和探索科學(xué)前沿的場(chǎng)景才消費(fèi)得起。而更廣泛的需求，比如聊天、語音助手、智能客服、簡(jiǎn)單文書寫作、知識(shí)問答等，目前 LLaMA 2 經(jīng)過適當(dāng)微調(diào)后已經(jīng)基本滿足需求，未來一年開源模型的能力會(huì)快速進(jìn)步，趕上 GPT-3.5 的能力，可以低成本地滿足大眾需求。
可以說，GPT-4 甚至更強(qiáng)的模型是蘋果，開源模型是Android/ target=_blank class=infotextkey>安卓，分別對(duì)應(yīng)不同的市場(chǎng)。開源模型的市場(chǎng)可能更大，但也會(huì)更加百花齊放。閉源模型的市場(chǎng)也不小，但會(huì)高度集中。
為什么我認(rèn)為開源模型的能力會(huì)不斷進(jìn)步呢？一方面，大模型訓(xùn)練的算法和數(shù)據(jù)逐步變得平民化，越來越多的信息被公開或者泄露出來，像 Vicuna 這樣的微調(diào)模型事實(shí)上是在從 GPT-4 中 “蒸餾” 數(shù)據(jù)；另一方面，目前已經(jīng)是百模大戰(zhàn)的局面，如果一家公司的模型不足以競(jìng)爭(zhēng)過最強(qiáng)大的閉源模型，那么會(huì)有一些公司選擇走開源路線，就像如今 Meta 占據(jù)了開源模型的先機(jī)。
未來大規(guī)模的應(yīng)用為了降低成本，一定會(huì)使用不同大小的模型解決不同難度的問題；同時(shí)還有一些結(jié)合了行業(yè)私有數(shù)據(jù)和 know-how 的模型，盡管可能只是在基礎(chǔ)模型上微調(diào)，但私有數(shù)據(jù)和流程成為護(hù)城河。這就像是如今云計(jì)算平臺(tái)會(huì)提供不同型號(hào)的虛擬機(jī)，有的 CPU 多，有的內(nèi)存多，有的 GPU 多，等等。基礎(chǔ)模型也將像云計(jì)算平臺(tái)的 IaaS 一樣，成為一種重資產(chǎn)的通用基礎(chǔ)架構(gòu)（云計(jì)算的資產(chǎn)是服務(wù)器，大模型公司的資產(chǎn)是模型和數(shù)據(jù)），幾年之后拼的主要是成本。
To B or to C？國(guó)內(nèi) or 海外？
To B，容易陷入定制開發(fā)和價(jià)格戰(zhàn)，像上一波 AI 浪潮中的一些公司一樣，最后拼的是客戶關(guān)系和價(jià)格。技術(shù)團(tuán)隊(duì)創(chuàng)業(yè)，能搞定客戶嗎？做的事情除了 AI 本身以外，還有很多外包性質(zhì)的定制化開發(fā)，規(guī)模不容易 scale，明星創(chuàng)業(yè)公司的人力成本那么高，能把工資和 GPU 成本賺回來嗎？
To C，國(guó)內(nèi)能拿到牌照嗎？就算拿到牌照了，敢保證不輸出違規(guī)言論嗎？技術(shù)團(tuán)隊(duì)創(chuàng)業(yè)，能搞定 C 端產(chǎn)品的設(shè)計(jì)和營(yíng)銷嗎？面向 C 端的大模型能收回成本嗎？
如果做海外市場(chǎng)，現(xiàn)在中美關(guān)系這么緊張，美國(guó)客戶放心用中國(guó)公司的產(chǎn)品嗎？就算公司運(yùn)營(yíng)主體放在美國(guó)，中國(guó)人的身份還是不令人放心。
我的觀點(diǎn)：To B 其實(shí)是兩類截然不同的市場(chǎng)，to 小公司和 to 大公司、政府。
To 小公司還是像 to C 一樣，做規(guī)模化可復(fù)制的產(chǎn)品，采用訂閱或者 API 收費(fèi)的模式。國(guó)內(nèi)的 to 小公司相對(duì)海外來說難做一些，因?yàn)閲?guó)內(nèi)公司的付費(fèi)能力不如發(fā)達(dá)國(guó)家那樣強(qiáng)。如果是做大模型本身，做應(yīng)用的公司為 API 付費(fèi)是天經(jīng)地義。但如果只是做大模型和應(yīng)用之間的中間件，國(guó)內(nèi)的付費(fèi)意愿相對(duì)較弱。因此中間件公司最好是把大模型包起來，提供模型 + 中間件的解決方案。
To 大公司、政府是高度依賴客戶關(guān)系的，技術(shù)可能不一定是最重要的，團(tuán)隊(duì)內(nèi)一定要有懂商業(yè)的人。團(tuán)隊(duì)需要構(gòu)成人才梯隊(duì)，不要都招高端人才。大單中包括一定的外包性質(zhì)的定制化開發(fā)工作，由普通程序員做就行了。
To C 是高度依賴產(chǎn)品設(shè)計(jì)的，技術(shù)也不一定是最重要的。在很多場(chǎng)景下，普通用戶不一定能感知到 GPT-4 和 LLaMA 70B 的差異。團(tuán)隊(duì)中一定要有懂產(chǎn)品的人。不是所有事情都讓 GPT-4 做，有些事情甚至不用大模型就能做。就像我們不會(huì)每個(gè)開發(fā)任務(wù)都雇傭最頂級(jí)的程序員，不同級(jí)別的程序員承擔(dān)不同類型的開發(fā)任務(wù)。
不管是 to B 還是 to C，盡量不要定位成取代人，而要定位成人的助手，能夠幫助人擴(kuò)展能力的邊界，做到一個(gè)人自身能力做不到的事情。比如一個(gè)不懂編程的人可以在 ChatGPT 的幫助下，用一個(gè)星期的閑暇時(shí)間開發(fā)一個(gè)前后端齊備的網(wǎng)站。一個(gè)沒有很多學(xué)術(shù)背景的 AI 程序員可以在 ChatGPT 的幫助下，一天讀 100 篇 AI 領(lǐng)域的最新論文。
首先，做助手可以避免模型不可預(yù)測(cè)性帶來的很多風(fēng)險(xiǎn)，因?yàn)槟Ｐ筒粫?huì)自主去做可能產(chǎn)生嚴(yán)重后果的事情，而是需要人的確認(rèn)。這就像秘書不會(huì)代替老板做出重大決策一樣，只是會(huì)給老板一些決策參考。其次，智能助手相比通用問答可以規(guī)避很多合規(guī)風(fēng)險(xiǎn)。
海外市場(chǎng)不等于美國(guó)市場(chǎng)，美國(guó)政府不等于美國(guó)人民。首先，有很多跟中國(guó)友好的國(guó)家和地區(qū)仍然可以做生意。其次，即使在美國(guó)，to C、to 小公司相比 to 大公司、to 政府在背景審查方面的要求沒有這么嚴(yán)格。
人民幣資本 or 美元資本？
現(xiàn)在拜登不允許美元資本投資中國(guó)的 AI 公司。就算有辦法拿到美元資本，有美元資本投資的公司就很難做中國(guó)的政府和國(guó)企項(xiàng)目了。就算公司設(shè)在美國(guó)，做出海生意，中國(guó)人也很難拉到白人的投資。
人民幣資本的出資方對(duì)回款周期要求較高，在 A 輪及以后經(jīng)常要求創(chuàng)業(yè)者簽署回購(gòu)甚至對(duì)賭協(xié)議，資本對(duì)公司快速產(chǎn)生營(yíng)收的壓力會(huì)很大。
我的觀點(diǎn)：創(chuàng)業(yè)公司除非是全明星團(tuán)隊(duì)，不宜一開始鋪的攤子太大。更適合從細(xì)分市場(chǎng)（niche market）開始，尋求細(xì)分市場(chǎng)壟斷，快速產(chǎn)生營(yíng)收，然后提煉出可復(fù)制的產(chǎn)品，擴(kuò)展到更廣闊的領(lǐng)域。
大多數(shù)創(chuàng)業(yè)公司一開始只需要一個(gè)孵化器性質(zhì)的天使投資人，如果團(tuán)隊(duì)內(nèi)有大佬，甚至不需要投資人。等到產(chǎn)品到了可規(guī)模化復(fù)制的階段，再引入投資人。這也是歷史上大多數(shù)創(chuàng)業(yè)公司的路線，先有產(chǎn)品和用戶，后有投資，而不是先用 PPT 拉大量投資，壓上自己的所有聲譽(yù)，還背負(fù)著變現(xiàn)的沉重壓力。在有盈利的情況下再引入投資，不僅更容易，條款也通常對(duì)創(chuàng)業(yè)者更為友好。
我認(rèn)為創(chuàng)業(yè)公司最大的兩個(gè)優(yōu)點(diǎn)就是 fast 和 privacy。Fast 就是船小好調(diào)頭，敏捷開發(fā)，快速試錯(cuò)。很多公司一開始做的產(chǎn)品并不是最終形成可復(fù)制商業(yè)模式的產(chǎn)品。Privacy 就是不被人過度關(guān)注，一方面避免商業(yè)機(jī)密泄露，另一方面避免在方向爭(zhēng)論和說服別人中花費(fèi)過多精力，不管白貓黑貓，抓住老鼠就是好貓。
在當(dāng)前的國(guó)際形勢(shì)下，如果不打算押寶一邊的話，中美雙線布局是一個(gè)可行的做法，兩邊的運(yùn)營(yíng)主體、投資人、算力平臺(tái)、客戶都可以隔離，這樣不管風(fēng)云變幻，都有兩條路可以走，可以滿足不同區(qū)域客戶對(duì)合規(guī)的需求。
AI Native 的應(yīng)用是移動(dòng)互聯(lián)網(wǎng)級(jí)別的機(jī)會(huì)嗎？
手機(jī)的智能助手依賴手機(jī)作為入口，辦公的智能助手依賴 office 套件作為入口，企業(yè)管理的智能助手依賴 ERP 和 OA 軟件作為入口，社交的智能助手依賴社交軟件作為入口……
是不是這一波 AI 的機(jī)會(huì)都在大廠，只要把現(xiàn)有應(yīng)用加上一個(gè)自然語言接口，就從原來的 GUI 變成了 NUI（Natural language UI）？這樣的話，創(chuàng)業(yè)公司很難有機(jī)會(huì)。
我的觀點(diǎn)：移動(dòng)互聯(lián)網(wǎng)最早期的應(yīng)用確實(shí)是把傳統(tǒng)互聯(lián)網(wǎng)應(yīng)用套上了一個(gè)移動(dòng) App 的殼子，比如網(wǎng)易變成了網(wǎng)易新聞客戶端，百度變成了百度客戶端，淘寶變成了淘寶客戶端。但移動(dòng)互聯(lián)網(wǎng)浪潮也誕生了很多移動(dòng)原生（Mobile Native）的 app，這些應(yīng)用沒有手機(jī)就不可能存在，例如：
- 滴滴：手機(jī) GPS 可以實(shí)時(shí)追蹤乘客和網(wǎng)約車的位置，使得隨時(shí)隨地打車成為可能，調(diào)度效率還比傳統(tǒng)出租車高；
- 美團(tuán)：手機(jī)可以隨時(shí)到店點(diǎn)餐和消費(fèi)，根據(jù) GPS 推薦附近的飯店；GPS 可以追蹤騎手的位置，實(shí)現(xiàn)高效調(diào)度的外賣；
- 地圖：依賴手機(jī) GPS 的能力；
- 微信：手機(jī)使即時(shí)通信變得更容易；
- 今日頭條：手機(jī)可以隨時(shí)隨地瀏覽推薦的內(nèi)容，打發(fā)碎片化時(shí)間，使個(gè)性化推薦取代分類目錄和搜索成為移動(dòng)時(shí)代的主要信息獲取方式；
- 抖音：手機(jī)可以隨時(shí)隨地拍攝短視頻，或者做直播；用戶可以隨時(shí)隨地瀏覽視頻，打發(fā)碎片化時(shí)間；
- 小紅書：手機(jī)可以隨時(shí)隨地拍攝照片上傳分享；用戶可以隨時(shí)隨地瀏覽，打發(fā)碎片化時(shí)間。
大模型時(shí)代有沒有 AI Native 的 app 呢？其實(shí)目前就有很多。例如：
- ChatGPT：通用問答工具；
- Character.AI：個(gè)性化的聊天機(jī)器人；
- Midjourney、Runway ML：圖片和視頻生成工具；
- Jasper：文書寫作工具；
- Generative Agents：社會(huì)化的 AI 智能體；
- Office/Teams Copilot：辦公和會(huì)議助手。
當(dāng)然，AI Native 應(yīng)用還存在很多問題，例如大模型的高成本、幻覺、安全性、多模態(tài)、可靠執(zhí)行長(zhǎng)流程任務(wù)、長(zhǎng)時(shí)間記憶、引入企業(yè)內(nèi)部知識(shí)庫(kù)等問題尚未解決，導(dǎo)致應(yīng)用場(chǎng)景受限。如果真的解決了所有這些問題，頭號(hào)玩家或者西部世界將不再是夢(mèng)想。這也正是做技術(shù)的好機(jī)會(huì)：這波 AI 浪潮將更多地有技術(shù)驅(qū)動(dòng)，而不僅是由產(chǎn)品和商務(wù)驅(qū)動(dòng)。
為什么 16 年這波 AI 浪潮不是移動(dòng)互聯(lián)網(wǎng)級(jí)別的機(jī)會(huì)，而大模型這波就是呢？首先，16 年的 CV 和 NLP 都是單點(diǎn)技術(shù)，很難泛化到通用場(chǎng)景，每個(gè)場(chǎng)景都需要大量定制成本。而這一波大模型是通用技術(shù)，GPT 本身就是一語雙關(guān)（Generative Pretrained Transformers，General Purpose Technology）。
其次，大模型成為了人類腦力的延伸。為什么移動(dòng)互聯(lián)網(wǎng)重要？因?yàn)橹悄苁謾C(jī)是人類感覺的延伸。目前的大模型已經(jīng)能夠幫人做一些簡(jiǎn)單重復(fù)的腦力勞動(dòng)，也能幫人做圖片視頻生成這類人類不擅長(zhǎng)的事情。未來的大模型會(huì)成為人類智力的延伸，比人更聰明，那將又是一次巨大的機(jī)會(huì)。
你們的 vision 是 AGI 嗎？
AGI（通用人工智能）是 AI 領(lǐng)域的圣杯，它達(dá)到甚至超越人類的智能，一旦做成，人類可能都不用做腦力勞動(dòng)了，人類的社會(huì)形態(tài)可能都會(huì)發(fā)生巨大的變化。你們的路線圖是否通向 AGI？
你們現(xiàn)在做的東西在 AGI 的關(guān)鍵路徑上嗎？如果不在，以后是不是就被取代了？
我的觀點(diǎn)：要不要做 AGI，其實(shí)跟要不要做基礎(chǔ)大模型是類似的問題。就目前大多數(shù)人的認(rèn)知，AGI 需要非常大的模型，消耗的算力巨大。我在接受智造公社采訪的時(shí)候就說，算力可能成為 AGI 的關(guān)鍵瓶頸。
算力瓶頸體現(xiàn)在材料和功耗兩方面。材料方面的限制是芯片產(chǎn)能，雖然硅在地球上的儲(chǔ)量巨大，但把硅變成芯片的工藝非常復(fù)雜，需要大量的精密儀器和其他材料，因此芯片的產(chǎn)能有限。現(xiàn)在臺(tái)積電的先進(jìn)工藝已經(jīng)被預(yù)定一空，其中英偉達(dá)明年可能有 100 萬片左右的 AI 芯片產(chǎn)能，其中大約一半已經(jīng)被微軟和 OpenAI 預(yù)定走，剩下的也要優(yōu)先供應(yīng)美國(guó)，中國(guó)的所有公司能拿到芯片就謝天謝地了。因此，目前在美國(guó)訂購(gòu) H100 需要幾個(gè)月的貨期，在中國(guó)訂購(gòu) H800 更是貨期在半年以上。
CoreWeave 通過跟英偉達(dá)合作，拿已有的 AI 芯片抵押用來買新的 AI 芯片，已經(jīng)融資 23 億美金，比頭部 AI 應(yīng)用公司加起來的融資額都多，真是賣鏟子的比淘金的賺錢了。CoreWeave 的 H100 零售定價(jià) 7 個(gè)月就可以回本，即使大客戶價(jià)格較低，相比通用云計(jì)算來說也是回本非常快了。
功耗方面的限制是能源，目前人類在可控核聚變、常溫超導(dǎo)等領(lǐng)域還沒有取得突破性進(jìn)展，能源的供給只能線性增長(zhǎng)，能源的消耗又受制于芯片的制程。目前數(shù)據(jù)中心已經(jīng)占到人類總能源消耗的 2% 左右，很難大規(guī)模提升。能源稀缺具體的表現(xiàn)就是 IDC 租用資源緊張，在發(fā)達(dá)地區(qū)新建數(shù)據(jù)中心也受到很多限制。
算力瓶頸跟 AGI 有什么關(guān)系呢？AGI 需要大量的算力，而芯片制程、芯片產(chǎn)能和能源又限制了可用算力的總規(guī)模，因此至少在短期內(nèi)，AGI 仍將是非常昂貴的東西。
AGI 非常昂貴的特性決定了它主要服務(wù)于高凈值客戶和前沿科技探索。就像大多數(shù)人不會(huì)找一個(gè)院士來輔導(dǎo)小學(xué)數(shù)學(xué)題，大多數(shù)需求一定是用更為廉價(jià)的模型解決。小學(xué)老師和院士都是社會(huì)中非常關(guān)鍵的職業(yè)，它們的分工不同。
哪些公司適合做 AGI？基礎(chǔ)大模型的頭部公司，就像微軟有 MSR，google 有 DeepMind 和 Google Brain，Meta 有 FAIR，華為有 2012 實(shí)驗(yàn)室，阿里有達(dá)摩院，等等。國(guó)內(nèi)做基礎(chǔ)大模型的幾家頭部創(chuàng)業(yè)公司也有很好的機(jī)會(huì)。大公司的財(cái)務(wù)狀況越穩(wěn)健，在基礎(chǔ)研究上的投入就會(huì)越多。當(dāng)然，當(dāng)小公司成長(zhǎng)到一定規(guī)模，也有做基礎(chǔ)大模型甚至 AGI 的機(jī)會(huì)。
做成 AGI 并不意味著人類不再需要腦力勞動(dòng)。AGI 就算再聰明，也需要人類告訴它做什么。在充滿了 AGI Agent 的世界中，每個(gè)人都需要完成從獨(dú)立貢獻(xiàn)者到團(tuán)隊(duì)貢獻(xiàn)者的轉(zhuǎn)變，帶領(lǐng)一批 AGI Agent 協(xié)作完成任務(wù)。
大模型胡說八道的問題可以解決嗎？
大模型的幻覺問題眾所周知，例如問它 “林黛玉倒拔垂楊柳” 可能就編出一大段子虛烏有的故事。越小的模型幻覺問題一般越嚴(yán)重。
在企業(yè)級(jí)場(chǎng)景中，幻覺的后果可能很嚴(yán)重，例如問大模型去年某個(gè)項(xiàng)目執(zhí)行的情況怎么樣，這個(gè)項(xiàng)目根本不存在，如果模型編出了一堆故事，還因?yàn)樗鼘W(xué)習(xí)了企業(yè)內(nèi)部項(xiàng)目的慣例而編的像模像樣，那沒有人敢放心使用這個(gè)大模型。
我的觀點(diǎn)：幻覺問題本質(zhì)上是由 Transformer 的訓(xùn)練方法和測(cè)試數(shù)據(jù)集的設(shè)計(jì)導(dǎo)致的。標(biāo)準(zhǔn)化的測(cè)試數(shù)據(jù)集，都是像人類的考試一樣，出一些題，答對(duì)了就給分，打錯(cuò)了不得分。老師很早就告訴我們，考試時(shí)哪怕不會(huì)也不要空著，特別是客觀題，萬一蒙對(duì)了呢。
Transformer 的訓(xùn)練方法也是捂住一個(gè) token（可以理解成單詞），看能不能預(yù)測(cè)對(duì)下一個(gè) token。大規(guī)模預(yù)訓(xùn)練語料基本上都是有問題、有答案的，內(nèi)容不會(huì)戛然而止，因此訓(xùn)練出的模型也是很少輸出 “我不知道”。
因此，要解決幻覺問題，本質(zhì)上要從訓(xùn)練和測(cè)試數(shù)據(jù)集開始，不能僅靠 alignment（對(duì)齊）。例如，測(cè)試時(shí)針對(duì)回答錯(cuò)的情況應(yīng)該倒扣分，不回答只是不得分。
從短期來看，解決幻覺問題還有兩個(gè)權(quán)宜之計(jì)。第一是構(gòu)建模型的 “測(cè)謊儀”。我們知道人在說謊的時(shí)候腦電波會(huì)有波動(dòng)，測(cè)謊儀就是這個(gè)原理。那么大模型在編造事實(shí)的時(shí)候，它內(nèi)部的狀態(tài)是否也有異常之處呢？是否可以構(gòu)建一個(gè)小模型，使用大模型推理過程中的中間結(jié)果，推斷模型是否在說謊呢？
第二是在大模型之外構(gòu)建事實(shí)校驗(yàn)（factual check）系統(tǒng)。事實(shí)校驗(yàn)可以使用向量數(shù)據(jù)庫(kù)、基于關(guān)鍵詞的傳統(tǒng)信息檢索技術(shù)、知識(shí)圖譜、搜索引擎等構(gòu)建外部知識(shí)庫(kù)。將用戶的問題和大模型的回答拿到外部知識(shí)庫(kù)中搜索，用另外一個(gè)大模型比對(duì)大模型回答與 top K 結(jié)果所述事實(shí)是否匹配。如果匹配，那么大概率不是在胡編亂造；如果不匹配，那么有可能就是在胡編亂造。
解決幻覺問題可能還能使較小的大模型表現(xiàn)出相當(dāng)于較大的大模型的能力。實(shí)驗(yàn)證明，未經(jīng)對(duì)齊的大模型知道更多的細(xì)節(jié)，例如科大的某門課是哪個(gè)老師教的，這種級(jí)別的細(xì)節(jié)大模型都知道。但經(jīng)過對(duì)齊之后，大模型就只知道科大的校長(zhǎng)是誰了。也就是說，微調(diào)和對(duì)齊會(huì)丟失模型通用能力中的細(xì)節(jié)記憶。如果通過模型外圍系統(tǒng)更更好地解決幻覺、安全性等問題，有可能較小的大模型也能表現(xiàn)出不俗的事實(shí)記憶能力，從而降低成本。
大模型 infra 如何盈利？
Infra 在國(guó)內(nèi)一般叫中間件。國(guó)內(nèi)喜歡端到端的整體解決方案，把中間件單獨(dú)拆出來不好賣。
云廠商是不是也會(huì)做 infra？云廠商也會(huì)做高性能訓(xùn)練和推理平臺(tái)。
大模型的開發(fā)者是不是也會(huì)做 infra？LangChain 未來會(huì)不會(huì)成為模型的一部分？
我的觀點(diǎn)：大模型 infra 可以分為三類：諸如 CoreWeave 的算力平臺(tái)，諸如 Lepton.AI、Colossal 和 OneFlow 的訓(xùn)練和推理系統(tǒng)，諸如 LangChain 的模型和應(yīng)用之間的中間件。
算力平臺(tái)就是提供算力租用的云服務(wù)，根本優(yōu)勢(shì)在于規(guī)模。規(guī)模越大，能拿到的硬件價(jià)格就越低，同時(shí)建設(shè)數(shù)據(jù)中心的固定開銷能被分?jǐn)偂５@是否意味著小的算力平臺(tái)就沒有機(jī)會(huì)了呢？
如果 AI 算力沒有成為瓶頸，那么就像通用 CPU 算力一樣，小的算力平臺(tái)很難有機(jī)會(huì)。就像區(qū)塊鏈熊市的時(shí)候只有大型礦場(chǎng)才能利用規(guī)模優(yōu)勢(shì)和電力成本優(yōu)勢(shì)賺到錢，挖礦的散戶很難回本。但目前的 AI 算力成為瓶頸，很多云廠商的 A100/H100 都售罄了，就像區(qū)塊鏈牛市的時(shí)候一樣，只要有渠道買到 GPU 卡，哪怕轉(zhuǎn)手賣掉，都能賺錢。這就像我 2017 年挖礦的時(shí)候一樣，盡管我是用零售價(jià)買卡，用的是 1.5 元一度的工業(yè)用電，但仍然能賺錢。
在 GPU 卡短缺、數(shù)據(jù)中心能源短缺的今天，算力平臺(tái)的關(guān)鍵競(jìng)爭(zhēng)力是能搞到卡。小型算力平臺(tái)也可以找到小公司作為客戶，甚至一些比較大的大模型創(chuàng)業(yè)公司都在以幾十臺(tái)的增量租用 GPU 卡。只要這波 AI 熱潮還在繼續(xù)，算力平臺(tái)就是一門穩(wěn)賺不賠的生意。
訓(xùn)練和推理系統(tǒng)一方面是優(yōu)化，一方面是簡(jiǎn)化編程。
優(yōu)化方面包括提高性能，降低成本，降低延遲，減少故障導(dǎo)致的停機(jī)時(shí)間等。我認(rèn)為，訓(xùn)練性能優(yōu)化的空間相對(duì)比較小，因?yàn)?state-of-the-art 的訓(xùn)練框架在中小規(guī)模集群上已經(jīng)能夠達(dá)到 70%~80% 的有效算力利用率，提升的空間不多了。大規(guī)模集群的訓(xùn)練受到網(wǎng)絡(luò)帶寬和故障的影響，有效算力利用率還不高，優(yōu)化的空間較大。
現(xiàn)在大多數(shù)框架對(duì)故障處理的優(yōu)化還相對(duì)較少，事實(shí)上 checkpoint、故障檢測(cè)、topology-aware 的故障恢復(fù)都有很多可做的，而且有些研究說明直接忽略故障節(jié)點(diǎn)的梯度也是一種可行的方法。
推理性能優(yōu)化的空間更大，因?yàn)?Transformer 的結(jié)構(gòu)，很多場(chǎng)景下有效算力只有 10%~20%。如果做 batching，時(shí)延和帶寬又會(huì)成為 trade-off。學(xué)術(shù)界因?yàn)榇蠖鄶?shù)時(shí)間都花在訓(xùn)練上，推理優(yōu)化相關(guān)的研究也較少。比如 Berkeley 的 vLLM 可以把推理性能優(yōu)化 2~4 倍。此外，模型本身的一些改進(jìn)也可以大幅優(yōu)化推理性能。
PyTorch 就是靠編程簡(jiǎn)單打敗了 Tensorflow。在大模型時(shí)代，由于預(yù)訓(xùn)練模型加入少量領(lǐng)域私有數(shù)據(jù)就能微調(diào)出一個(gè)領(lǐng)域模型來，很多場(chǎng)景下甚至連數(shù)據(jù)標(biāo)注都不用，只要把領(lǐng)域內(nèi)部資料扔進(jìn)去就行，這就大大降低了大模型微調(diào)的門檻，使不懂編程、不懂大模型的人也可以做微調(diào)。例如百度的 EasyDL 就是做這個(gè)的。
模型和應(yīng)用之間的中間件目前國(guó)外做的比較多，例如 LangChain、AutoGPT、Martian 等等。國(guó)內(nèi)一些人認(rèn)為隨著大模型能力的提升，大模型本身會(huì)逐步收編中間件的能力，因此只要把大模型做好就行了。我不認(rèn)同這種觀點(diǎn)。
如果把大模型想象成一個(gè)人，中間件就是社會(huì)規(guī)則，把人組成一個(gè)社會(huì)。當(dāng)人類還在原始社會(huì)的時(shí)候，幾乎沒有社會(huì)規(guī)則的概念；而隨著文明的進(jìn)步，人和人之間的關(guān)系愈發(fā)復(fù)雜，社會(huì)規(guī)則也更加完善。《人類簡(jiǎn)史》認(rèn)為，人本身的智力在幾千年間并沒有顯著的提升，人類使用工具的能力和人類的社會(huì)組織結(jié)構(gòu)才是人類文明之光。我認(rèn)為，大模型本身的智商固然重要，大模型與外部環(huán)境交互的能力和大模型之間協(xié)作的組織結(jié)構(gòu)才能讓大模型走得更遠(yuǎn)。
LangChain 解決的是大模型與外部環(huán)境交互的問題，如何對(duì)接外部數(shù)據(jù)怨，如何構(gòu)建長(zhǎng)期記憶，等等。
AutoGPT 解決的是大模型之間協(xié)作的問題，它當(dāng)然還有一些局限，MindStorm 這個(gè)學(xué)術(shù)工作在它基礎(chǔ)上做了一些改進(jìn)。不過這些工作最大的問題是 AI 在完成任務(wù)的時(shí)候完全是獨(dú)立自主的，人類無法對(duì)其施加影響。試想一個(gè)產(chǎn)品經(jīng)理讓一個(gè)程序員開發(fā)一個(gè)軟件，一開始把軟件設(shè)計(jì)需求寫得清清楚楚，然后就當(dāng)甩手掌柜等著程序員全部做完，不靠譜吧？一般都是邊做邊溝通，及時(shí)修正設(shè)計(jì)。因此，執(zhí)行復(fù)雜任務(wù)的大模型系統(tǒng)一定需要有與人類實(shí)時(shí)溝通的能力。
Martian 解決的是如何將用戶請(qǐng)求路由到多種大模型的問題，對(duì)每個(gè)問題在每個(gè)大模型的回答質(zhì)量、成本和延遲進(jìn)行估計(jì)，然后根據(jù)用戶對(duì)回答質(zhì)量和成本、延遲的需求，選擇合適的大模型。它的基礎(chǔ)假設(shè)就是不同大模型擅長(zhǎng)不同類型的任務(wù)，并且成本高的模型回答質(zhì)量高，成本低的模型回答質(zhì)量低。
NVIDIA H100 還支持了機(jī)密計(jì)算（confidential computing），可以保證模型和數(shù)據(jù)不會(huì)被泄露，從而使得把模型部署到第三方的云平臺(tái)更加安全。
最后還要提一點(diǎn)，模型和應(yīng)用之間的中間件有可能成為新的編程語言和程序調(diào)用（RPC）接口。大模型的一大特點(diǎn)是能夠把編程界面從程序語言改變成自然語言，從而使得自然語言編程成為可能。這就不僅改變了人機(jī)界面，還改變了機(jī)器與機(jī)器的界面。
你們的護(hù)城河在哪里？
公司有什么護(hù)城河？是技術(shù)，是客戶資源，還是什么？
我的觀點(diǎn)：基礎(chǔ)模型公司的護(hù)城河：算法、算力、數(shù)據(jù)、品牌。算法、算力和數(shù)據(jù)是眾所周知的 AI 三駕馬車。但以這三點(diǎn)作為護(hù)城河也存在很多挑戰(zhàn)。
- 算法方面大家都是 Transformer，訓(xùn)練過程中確實(shí)有很多 know-how，但也在不斷泄露。算法的創(chuàng)新需要從理論層面上推導(dǎo)，是需要比較深功底的。各公司的人員不斷流動(dòng)，學(xué)術(shù)界的算法創(chuàng)新也層出不窮。
- 算力方面只要有足夠多的投資，總可以租到或者買到足夠多的卡來做訓(xùn)練。例如訓(xùn)練 LLaMA 70B 需要 2000 張 A100 卡的資源，1000 萬美金以內(nèi)的成本即可訓(xùn)練完成，很多做基礎(chǔ)模型的公司都有這個(gè)能力。GPT-4 當(dāng)然需要頭部公司才能訓(xùn)練了。
- 數(shù)據(jù)方面公開數(shù)據(jù)集越來越多，不公開的領(lǐng)域數(shù)據(jù)集有很多數(shù)據(jù)公司在出售，只要花錢總是可以買到的。數(shù)據(jù)飛輪（平臺(tái)現(xiàn)有用戶產(chǎn)生的數(shù)據(jù)）對(duì)改進(jìn)模型是有一定作用的，但不如高質(zhì)量的預(yù)訓(xùn)練語料重要。
因此，就像搜索引擎一樣，單靠算法、算力和數(shù)據(jù)堆出來的搜索結(jié)果質(zhì)量并不能決定一切。在百模大戰(zhàn)中，品牌是很關(guān)鍵的。比如，就算現(xiàn)在 GPT-4 變笨了，Claude 在很多場(chǎng)景下已經(jīng)追得不錯(cuò)，Claude 還支持更長(zhǎng)的上下文，大多數(shù)人仍然更相信 GPT-4，這就是品牌的力量。在大模型能力不成熟時(shí)，不要急于發(fā)布自己的大模型。例如能力比不上 LLaMA 的模型就不要發(fā)布了。
應(yīng)用公司的護(hù)城河：成本、個(gè)性化、網(wǎng)絡(luò)效應(yīng)。第一，如果讀一篇論文還是像 GPT-4 那樣需要 10 美金，生成一段 7.5 分鐘的視頻還是像 Runway ML 一樣需要 95 美金，大多數(shù)人就不可能用得起大模型。如何低成本地實(shí)現(xiàn)高質(zhì)量的內(nèi)容生成，是應(yīng)用的關(guān)鍵競(jìng)爭(zhēng)力。
第二，目前的大多數(shù) AI 應(yīng)用比較通用，缺少個(gè)性化，例如生成圖片、寫文章的工具都沒有考慮到用戶的個(gè)性，用戶粘性不強(qiáng)，可替代性高。現(xiàn)在的聊天機(jī)器人甚至不會(huì)主動(dòng)聯(lián)系用戶，都是問一句答一句，就更不用說有自己的思想、情感和故事了。我認(rèn)為，個(gè)性化的 agent 或者 assistant（助手）會(huì)成為未來大模型應(yīng)用的趨勢(shì)。
在移動(dòng)互聯(lián)網(wǎng)浪潮中，個(gè)性化推薦已經(jīng)是提高用戶粘性的關(guān)鍵技術(shù)。這一波大模型浪潮，個(gè)性化仍將是提高用戶粘性的關(guān)鍵。一個(gè)陪伴用戶多年的大模型就像一個(gè)合作多年的伙伴，會(huì)產(chǎn)生信任和依賴。大模型在解決長(zhǎng)上下文和外部知識(shí)庫(kù)問題后，不需要針對(duì)每個(gè)用戶進(jìn)行微調(diào)，就可以用統(tǒng)一的模型服務(wù)海量用戶的個(gè)性化助手，并保證用戶間數(shù)據(jù)的隔離性。
第三，目前的大多數(shù) AI 應(yīng)用中，每個(gè)用戶都是一個(gè)信息孤島，缺少用戶之間的互動(dòng)。
網(wǎng)絡(luò)效應(yīng)是互聯(lián)網(wǎng)浪潮的重要推手。網(wǎng)絡(luò)效應(yīng)就是所謂的梅特卡夫效應(yīng)（Metcalfe Effect）。一個(gè)網(wǎng)絡(luò)，用的人越多，這個(gè)網(wǎng)絡(luò)對(duì)每個(gè)用戶的價(jià)值越大，就有越多的人愿意成為這個(gè)網(wǎng)絡(luò)的用戶，這個(gè)網(wǎng)絡(luò)的價(jià)值就越大，形成良性循環(huán)。
Facebook、Linkedin 都是利用了網(wǎng)絡(luò)效應(yīng)，但網(wǎng)絡(luò)效應(yīng)不只適用于社交網(wǎng)絡(luò)。鐵路網(wǎng)、公路網(wǎng)、電網(wǎng)等運(yùn)輸網(wǎng)絡(luò)，以及電報(bào)網(wǎng)、電話網(wǎng)等通訊網(wǎng)絡(luò)都有網(wǎng)絡(luò)效應(yīng)。在互聯(lián)網(wǎng)浪潮中，Google 的 PageRank 是頁面之間的網(wǎng)絡(luò)，索引的頁面越多，PageRank 就越精準(zhǔn)。eBay 是根據(jù)用戶之間的交易網(wǎng)絡(luò)來評(píng)估賣家的聲譽(yù)。Paypal 也是根據(jù)用戶之間的交易網(wǎng)絡(luò)來發(fā)現(xiàn)欺詐。
我認(rèn)為，基于大模型構(gòu)建的個(gè)性化助手應(yīng)該形成一個(gè)社交網(wǎng)絡(luò)，就像斯坦福搞的 generative agents 一樣，能夠在虛擬世界中自主交互和行動(dòng)。這樣就能形成網(wǎng)絡(luò)效應(yīng)，社交網(wǎng)絡(luò)中的 agent 越多，網(wǎng)絡(luò)對(duì)每個(gè) agent 的價(jià)值就越大。
中間件公司的護(hù)城河：生態(tài)。中間件的競(jìng)爭(zhēng)力關(guān)鍵是性能嗎？成本對(duì)應(yīng)用公司來說確實(shí)很重要，因此性能也是中間件的關(guān)鍵競(jìng)爭(zhēng)力，但是很難成為中間件公司長(zhǎng)期的護(hù)城河，因?yàn)檠芯坑?xùn)練推理性能優(yōu)化的人太多了，并且有效算力利用率的極限就是 100%。
在軟件的世界里，做的早比做的好很多時(shí)候更重要。比如谷歌的 gRPC，性能其實(shí)不算好，但是已經(jīng)成了 RPC 的事實(shí)標(biāo)準(zhǔn)。只有需要極致性能的用戶才會(huì)考慮用其他優(yōu)化過的 RPC 框架。gRPC 成功的地方就在于生態(tài)，它可以與服務(wù)治理、負(fù)載均衡、Web service 等很多外圍組件集成，如果換成其他 RPC 框架，這些外圍系統(tǒng)很多是沒法用的。
大模型中間件同樣需要占據(jù)生態(tài)位，與上游應(yīng)用、下游基礎(chǔ)大模型和其他中間件集成。這種集成最好不是像 OpenAI API 這樣很容易被替代的。
你們的商業(yè)模式能 scale 嗎？
很多 to B 的公司容易陷入外包定制，從這里拿到一單，再?gòu)哪抢锬玫揭粏危恳粏蔚男枨蠖疾皇菢?biāo)準(zhǔn)化的，需要大量定制化開發(fā)。結(jié)果雖然初期就有一定的營(yíng)收，但規(guī)模很難擴(kuò)大。
很多 to C 的公司做出一個(gè)產(chǎn)品之后，可能只是火一陣，沒有形成用戶粘性；也可能面向的客戶群體或者推廣能觸達(dá)的客戶群體比較小，其他潛在的客戶群體不知道這個(gè)產(chǎn)品的存在。
我的觀點(diǎn)：是否能 scale，關(guān)鍵在于產(chǎn)品有多通用。通用市場(chǎng)和細(xì)分市場(chǎng)其實(shí)是一對(duì)矛盾。通用市場(chǎng)規(guī)模一般比較大，但是客單價(jià)往往較低，而且競(jìng)爭(zhēng)對(duì)手眾多；細(xì)分市場(chǎng)規(guī)模較小，但是很多有較高的客單價(jià)，競(jìng)爭(zhēng)對(duì)手相對(duì)也少一些。并不是越通用，理論上模式越 scale，最后營(yíng)收和利潤(rùn)就一定最好。小而美的創(chuàng)業(yè)公司也很可能不錯(cuò)。
上一波 AI 主要是 to B 的市場(chǎng)，而且解決方案通用性不強(qiáng)，因此經(jīng)常需要針對(duì)客戶需求進(jìn)行定制。大模型的特點(diǎn)就是通用性強(qiáng)，因此如果要做到 scale，一定需要做通用的產(chǎn)品。就像華為有很多行業(yè)解決方案，但都是由標(biāo)準(zhǔn)化的基站、交換機(jī)、路由器等組合而成，不會(huì)為每個(gè)客戶定制一套基站。
一些 to B 的客戶仍然會(huì)有非 AI 的定制開發(fā)需求，此時(shí)如前面講的，需要組成人才梯隊(duì)，不是所有任務(wù)都需要派出海軍陸戰(zhàn)隊(duì)，外包開發(fā)的任務(wù)派民兵去就行了。
To C 的用戶粘性問題在前面已經(jīng)回答過，一方面是個(gè)性化，另一方面是網(wǎng)絡(luò)效應(yīng)。設(shè)想一下《頭號(hào)玩家》的場(chǎng)景，就能知道現(xiàn)在的大模型還有多少差距，該往什么方向努力了。現(xiàn)在很多人總是說 AI 缺少應(yīng)用場(chǎng)景，其實(shí)電影和科幻小說里面已經(jīng)給了一些參考答案了，做不出來是技術(shù)或者成本的問題。
用滑雪場(chǎng)打個(gè)比方，雪道多寬指的是市場(chǎng)規(guī)模，雪道多長(zhǎng)指的是行業(yè)所處的階段，雪道的坡度指的是行業(yè)的競(jìng)爭(zhēng)格局。需要搞清楚所做的事情是 “+AI” 還是 “AI+”，也就是這件事情是不是離開了 AI 就做不成了。如果 AI 僅僅是錦上添花的作用，那么就要小心是不是可能更適合現(xiàn)有的玩家。
如何應(yīng)對(duì)大模型的監(jiān)管和法律責(zé)任？
L4 自動(dòng)駕駛之所以難做，不僅是因?yàn)樯弦淮?AI 技術(shù)不夠通用，需要大量的 if-else 來處理 corner case，更重要的是法律問題，萬一自動(dòng)駕駛撞死了人，誰去坐牢？AI 能幫人做很多事情，就是不能幫人坐牢。
如今各國(guó)政府對(duì)大模型也有很多監(jiān)管要求，是否有可能在不閹割模型通用能力的前提下，滿足隱私和內(nèi)容合規(guī)方面的監(jiān)管要求？
我的觀點(diǎn)：大模型的定位應(yīng)該是助理，這就意味著法律責(zé)任主要是在用戶，這也是目前軟件和互聯(lián)網(wǎng)產(chǎn)品通行的責(zé)任歸屬方式。在一些場(chǎng)景下，助理也可能自主作出一些對(duì)外部環(huán)境有影響的行為，這時(shí)如果做錯(cuò)了，大模型開發(fā)者就需要承擔(dān)法律責(zé)任。
針對(duì)隱私和內(nèi)容合規(guī)問題，大模型自身當(dāng)然可以通過 alignment 來減少不合規(guī)內(nèi)容的輸出，但 alignment 做得過強(qiáng)又容易損失模型本身的能力，例如 LLaMA 2 Chat 對(duì)于 “How to kill a linux process” 的問題也會(huì)拒絕回答，這就鬧出笑話了。我認(rèn)為，與其閹割模型本身的思想，不如在模型外部增加內(nèi)容合規(guī)檢查。
內(nèi)容合規(guī)檢查不是簡(jiǎn)單的敏感詞匹配，否則就變成了 “我愛北京敏感詞，敏感詞上太陽升”。內(nèi)容合規(guī)需要是獨(dú)立的大模型，使用合規(guī)和不合規(guī)內(nèi)容構(gòu)成的語料庫(kù)訓(xùn)練，在輸入和輸出層面上都可以做。
為什么說閹割模型本身的思想很難呢？由于中文語料的質(zhì)量和數(shù)量相對(duì)英文語料都更少，即使做中文大模型，一般也需要用英文和中文語料同時(shí)訓(xùn)練。如果單純使用貼吧之類的中文語料，訓(xùn)練出來的模型可能是一個(gè)段子手，但難以回答嚴(yán)肅的問題。這樣一來，即使我們能保證中文語料的合規(guī)性，但很難保證英文語料也都是合規(guī)的。此外，如果大模型完全沒見過不合規(guī)內(nèi)容，那么就沒有能力識(shí)別它，可能很容易就掉進(jìn)了坑里。
在本文中，從消除幻覺、個(gè)性化到內(nèi)容合規(guī)，我反復(fù)強(qiáng)調(diào)模型外圍系統(tǒng)的重要性。基礎(chǔ)大模型就像是計(jì)算機(jī)體系結(jié)構(gòu)里的 CPU，外圍系統(tǒng)就像是圍繞 CPU 的內(nèi)存、磁盤、網(wǎng)卡、GPU 等芯片。計(jì)算機(jī)操作系統(tǒng)、分布式系統(tǒng)和體系結(jié)構(gòu)里的很多概念都可以在大模型系統(tǒng)中找到對(duì)應(yīng)，我在《從網(wǎng)絡(luò)到 AI：我的一點(diǎn)思考》中有所闡述。
隱私問題其實(shí)并不難解決，只要不拿用戶的數(shù)據(jù)做訓(xùn)練就行了。因?yàn)?ChatGPT 用了用戶的數(shù)據(jù)做訓(xùn)練，很多人認(rèn)為隱私問題很難解決。其實(shí)很容易。
問題來了，如果不允許使用用戶數(shù)據(jù)做訓(xùn)練，那么如何構(gòu)建數(shù)據(jù)飛輪呢？盡管有很多隱私計(jì)算的技術(shù)，但我認(rèn)為保護(hù)隱私和數(shù)據(jù)飛輪可能本質(zhì)上就是難以兼得的。舉一個(gè)簡(jiǎn)單的例子，用戶問了一個(gè)隱私話題，”A 是 B 的女朋友嗎“，并且對(duì)回答進(jìn)行贊或者踩，如果根據(jù)用戶反饋的贊或者踩更新了模型，那么大模型就學(xué)到了 A 和 B 之間關(guān)系這個(gè)隱私信息。
結(jié)語
大模型創(chuàng)業(yè)正在從狂熱逐漸回歸理性。狂熱是因?yàn)榇蠹野l(fā)現(xiàn) AI 真的能夠理解自然語言了，通過了圖靈測(cè)試，成為了一項(xiàng)通用技術(shù)。回歸理性是因?yàn)榇蠹乙庾R(shí)到，大模型距離走進(jìn)千行百業(yè)、改變?nèi)祟惿钸€有一定距離，一方面是可控性、安全性、長(zhǎng)期記憶等基礎(chǔ)能力仍然存在差距，另一方面是成本仍然較高。
大模型創(chuàng)業(yè)總是面臨大量的靈魂拷問。想，都是問題；做，才是答案。兩岸猿聲啼不住，輕舟已過萬重山。
