Meta參展2022年在上海舉行的進(jìn)博會(huì)（來(lái)源：鈦媒體App編輯拍攝）
過(guò)去半年，為了追趕AI target=_blank class=infotextkey>OpenAI的研發(fā)腳步，科技巨頭Meta公司（前Facebook）接連發(fā)布免費(fèi)開源大語(yǔ)言模型LLaMA、Llama 2以及編程模型Code Llama等，引發(fā)了一場(chǎng)關(guān)于開源與閉源模型優(yōu)劣的廣泛熱議。
但對(duì)于一些參與Llama大語(yǔ)言模型研發(fā)的Meta 科學(xué)家們來(lái)說(shuō)卻不這樣想，普遍認(rèn)為這款大模型來(lái)的太晚了，團(tuán)隊(duì)精英 AI 人才流失太高了。
據(jù)The information近日?qǐng)?bào)道，今年2月發(fā)表的Llama原始研究論文的14位作者中，包括FAIR巴黎團(tuán)隊(duì)負(fù)責(zé)人Antoine Bordes在內(nèi)的超過(guò)一半（7人）AI科學(xué)家離開了Meta，其中幾位跳槽或創(chuàng)辦了 AI 初創(chuàng)公司，或是到大公司，原因與內(nèi)部算力資源斗爭(zhēng)有關(guān)。
同時(shí)，OPT、ESMFold等多個(gè)項(xiàng)目也同時(shí)解散，員工合并重組，影響超過(guò)數(shù)十人，其中OPT研究論文的19位作者中，已經(jīng)約有一半已不在Meta工作，近10位AI領(lǐng)域核心研發(fā)人員。
實(shí)際上，過(guò)去10多年來(lái)，馬克·扎克伯格（Mark Zuckerberg）一直將 AI 當(dāng)作Meta新發(fā)展的重要起點(diǎn)，而且挖來(lái)了 AI 學(xué)術(shù)領(lǐng)域重要的科學(xué)家，如圖靈獎(jiǎng)得主、Meta首席 AI 科學(xué)家楊立昆（Yann LeCun）等，但持續(xù)性團(tuán)隊(duì)內(nèi)斗影響了Meta AI對(duì)于研究資源的分配。
而隨著全球經(jīng)濟(jì)衰退加劇、緊急追趕ChatGPT，經(jīng)歷一段時(shí)期的人員波動(dòng)和內(nèi)部整合、超過(guò)1萬(wàn)名員工被裁掉。最終，Meta選擇商業(yè)化的 AI，放棄純科學(xué)性AI技術(shù)。
超半數(shù)Llama團(tuán)隊(duì)?wèi)嵢怀鲎撸蚺cOPT團(tuán)隊(duì)內(nèi)部算力爭(zhēng)奪有關(guān)
Meta在人工智能（AI）領(lǐng)域的核心研究，主要來(lái)源2013年成立的FAIR（Facebook AI Research）。
團(tuán)隊(duì)組建之初，Meta聘請(qǐng)了圖靈獎(jiǎng)獲得者、法國(guó)科學(xué)家楊立昆擔(dān)任 AI 研究負(fù)責(zé)人，整個(gè)FAIR的研究任務(wù)是將 AI 用于翻譯語(yǔ)言，推進(jìn)AI醫(yī)療等場(chǎng)景。同時(shí)，F(xiàn)AIR團(tuán)隊(duì)大手筆在美國(guó)加州門洛帕克、紐約、蒙特利爾、巴黎、倫敦和西雅圖六地設(shè)立實(shí)驗(yàn)室。
據(jù)報(bào)道，F(xiàn)AIR在巴黎的團(tuán)隊(duì)主要研發(fā)了Llama大模型，而FAIR美國(guó)團(tuán)隊(duì)則研發(fā)OPT模型，兩個(gè)團(tuán)隊(duì)主要向Meta基礎(chǔ)Al研究負(fù)責(zé)人Joelle Pineau匯報(bào)。據(jù)悉，Pineau不僅是Meta AI研究副總裁，而且還是麥吉爾大學(xué)教授，主要研究新的模型和算法。
Meta基礎(chǔ)Al研究負(fù)責(zé)人Joelle Pineau（來(lái)源：Meta AI官網(wǎng)）
早在2022年5月，ChatGPT發(fā)布之前，Meta美國(guó)團(tuán)隊(duì)就公開發(fā)布了OPT-175B。當(dāng)時(shí)Meta聲稱該模型比OpenAI的GPT-3訓(xùn)練所需能源更少，而這兩個(gè)模型用于訓(xùn)練的參數(shù)規(guī)模相同。據(jù)兩位知情人士稱，幾個(gè)月后，該團(tuán)隊(duì)已經(jīng)開始研究媲美谷歌PaLM的一款大模型。
與此同時(shí)，巴黎FAIR團(tuán)隊(duì)已經(jīng)開始研究另一種獨(dú)立的大模型，最終被稱為L(zhǎng)lama，該模型參數(shù)比OPT小，團(tuán)隊(duì)認(rèn)為較小模型在推理（即對(duì)問(wèn)題生成響應(yīng)的過(guò)程）方面會(huì)更有效，尤其Llama需要的算力資源低于OPT模型。
不過(guò)，由于Meta的算力資源有限，內(nèi)部分配一直不合理。而這種算力爭(zhēng)奪加劇了團(tuán)隊(duì)之間的緊張關(guān)系。
據(jù)報(bào)道，Meta內(nèi)部每月做出一次算力分配決定，與不同業(yè)務(wù)部門、不同優(yōu)先事項(xiàng)，以及項(xiàng)目發(fā)布時(shí)間等因素有關(guān)。而如果FAIR的員工提出爭(zhēng)議，這些爭(zhēng)議就會(huì)升級(jí)，交由Pineau做出決定。
Pineau回應(yīng)稱，Llama和OPT團(tuán)隊(duì)在算力分配的問(wèn)題上“有些緊張”，稱“盡管我們不保證每個(gè)人都會(huì)得到想要的，但我們一直試圖在平衡各方需求”。
2023年開始，隨著ChatGPT對(duì)話 AI 模型風(fēng)靡全球，兩個(gè)團(tuán)隊(duì)內(nèi)斗緊張局勢(shì)達(dá)到了頂峰。
今年2月，Meta FAIR發(fā)布了Llama開源模型，并獲得研究使用許可，而且多個(gè)團(tuán)隊(duì)使用Llama開發(fā)了Vina等其他開源大模型，廣受好評(píng)。
但在發(fā)布會(huì)前一周，F(xiàn)AIR團(tuán)隊(duì)聯(lián)合創(chuàng)辦人兼巴黎團(tuán)隊(duì)負(fù)責(zé)人Antoine Bordes卻離開了Meta公司，報(bào)道稱，其主要與美國(guó)團(tuán)隊(duì)的內(nèi)斗讓Bordes精疲力盡。Bordes拒絕置評(píng)。
同時(shí)，自去年11月起，扎克伯格開始了Meta全公司范圍的裁員，涉及超過(guò)1萬(wàn)名員工，F(xiàn)AIR團(tuán)隊(duì)也未能幸免。今年2月，Meta成立了一個(gè)新團(tuán)隊(duì)，專注于開發(fā)生成式 AI 技術(shù)，團(tuán)隊(duì)負(fù)責(zé)人是蘋果前高管Ahmad Al-Dahle。隨后很多FAIR、Llama 2開發(fā)團(tuán)隊(duì)都加入其中，又一次進(jìn)行了團(tuán)隊(duì)洗牌。
而Meta這種人員變動(dòng)、整合，讓FAIR團(tuán)隊(duì)只能研究Code Llama。因此，更多Llama、OPT等項(xiàng)目的研究人員感受到了更大的內(nèi)部斗爭(zhēng)氛圍，憤然離職。
據(jù)報(bào)道，目前，Llama原始研究論文的14位作者中，超過(guò)7人已從Meta離職。而2022年5月公布的OPT原始研究論文的19位作者中，約有10名 AI 大牛已經(jīng)從Meta離開。The information提到了其中四位的去向：
- FAIR巴黎分部負(fù)責(zé)人Antoine Bordes已離職，加入了軍工 AI 公司Helsing
- Llama論文作者、FAIR研究總監(jiān)Armand Joulin，今年5月離職，隨后加入了蘋果公司。
- Llama論文作者Timothee Lacroix和Guillaume Lample已離職，共同創(chuàng)立了 AI 初創(chuàng)公司MistralAI
- Llama論文作者M(jìn)arie-Anne Lachaux已離職，加入了MistralAl
另外，今年8月有報(bào)道稱，Meta為了降本增效，裁掉了對(duì)標(biāo)谷歌DeepMind AlphaFold、利用 AI 大模型實(shí)現(xiàn)蛋白質(zhì)預(yù)測(cè)的生物科學(xué)ESMFold項(xiàng)目團(tuán)隊(duì)。此前，該團(tuán)隊(duì)研發(fā)出了150億參數(shù)、預(yù)測(cè)超6億個(gè)宏基因組蛋白質(zhì)序列大模型ESMFold，AI 的速度比 AlphaFold 快 60 倍。不過(guò)如今，該團(tuán)隊(duì)已解散，負(fù)責(zé)人已辭職創(chuàng)業(yè)。
英國(guó)《金融時(shí)報(bào)》認(rèn)為，F(xiàn)air實(shí)驗(yàn)室內(nèi)部的學(xué)術(shù)文化是Meta遲遲在 AI 大模型競(jìng)爭(zhēng)中獲得領(lǐng)先的原因，而隨著ChatGPT的爆發(fā)，如今Meta試圖調(diào)整目標(biāo)“GenAI”，并重新配置其Fair團(tuán)隊(duì)的研究方向，轉(zhuǎn)向 AI 模型的商業(yè)化。
扎克伯格表示，隨著開發(fā)者不斷改進(jìn)模型，Meta可以將這些改進(jìn)融入其廣告和消費(fèi)產(chǎn)品中。看起來(lái)，扎克伯格從Llama看到了以開源在AI競(jìng)爭(zhēng)中打開局面的可能性。
Joelle Pineau坦言，留住和吸引優(yōu)秀人才是公司花費(fèi)大部分時(shí)間的原因。如果沒(méi)有優(yōu)秀的研究人員，她什么也做不了。
“由于 AI 領(lǐng)域發(fā)展如此之快，我們正在共同思考，F(xiàn)AIR應(yīng)該擁有哪個(gè)項(xiàng)目？Gen AI 應(yīng)該擁有哪個(gè)項(xiàng)目？我們應(yīng)該持續(xù)關(guān)注兩個(gè)團(tuán)隊(duì)的工作成果。”Pineau表示。
算力不足下，Meta仍計(jì)劃明年發(fā)布對(duì)標(biāo)GPT-4的大模型
Meta AI 研究團(tuán)隊(duì)這一內(nèi)斗、核心人員離職案例，可以從兩個(gè)角度解讀。
一是大公司創(chuàng)新能力隨著內(nèi)部問(wèn)題不斷下降，資本和大科技公司創(chuàng)新鴻溝加深。（詳見(jiàn)鈦媒體App前文：《全球經(jīng)濟(jì)巨變下，資本和科技創(chuàng)新之間的沖突與平衡》）
此前，谷歌也做了類似的事情，DeepMind研發(fā) AI 技術(shù)多年，誕生出了AlphaFold、AlphaGo等行業(yè)頂級(jí)技術(shù)，但難以盈利，2018年-2020年總虧損額超過(guò)17億美元。因此在今年4月，谷歌母公司Alphabet CEO Sundar Pichai （皮猜）宣布，將谷歌大腦和DeepMind 兩大團(tuán)隊(duì)合并，組成“google DeepMind”部門，研發(fā)任務(wù)之一是多模態(tài) AI 模型，而此前谷歌大腦、DeepMind內(nèi)部競(jìng)爭(zhēng)頗多。
另外在阿里內(nèi)部也產(chǎn)生一定的競(jìng)爭(zhēng)。近日，阿里達(dá)摩院M6大模型帶頭人楊紅霞、阿里云AI大牛賈揚(yáng)清、機(jī)器學(xué)習(xí)科學(xué)家金榕等 AI 大牛也紛紛離職，有消息稱，阿里大模型研發(fā)時(shí)經(jīng)過(guò)內(nèi)部的競(jìng)賽流程，金榕和楊紅霞團(tuán)隊(duì)技術(shù)產(chǎn)生競(jìng)爭(zhēng)，最終諸多因素下才最終選擇楊紅霞的模型技術(shù)，從而誕生通義千問(wèn)，不過(guò)最終兩位技術(shù)負(fù)責(zé)人均從阿里辭職。
搜狗創(chuàng)始人、百川智能創(chuàng)始人兼CEO王小川告訴鈦媒體App，“資本是逐利的，所以不是投自動(dòng)駕駛就是安防。對(duì)大廠來(lái)說(shuō)，當(dāng)時(shí)投錢創(chuàng)新是有巨大風(fēng)險(xiǎn)的。對(duì)企業(yè)的一號(hào)位來(lái)說(shuō)，想的更多還是業(yè)務(wù)上的東西，花錢最后沒(méi)出成果，算誰(shuí)的？”
另外一方面是Meta的算力資源不足。
隨著OpenAI用微軟云的算力、谷歌則自行購(gòu)買GPU（圖形處理器）芯片，多家科技巨頭加大算力基礎(chǔ)設(shè)施布局。而Meta沒(méi)有自己的龐大云算力儲(chǔ)備，因此在生成式AI的賽道上明顯“掉隊(duì)”。
2022年的一場(chǎng)5個(gè)小時(shí)會(huì)議上，Meta的基礎(chǔ)設(shè)施負(fù)責(zé)人當(dāng)時(shí)表示：“我們?cè)陂_發(fā)AI的工具、工作流程和程序上存在顯著差距，我們必須得投入大筆投資。”而隨著ChatGPT的發(fā)布，全球 AI 訓(xùn)練、推理算力需求加劇，Meta似乎只能追趕。
據(jù)報(bào)道，GPT-3使用10000張GPU A100顯卡、花了30天才訓(xùn)練完了1750 億參數(shù)，單 GPU 計(jì)算性能為12TFlops，消耗的總算力為每天每秒3640PetaFlop，GPU-4數(shù)據(jù)更高。即便是利用3584 個(gè)英偉達(dá)最新 H100 芯片，GPT-3大模型訓(xùn)練任務(wù)也需要11分鐘。而OpenAI尚未透露GPT-4的大小，但估計(jì)參數(shù)為1.5萬(wàn)億。
龐大的數(shù)據(jù)量需要大量的算力支持。因此，Meta依然需要購(gòu)買大量英偉達(dá)產(chǎn)品，補(bǔ)足算力缺口，例如Meta Llama模型已經(jīng)在微軟云平臺(tái)Azure上提供。
Meta CFO Susan Li在今年2月坦承，Meta投入給生成式AI的算力相當(dāng)有限，基本上所有的AI算力都投向了廣告、信息流和短視頻項(xiàng)目。
即便是算力不足，扎克伯格仍希望盡力追趕，并且打造更多的大模型產(chǎn)品落地應(yīng)用。
據(jù)外媒9月11日?qǐng)?bào)道，Meta正在開發(fā)一種新的 AI 大語(yǔ)言模型（LLM），超越Llama 2，性能比肩GPT-4。報(bào)道稱，預(yù)計(jì)Meta將在2024年初開始訓(xùn)練這一大模型。
（本文首發(fā)鈦媒體App，作者｜林志佳）
