日日操夜夜添-日日操影院-日日草夜夜操-日日干干-精品一区二区三区波多野结衣-精品一区二区三区高清免费不卡

公告:魔扣目錄網為廣大站長提供免費收錄網站服務,提交前請做好本站友鏈:【 網站目錄:http://www.ylptlb.cn 】, 免友鏈快審服務(50元/站),

點擊這里在線咨詢客服
新站提交
  • 網站:51998
  • 待審:31
  • 小程序:12
  • 文章:1030137
  • 會員:747

衡宇 發自 凹非寺

量子位 | 公眾號 QbitAI

當我們圍觀ChatGPT炸開的多場激戰時,還有什么是暗流下激戰的?

今天要關注的,不是違背“非盈利”初心的OpenAI,也不是商業模式面臨顛覆的谷歌搜索。 把目光從公司層面挪開,看向另一場已經白熱化的戰爭——

借著的ChatGPT燎原之勢,2月中旬同一天的30分鐘內,就有2位谷歌大腦大模型人才先后官宣入職OpenAI,其中之一Jason Wei是思維鏈 (chain-of-thought,CoT)的最早一作。

大模型交鋒背后,谷歌和OpenAI的 人才戰爭打得正酣。和動輒上億美元的投融資同樣重要,AI人才也是兵家必爭的財富。

但其實,AI人才流動、被搶奪,早開始在ChatGPT攪動漩渦之前。

GPT系列:8人聯創新公司,成谷歌對戰ChatGPT一步棋

勢如破竹的ChatGPT,積攢了OpenAI 從GPT一路迭代至InstructGPT的技術經驗與實力。

ChatGPT基于OpenAI的 GPT-3.5創造。2018年和2019年,OpenAI分別推出了1.17億參數的GPT-1和15億參數的GPT-2;2020年,大力出奇跡的GPT-3問世,訓練參數達到1750億,涌現出一些人腦獨特的能力,引起轟動;而后又在2022年初推出全新的InstructGPT模型,只要13億參數,效果就比GPT-3更好。

《紐約時報》披露,原本下一代GPT-4在OpenAI內部幾乎準備就緒,只待發布;去年11月中旬,高層突然宣布新任務:兩周后發布免費聊天機器人應用,代號 “Chat with GPT3.5”,這就是今天見到的ChatGPT。

51位作者,其中2人參與3次論文創作

GPT系列共發表了 4篇論文, 51位作者參與其中。

作者名單中出現最頻繁的是Alec Radford和Ilya Sutskever兩位,均參與GPT-1到3的論文創作。前者是OpenAI的ML研究員,也是indico.io的聯創,谷歌學術上他被引用最多的研究是DC-GAN;后者更為人所熟知,OpenAI聯創之一,也是OpenAI首席科學家,主導了GPT系列以及DALLE系列模型的研發。

另有5人在GPT系列論文中 2次貢獻了自己的力量:

51人組成的人才圖鑒,學歷一欄中名校印記俯拾皆是。據不完全統計,出現 頻次最多的是MIT和斯坦福大學,曾在耶魯大學、UC伯克利、哈佛大學、牛津大學攻讀學位的人也不在少數。也不乏在這些名校中輾轉求學的人,譬如表格中提到的OpenAI前研究副總裁Dario Amodei,先后就讀于普林斯頓大學和斯坦福大學;再比如InstructGPT背后論文共同作者之一Gretchen Krueger,MIT、哈佛大學、哥倫比亞大學都是他的母校。

出走團隊打造ChatGPT競品對話式AI

毫無疑問,GPT系列背后的51人引領了大語言模型的創新風潮。從GPT系列結束戰斗后,不少人從OpenAI脫離。除開GPT-3共同作者、哥大博士在讀的Melanie Subbiah本就不屬于OpenAI,50人里共有 16位人才從OpenAI流失

其中8位的最終流向是 AI初創公司Anthropic。更準確地說,包括Dario Amodei、GPT-3論文一作Tom B. Brown在內的一批核心人才不滿OpenAI成為微軟附庸——因被注資,OpenAI要使用Azure超算來搞研究,要將技術授權給微軟,甚至要給微軟的投資活動籌集資金,這與OpenAI創立的初衷 (關注高級AI安全)相悖。

最終,包括8位GPT系列作者在內,共11名OpenAI前員工怒而離職, 于2021年創辦Anthropic,要搞能控制、可解釋的AI,重心放在生成式AI上。

△ 出走創辦Anthropic的GPT系作者

1月底,Anthropic開始內測聊天機器人 Cladue。同為生成式對話AI,與ChatGPT的同臺競賽不可避免,二者各有千秋,最終測評結果:Claude在12項任務 中 有8項更強。

關于Anthropic的最新消息讓這家“復仇者聯盟”愈發走到人們熟悉臺前。月初, 谷歌向它投資3億多美元(約合人民幣20.3億元),拿下后者約10%的股份。交易條款要求,Anthropic需要從谷歌云計算部門購買計算資源。這恰好與3年前,OpenAI接受微軟高達10億美元的注資,將微軟定位獨家云提供商所呼應。

換句話說,Dario Amodei帶著Anthropic走上了3年前所不齒的OpenAI的老路,接受金主爸爸提供的算力來進行技術開發。現如今, Anthropic最新估值50億美元,除谷歌外,已有的投資人包括Facebook聯創Dustin Moskovitz,谷歌前CEO、現技術顧問Eric Schmidt等人。

也曾有人轉投谷歌門下

OpenAI GPT系作出走16人,Anthropic是他們的主要流向,剩下8人中, 有3位第一時間投入谷歌門下

其一是GPT-1的三作Tim Salimans,2018年7月他就履新谷歌大腦,base阿姆斯特丹,擔任職位為高級管理科學家;其二是GPT-2的四作David Luan,2020年9月起他加入谷歌任主管,工作1年多后離職,后來和Transformer論文作者Ashish Vaswani、Niki Parmar一起,創辦了一家叫Adept的公司,目標是創造讓人和計算機能夠協同工作的通用人工智能;第三位叫a,在2021年3月加入谷歌大腦。

時至今日,Adept和Anthropic兩家AI公司的聲量比不上風頭正盛的OpenAI和其強勁對手DeepMind,不過各自在AI產業界頗有建樹,甚至拿出Claude這種可與ChatGPT一較高下的產品。從這兩家公司的今日成就不難側面看出,GPT系作者是的確不是等閑之輩。

LaMDA:1/4成員只有本科學歷

梳理完GPT系論文作者現狀,鏡頭轉向谷歌的LaMDA論文背后團隊,作者共 60名。和GPT系作者團一樣,LaMDA作者團隊同樣不乏耀眼的名校背景,斯坦福校友最多,統共有6人;其次是哥倫比亞大學,有三人曾在哥大就讀;接著是浙江大學、比拉科技學院、杜克大學、上海交通大學、耶魯大學、臺灣大學,這6所大學出現了2次。

不過有一說一,相比較而言,LaMDA團隊的 名校光環更少,成員的學校背景中常出現阿比林基督教大學、伊比利亞美洲大學、哈丁西蒙斯大學等類似的非頂尖名校。

15位作者只有本科學歷,多數人出身計算機專業

還有三個特點在LaMDA作者履歷中顯現。

第一,至少有17人在某個求學階段 主修學科為計算機工程/科學,計算機學科背景貫穿求學始終的人也不在少數,像Hongrae Lee,先是在首爾國立大學拿下計算機科學本碩學歷后,又赴往哥倫比亞大學攻讀計算機科學博士學位。

第二,據不完全統計, 至少有15位LaMDA論文作者只擁有本科學歷,這些人中有一半就讀的專業是計算機工程/科學。

第三,有 7位LaMDA論文作者在谷歌工作了10年以上,資歷最老的是Igor Krivokon,截至今年2月,他在谷歌的工作年限為19年又5個月;Will Rusch也在谷歌工作了19年,從美國南加州大學電氣工程系畢業后,他就成為了谷歌的一份子,直到今天。

Igor Krivokon

上文提到,有5%的GPT系作者跑到了對家谷歌干活,相比之下,LaMDA論文作者,沒有一位跳槽到對家OpenAI,很穩。那么,究竟是什么樣的公司,能夠得到出走的LaMDA論文作者的法眼?

答案是兩家AI初創公司,一家是Inflection AI,另一家是Character.AI。

出走后,成AI初創公司Inflection AI&Character.AI創始團隊

先來聊聊 Inflection AI,這家機器學習初創公司是LaMDA作者中的Joe Fenton,和從OpenAI出來的Rewon Child (3位投奔谷歌的出走成員之一)共同創立,創始團隊中還有LinkedIn聯創Reid Hoffman和DeepMind創始成員、谷歌人工智能產品與政策副總裁Mustafa Suleyman,陣容十分豪華。LaMDA論文作者,曾擔任谷歌研究工程師的Maarten Bosma在公司成立后也被挖走,現為Inflection AI技術人員。

據了解,這家公司的總體目標是利用人工智能幫助人類與計算機“對話”。去年5月,Inflection AI獲得了2.25億美元的A輪融資,資金來源尚不清楚, 公司估值超過12億美金

以及,現有5名LaMDA論文作者進入 Character.AI就職。

Character.AI的創始人Noam Shazeer是谷歌前首席軟件工程師,不僅參與了LaMDA的研究,還是Transformer論文作者之一。杜克大學本科畢業后,2000年年底,Noam Shazeer加入谷歌,是谷歌最重要的早期員工之一。雖然中途一度離職,但截至他2021年10月離職創辦新公司,共在谷歌工作了17年又5個月。Character.AI的 現任總裁也是LaMDA論文作者,Daniel De Freitas,加入谷歌前,他曾在微軟Bing做軟件工程師。

實際上,LamDA論文發表時,Noam Shazeer和Daniel De Freitas都已經從谷歌離職,開始籌備Character.AI了。據報道,Character AI已經創建了 一個基于LaMDA的神經語言模型聊天機器人Web應用程序,能夠生成類似人類的文本響應并參與上下文對話。

額外提一點,除LaMDA背后作者外,谷歌的大模型人才近期流動也都比較頻繁。先不用說BERT模型四位作者之一,被稱為BERT之父的 Jacob Devlin今年1月剛剛離開谷歌加入OpenAI,看看去年ChatGPT發布頁面的致謝名單里,就有Barret Zoph等5個人,都是谷歌前員工,他們在ChatGPT問世前加入OpenAI,在調整和準備ChatGPT中發揮了關鍵作用。此外,The Information消息披露,進入今年1月,又有 至少4名谷歌大腦成員加入OpenAI。

危急存亡之秋,谷歌嗅到了人才流失的危險,相繼推出了一系列舉措。除卻重金投資OpenAI出走團隊打造的Anthropic外,其旗下專注語言大模型領域的 “藍移團隊”(Blueshift Team)宣布,正式加入DeepMind,旨在共同提升LLM能力——先進行陣列自行調整,集中內部力量,迎接OpenAI炮火。

人才大戰里的華人面孔

今年年初,大模型人才的跳槽愈發頻繁。從谷歌加入OpenAI的谷歌大腦4人之一中,包括華人 顧世翔(Shane Gu),谷歌大腦日本團隊前成員,劍橋大學博士,本科在多倫多大學師從三巨頭之一Hinton。去年5月,只要加上一句 “讓我們一步一步地思考”就能讓GPT-3做數學題的準確率暴漲61%這事,就是顧世翔參與的研究發現。

像他這樣,在谷歌和OpenAI的人才爭奪大戰中出現的華人面孔還有多少?據不完全統計, 共有16人,LaMDA論文作者里就有14人,占87.5%,也就是說華人面孔占據了大模型111人中的14.4%。

這里要著重提2個人。一位是美籍華人 Ed Chi,1973年出生,現為谷歌杰出科學家,早年以應用資訊氣味理論預測網站可用性而聞名。

從美國明尼蘇達大學雙城分校取得碩士學位后,Ed Chi于1997年至2011年期間,在帕洛阿爾托研究中心 (PARC)擔任研究科學家。2011年,Ed Chi以高級研究科學家的身份從PARC離職,成為谷歌的一名研究科學家。2012年,他擔任任人機交互領域最負盛名的學術會議CHI的技術項目聯合主席。2017年,Ed Chi被提升為谷歌首席科學家。

另一位要提到的是 歐陽龍(Long Ouyang),他參與了與ChatGPT相關的7大技術項目中的4項研究,包括InstructGPT、webGPT、RLHF和ChatGPT,是InstructGPT論文的一作,RLHF論文的第二作者。

革命性科技浪潮背后,人才頻繁流動

梳理后不難看到,谷歌和OpenAI雖為大模型重鎮,但 人才流動其實是很尋常的事。僅僅在本文涉及的人員里,GPT-2論文四作和Transformer論文一作和共同創辦的Adept,不到半年就亮出了新公司的首個大模型ACT-1;Anthropic更是憑借對話機器人Cluade成為谷歌和OpenAI大戰中的一把利刃。

△ 大模型人才從OpenAI和谷歌出走后,創立的AI初創公司

總體而言,爆炸性的ChatGPT讓大模型背后的人才更加收到世人關注,對這些人來說,ChatGPT帶來的風口也是他們必須迎頭面對的挑戰。

由此提出一個思考:做類ChatGPT產品, 中國的優勢在哪里?

很大程度上,構筑大模型堆參數、堆數據的大力出奇跡之道,其實是中國團隊向來擅長的事情。但不可否認,小公司負擔不起高昂的天價成本,大公司需要綜合考慮整體戰略,種種因素,從不同角度成為一個中國版ChatGPT誕生的外在桎梏。

如此一來,破除外在束縛需用巧力。在算法、數據等都存在差距的現實條件下, 人才,或許能成為這場轟轟烈烈全球擂臺賽里的破局點。大模型背后的每一個參與者和理念、數據、技術擁有同等的重要價值。中國不缺人,更不缺人才,從GPT系論文和LaMDA論文背后的華人作者數量更可以看到AI人才的實力,人才的聚集能形成人才規模核心競爭力。

The battle of AGI never ends!埋頭研究,伸手搶人的現象,已經在國內出現。想招人的,想找工作的,都可以開始準備了。

分享到:
標簽:模型
用戶無頭像

網友整理

注冊時間:

網站:5 個   小程序:0 個  文章:12 篇

  • 51998

    網站

  • 12

    小程序

  • 1030137

    文章

  • 747

    會員

趕快注冊賬號,推廣您的網站吧!
最新入駐小程序

數獨大挑戰2018-06-03

數獨一種數學游戲,玩家需要根據9

答題星2018-06-03

您可以通過答題星輕松地創建試卷

全階人生考試2018-06-03

各種考試題,題庫,初中,高中,大學四六

運動步數有氧達人2018-06-03

記錄運動步數,積累氧氣值。還可偷

每日養生app2018-06-03

每日養生,天天健康

體育訓練成績評定2018-06-03

通用課目體育訓練成績評定