今年以ChatGPT代表的AI大語言模型開始崛起,并且讓AI重新進入并且開始影響甚至是改變人們的日常生活。chatGPT的強大足以讓人們已經相信AI取代人已經開始走上日程,那么這波由LLM引起AI發展過程是如何的呢,其實以下一張圖就可以說明:
openAI時間線
GPT-1(2018)——GPT-2——GPT-3 ——Codex——WebGPT——InstructGPT——ChatGPT——GPT-4
GPT-3是一個由OpenAI開發的自然語言處理模型,它包含1750億個參數,能夠完成許多任務,如文本生成、翻譯、摘要等。
Codex是Github于2021年推出的一個基于GPT-3的代碼生成模型,可以自動生成代碼。
WebGPT是一款基于GPT-3的網絡瀏覽器,可以直接執行某些任務,例如打開網站或搜索內容。
InstructGPT是一種基于GPT-3的模型,可以分析一段文本,并按照指令來執行操作,例如制作飯菜或組裝物品。
ChatGPT是一款基于GPT-3的聊天機器人模型,可以與人類進行自然對話,回答問題和提供建議。
GPT-4是未來可能會推出的下一代GPT,預計會擁有更多的參數和更強大的自然語言處理能力。
谷歌時間線
Transformer(2017年)——BERT——BERT Large——T5——FLAN——Gopher——mT5———LaMDA——GLaM——PaLM——Bard
這是一組自然語言處理模型的名稱。從左到右,它們是:
T5:基于Transformer架構的預訓練語言模型,具有廣泛的應用。
GShard:谷歌開發的分布式訓練架構,可以加速大規模模型的訓練。
mT5:多語言的T5模型,具有處理全球多種語言的能力。
LaMDA:谷歌研發的語言理解和對話模型,可以進行多輪對話和理解實體之間的關系。
GLaM:谷歌開發的神經組合模型,可以將不同類型的輸入進行組合,提高模型的性能。
Bard:谷歌最新AI聊天機器人,采用配有情感分析和知識圖譜技術的模型,可以進行自然對話。
谷歌開源分支
FLAN:Facebook研發的自然語言處理模型,采用元學習技術進行訓練,具有快速學習能力。
Flan-T5:結合了Facebook的FLAN模型和T5模型的預訓練模型,具有高效且靈活的性能。
Flan-PaLM:結合了Facebook的FLAN模型和Baidu的PaLM模型的預訓練模型,具有更好的生成效果。
百度時間線
Ernie (2019-3)——Ernie 3.0(2021-1)——Ernie 3. 0 Titan——(ERNIE bot)文心一言
Ernie 3.0是百度發布的第三代預訓練模型,它采用了更大規模的語料庫和更強的模型結構,能夠實現更準確、更復雜和更豐富的自然語言處理任務。
而Ernie 3.0 Titan則是2021年11月百度發布的最新版本,進一步提高了模型的性能和效果。
從時間線和出品的產品來看都是谷歌一支獨秀,結果今年讓OpenAI彎道超車了,其成功之道還是值得我們深思的。
另外國內除了百度,基本上就秀個bata版本出來就沒有然后了,所以現在很不好追。
谷歌和OpenAI時間線的對比:
從圖上看出,無論是發展歷史還是發不出產品都是谷歌占絕度優勢,OpenAI唯一占優可能就是比較專注一條鏈,而谷歌則是百花齊鳴,弄了很多產品,甚至是開源很多模型出來,雖然暫時是OpenAI借助東家微軟暫時占了上風,但是將來究竟鹿死誰手還不好說。
最后一張圖總結OpenAI的成功之道:
AI從上個世紀50年代就開始出現,80年的風風雨雨,期間幾度爆發有幾度跌落,這次不知道是波峰還是下一個波谷?