衡宇 金磊 發自 凹非寺
量子位 | 公眾號 QbitAI
就在剛剛，王小川的開源大模型又有了新動作——
百川智能，正式發布130億參數通用大語言模型（Baichuan-13B-Base）。
并且官方對此的評價是：
性能最強的中英文百億參數量開源模型。
與此一同出道的，還有一個對話模型Baichuan-13B-Chat，以及它的INT4/INT8兩個量化版本。
但更重要的一點是（劃重點），完全開源！免費可商用！
就在不久前的6月15日，百川智能才剛剛發布其第一款70億參數量的中英文語言模型Baichuan-7B。
當時的版本便已經拿下多個世界權威Benchmark榜單同量級測試榜首；同樣作為開源大模型，據說清華北大都已經用上了。
僅僅時隔25天，更大、更強的版本再次襲來，不得不說，王小川在技術上的動作是有夠緊鑼密鼓的了。
那么這次號稱的“最強開源大模型”，具體表現又是怎樣呢？
多領域超越ChatGPT
老規矩，先提綱挈領地說一下Baichuan-13B的基本個“模”資料：
中英雙語大模型，130億參數，在1.4萬億token數據集上訓練，完全開源、免費可商用。
1.4萬億ztoken這個訓練數據量，超過LLaMA-13B訓練數據量的40%，是當前開源的13B尺寸模型世界里，訓練數據量最大的模型。
此外，Baichuan-13B上下文窗口長度為4096——這就不得不提到其與7B版本完全不同的編碼方式。
7B版本采用RoPE編碼方式，而13B使用了ALiBi位置編碼技術，后者能夠處理長上下文窗口，甚至可以推斷超出訓練期間讀取數據的上下文長度，從而更好地捕捉文本中上下文的相關性，讓預測或生成更準確。
作為一款中英文雙語大模型，Baichuan-13B采用了相對平衡的中英文語料配比和多語言對齊語料，從而在中英兩種語言上都有不俗表現。
主流百億參數13B開源模型benchmark成績
來看看Baichuan-13B在中文領域的測評成績。
在評測集C-EVAl上，Baichuan-13B在自然科學、醫學、藝術、數學等領域領先LLaMA-13B、Vicuna-13B等同尺寸的大語言模型。
社會科學和人文科學領域，水平比ChatGPT還要好上一點。
英文領域的表現也算不錯，能比同尺寸的其他開源模型，如LLaMA-13B、Vicuna-13B都有更好的表現。
通常而言，非專業用戶和有具體需求的企業，對有對話功能的對齊模型有更重的好奇心。
鑒于這個情況，百川智能此次在發布與訓練模型底座Baichuan-13B-Base的同時，還發布了其對話模型Baichuan-13B-Chat及其INT4/INT8兩個量化版本。
來看看對話模型的實際表現效果——
讓它寫個商品介紹郵件，它能寫出醬嬸兒的：
數據推理能力如何？
也淺測了一番：
至于互聯網上遠古或新近流行的各種梗，Baichuan-13B-Chat好像也沒在怕的：
官方介紹，為了保證模型的純凈度，Baichuan-13B-Base和Baichuan-13B-Chat沒有針對任何benchmark測試進行專項優化，具有更高的效能和可定制性。
為什么要完全開源、可商用？
正如我們剛才提到的，這次百川智能推出的Baichuan-13B-Base是對學術研究完全開放。
不僅如此，所有開發者均可通過郵件向百川智能申請授權，在獲得官方商用許可后即可免費商用。
而且據官方的說法，百川智能是為了降低使用的門檻，才同時開源了Baichuan-13B-Chat的INT8和INT4兩個量化版本。
這樣一來，在近乎無損的情況下，便可以將模型部署在如3090等消費級顯卡上。
想必很多小伙伴就要問了，百川智能為什么要走這么一條路？
其實如果看下Meta在大模型上的開源之路，便可窺知一二。
我們都知道大模型在訓練的成本極高，因此像OpenAI和谷歌兩大科技巨頭最初選擇的是閉源的“路數”，它們為的就是以此保證自己的優勢。
而Meta后來所推出的LLaMa則與之“背道而馳”，但所迸發出來的潛力卻是有目共睹——
迅速吸引大批開發者，在LLaMa基礎上迭代出了各種ChatGPT的替代品，甚至在性能的表現上是可以匹敵GPT-3.5的那種。
加之業界對大模型未來發展態勢已經達成了一個共識：
類似Android/ target=_blank class=infotextkey>安卓和IOS，將會是開源和閉源共存的狀態。
因此，開源在大模型的發展中已然成為一股不可或缺的中堅力量。
……
那么你對于王小川的新大模型，有何看法呢？
