9月6日，在北京市科學(xué)技術(shù)委員會(huì)、中關(guān)村科技園區(qū)管理委員會(huì)、北京市海淀區(qū)政府的指導(dǎo)下，百川智能召開(kāi)主題為“百川匯海，開(kāi)源共贏”的大模型發(fā)布會(huì)，中科院院士張鈸親臨現(xiàn)場(chǎng)并發(fā)表致辭。會(huì)上，百川智能宣布正式開(kāi)源微調(diào)后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat與其4bit量化版本，并且均為免費(fèi)可商用。
百川智能此次還開(kāi)源了模型訓(xùn)練的Check Point，并宣布將發(fā)布 Baichuan 2 技術(shù)報(bào)告，詳細(xì)介紹Baichuan 2 的訓(xùn)練細(xì)節(jié)，幫助大模型學(xué)術(shù)機(jī)構(gòu)、開(kāi)發(fā)者和企業(yè)用戶更深入的了解其訓(xùn)練過(guò)程，更好地推動(dòng)大模型學(xué)術(shù)研究和社區(qū)的技術(shù)發(fā)展。
文理兼?zhèn)湫阅軆?yōu)異，全面領(lǐng)先 LlaMA2
Baichuan 2-7B-Base 和 Baichuan 2-13B-Base，均基于 2.6萬(wàn)億高質(zhì)量多語(yǔ)言數(shù)據(jù)進(jìn)行訓(xùn)練，在保留了上一代開(kāi)源模型良好的生成與創(chuàng)作能力，流暢的多輪對(duì)話能力以及部署門(mén)檻較低等眾多特性的基礎(chǔ)上，兩個(gè)模型在數(shù)學(xué)、代碼、安全、邏輯推理、語(yǔ)義理解等能力有顯著提升。其中Baichuan 2-13B-Base相比上一代13B模型，數(shù)學(xué)能力提升49%，代碼能力提升46%，安全能力提升37%，邏輯推理能力提升25%，語(yǔ)義理解能力提升15%。
本次開(kāi)源的兩個(gè)模型在各大評(píng)測(cè)榜單上的表現(xiàn)優(yōu)秀，在MMLU、CMMLU、GSM8K等幾大權(quán)威評(píng)估基準(zhǔn)中，以絕對(duì)優(yōu)勢(shì)領(lǐng)先LLaMA2，相比其他同等參數(shù)量大模型，表現(xiàn)也十分亮眼，性能大幅度優(yōu)于LLaMA2等同尺寸模型競(jìng)品。
更值得一提的是，根據(jù)MMLU等多個(gè)權(quán)威英文評(píng)估基準(zhǔn)評(píng)分 Baichuan2-7B以70億的參數(shù)在英文主流任務(wù)上與130億參數(shù)量的LLaMA2持平。 
7B參數(shù)模型的Benchmark成績(jī)
13B參數(shù)模型的Benchmark成績(jī)
Baichuan2-7B和Baichuan2-13B不僅對(duì)學(xué)術(shù)研究完全開(kāi)放，開(kāi)發(fā)者也僅需郵件申請(qǐng)獲得官方商用許可后，即可以免費(fèi)商用。
國(guó)內(nèi)首創(chuàng)全程開(kāi)源模型訓(xùn)練Check Point，助力學(xué)術(shù)研究
大模型訓(xùn)練包含海量高質(zhì)量數(shù)據(jù)獲取、大規(guī)模訓(xùn)練集群穩(wěn)定訓(xùn)練、模型算法調(diào)優(yōu)等多個(gè)環(huán)節(jié)。每個(gè)環(huán)節(jié)都需要大量人才、算力等資源的投入，從零到一完整訓(xùn)練一個(gè)模型的高昂成本，阻礙了學(xué)術(shù)界對(duì)大模型訓(xùn)練的深入研究。
本著協(xié)作和持續(xù)改進(jìn)的精神，百川智能本次開(kāi)源了模型訓(xùn)練從220B到2640B全過(guò)程的 Check Ponit。這對(duì)于科研機(jī)構(gòu)研究大模型訓(xùn)練過(guò)程、模型繼續(xù)訓(xùn)練和模型的價(jià)值觀對(duì)齊等極具價(jià)值，將極大推動(dòng)國(guó)內(nèi)大模型的科研進(jìn)展，開(kāi)源訓(xùn)練模型過(guò)程對(duì)國(guó)內(nèi)開(kāi)源生態(tài)尚屬首次。
技術(shù)報(bào)告揭示訓(xùn)練細(xì)節(jié)，繁榮開(kāi)源生態(tài)
當(dāng)前大部分開(kāi)源模型在開(kāi)源過(guò)程中只是對(duì)外公開(kāi)自身的模型權(quán)重，很少提及訓(xùn)練細(xì)節(jié)，企業(yè)、研究機(jī)構(gòu)、開(kāi)發(fā)者們只能在開(kāi)源模型的基礎(chǔ)上做有限的微調(diào)，很難進(jìn)行深入研究。
秉持更開(kāi)放、更透明的理念，為幫助從業(yè)者深入了解Baichuan 2的訓(xùn)練過(guò)程和相關(guān)經(jīng)驗(yàn)，更好地推動(dòng)大模型社區(qū)的技術(shù)發(fā)展。百川智能在發(fā)布會(huì)上宣布，公開(kāi)Baichuan 2的技術(shù)報(bào)告。技術(shù)報(bào)告將詳細(xì)介紹Baichuan 2 訓(xùn)練的全過(guò)程，包括數(shù)據(jù)處理、模型結(jié)構(gòu)優(yōu)化、Scaling law、過(guò)程指標(biāo)等。報(bào)告鏈接：
https://baichuan-paper.oss-cn-beijing.aliyuncs.com/Baichuan2-technical-report.pdf
百川智能自成立之初，就將通過(guò)開(kāi)源方式助力中國(guó)大模型生態(tài)繁榮作為公司的重要發(fā)展方向。成立不到四個(gè)月，便相繼發(fā)布了Baichuan-7B、Baichuan-13B兩款開(kāi)源免費(fèi)可商用的中文大模型，以及一款搜索增強(qiáng)大模型Baichuan-53B，兩款開(kāi)源大模型在多個(gè)權(quán)威評(píng)測(cè)榜單均名列前茅，目前下載量超過(guò)500萬(wàn)次。
不僅如此，在今年創(chuàng)立的大模型公司中，百川智能是唯一一家通過(guò)《生成式人工智能服務(wù)管理暫行辦法》備案，可以正式面向公眾提供服務(wù)的企業(yè)。憑借行業(yè)領(lǐng)先的基礎(chǔ)大模型研發(fā)和創(chuàng)新能力，此次開(kāi)源的兩款Baichuan 2大模型，得到了上下游企業(yè)的積極響應(yīng)，騰訊云、阿里云、火山方舟、華為、聯(lián)發(fā)科等眾多知名企業(yè)均參加了本次發(fā)布會(huì)并與百川智能達(dá)成了合作。
未來(lái)，百川智能將在開(kāi)源大模型領(lǐng)域持續(xù)深耕，將更多的技術(shù)能力、前沿創(chuàng)新開(kāi)放出來(lái)，與更多的合作伙伴們共同助力中國(guó)大模型生態(tài)蓬勃發(fā)展。
