01 聯(lián)邦大模型開(kāi)源平臺(tái)FATE-LLM最新版發(fā)布，在橫向聯(lián)邦場(chǎng)景支持ChatGLM-6B的聯(lián)邦化訓(xùn)練
當(dāng)前，AI大模型已成為科技創(chuàng)新和數(shù)字經(jīng)濟(jì)領(lǐng)域的熱點(diǎn)，其高速進(jìn)程中面臨的諸多問(wèn)題也引發(fā)了業(yè)內(nèi)關(guān)注。FATE開(kāi)源社區(qū)技術(shù)指導(dǎo)委員會(huì)主席楊強(qiáng)教授指出：“即將消耗殆盡的公域數(shù)據(jù)，日趨高漲的隱私安全保護(hù)需求，以及眾多異構(gòu)小模型的整合需求，已成為AI 大模型發(fā)展之路上亟待突破的瓶頸。而聯(lián)邦大模型正是解決這些問(wèn)題的有效路徑。”在此背景下，F(xiàn)ATE社區(qū)開(kāi)源了FATE-LLM聯(lián)邦大模型功能模塊，以聯(lián)邦學(xué)習(xí)+大模型的技術(shù)解決方案破局?jǐn)?shù)據(jù)隱私保護(hù)與數(shù)據(jù)不足等問(wèn)題，以應(yīng)對(duì)行業(yè)發(fā)展的新挑戰(zhàn)。
近期，聯(lián)邦大模型開(kāi)源平臺(tái)FATE-LLM最新版發(fā)布，在橫向聯(lián)邦場(chǎng)景支持ChatGLM-6B中文語(yǔ)言大模型。集成GLM的FATE-LLM將會(huì)為國(guó)內(nèi)用戶(hù)提供更好的中文大模型應(yīng)用落地選擇。
GLM系列大模型由清華大學(xué)和智譜AI聯(lián)合研發(fā)，其中ChatGLM-6B是一個(gè)開(kāi)源的、支持中英雙語(yǔ)問(wèn)答的對(duì)話(huà)語(yǔ)言模型，并針對(duì)中文進(jìn)行了優(yōu)化。該模型基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶(hù)可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署（INT4 量化級(jí)別下最低只需 6GB 顯存）。開(kāi)源兩個(gè)月以來(lái)，ChatGLM-6B在全球最大開(kāi)源軟件平臺(tái)GitHub上獲得超過(guò)26萬(wàn)星，超過(guò)斯坦福同期模型的關(guān)注度和好評(píng)度,全球下載量超過(guò)200萬(wàn)，并連續(xù)兩周登上全球最大開(kāi)源大模型平臺(tái) Hugging Face大模型趨勢(shì)榜榜首。
此次更新的FATE-LLM v1.1版本在橫向聯(lián)邦場(chǎng)景支持Adapter，Prompt這類(lèi)高效聚合方法，可以顯著提升聯(lián)邦大模型訓(xùn)練效率，其中參數(shù)微調(diào)方法支持Lora以及P-Tuning V2 。而在框架層，F(xiàn)ATE實(shí)現(xiàn)對(duì)DeepSpeed的集成，使得FATE-LLM支持多機(jī)多卡訓(xùn)練，支持分布式GPU集群資源調(diào)度和管理，支持?jǐn)?shù)據(jù)、模型參數(shù)等不同并行化加速方法。用戶(hù)只需要任務(wù)提交階段直接增加配置即可享受到多機(jī)多卡的加速能力。
02 FATE-LLM v1.1功能介紹
1、亮點(diǎn)概述
1）集成業(yè)界開(kāi)源的主流中文語(yǔ)言大模型ChatGLM-6B，支持高效的參數(shù)微調(diào)機(jī)制Lora、P-Tuning V2等方法，提升聯(lián)邦訓(xùn)練的通信效率和訓(xùn)練效率；
2）FATE實(shí)現(xiàn)對(duì)DeepSpeed框架集成，使得FATE具備多機(jī)多卡聯(lián)邦大模型加速訓(xùn)練能力：支持分布式GPU集群資源調(diào)度和管理；支持?jǐn)?shù)據(jù)、模型參數(shù)等不同并行化加速方法。
2、 功能一覽
1）ChatGLM-6B聯(lián)邦化支持，并支持LoRa、P-Tuning V2 高效微調(diào)方案；
2）FATE多機(jī)多卡聯(lián)邦大模型訓(xùn)練能力支持，在任務(wù)提交階段增加相關(guān)配置即可使用數(shù)據(jù)、模型等不同階段的訓(xùn)練加速能力，與用戶(hù)模型訓(xùn)練代碼解耦；
3）FATE支持分布式GPU集群資源管理功能；
4）支持使用transformers庫(kù)的data collator類(lèi)，可以更靈活地處理訓(xùn)練輸入數(shù)據(jù)；
5）支持只保存可訓(xùn)練參數(shù)，降低訓(xùn)練階段checkpoints保存的硬盤(pán)占用，方便模型拷貝使用。
3、 實(shí)驗(yàn)數(shù)據(jù)一覽
1）高效參數(shù)微調(diào)機(jī)制的參數(shù)量及其訓(xùn)練參數(shù)占比
2）場(chǎng)景及數(shù)據(jù)、以及配置
聯(lián)邦場(chǎng)景：橫向聯(lián)邦，兩個(gè)參與；應(yīng)用場(chǎng)景：兩個(gè)參與方各持有部分?jǐn)?shù)據(jù)，數(shù)據(jù)格式:<廣告關(guān)鍵字，廣告宣傳語(yǔ)>，希望模型可以根據(jù)輸入的廣告關(guān)鍵字去自動(dòng)生成廣告宣傳語(yǔ)，通過(guò)聯(lián)邦建模去提升廣告生成詞的效果。
下面給出效果示例：
數(shù)據(jù)集：AdvertiseGen，可參考https://aclanthology.org/D19-1321.pdf，為廣告生成數(shù)據(jù)集；訓(xùn)練數(shù)據(jù)隨機(jī)切分，其中client-1數(shù)據(jù)量為57478，client-2數(shù)據(jù)量為57121環(huán)境：局域網(wǎng)環(huán)境，client-1和client-2機(jī)器配置完全一致，單個(gè)client使用2臺(tái)機(jī)器，每臺(tái)機(jī)器有4張V100 32G 資源；配置：DeepSpeed: stage=2，batch_size_per_device=4；數(shù)據(jù)集的提問(wèn)(content)及回答(summary)兩列tokenize后，token_ids長(zhǎng)度超過(guò)64的會(huì)截?cái)唷?/p>
3）訓(xùn)練效果：
03 開(kāi)源共建，是助推聯(lián)邦大模型快速發(fā)展的不竭動(dòng)力
未來(lái)，支持中文大語(yǔ)言模型ChatGLM-6B聯(lián)邦化訓(xùn)練的FATE-LLM將通過(guò)聯(lián)合多家公司和組織，充分利用分散數(shù)據(jù)，融合聯(lián)邦學(xué)習(xí)和AIGC相關(guān)技術(shù)，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)分布式安全訓(xùn)練。其中針對(duì)中文方面的優(yōu)化，將為金融、教育、醫(yī)療等領(lǐng)域的應(yīng)用帶來(lái)更強(qiáng)大的支持，例如人工智能助手、智能問(wèn)答、自然語(yǔ)言處理等場(chǎng)景將會(huì)得到進(jìn)一步的效果提升。
FATE-LLM模塊將持續(xù)迭代，未來(lái)將持續(xù)解決訓(xùn)練、微調(diào)和使用推理階段的隱私保護(hù)問(wèn)題，并堅(jiān)持推出后續(xù)版本。聯(lián)邦大模型將大模型與隱私計(jì)算核心技術(shù)手段融合，使大模型的“野蠻生長(zhǎng)”轉(zhuǎn)向更加安全可靠的發(fā)展賽道，在提升AI通用性的同時(shí)不違背監(jiān)管與倫理的要求，推進(jìn)AI技術(shù)高質(zhì)量發(fā)展。
清華大學(xué)教授唐杰表示：“作為科研人員，我們希望在開(kāi)展大模型技術(shù)研究與應(yīng)用落地的同時(shí)，也進(jìn)一步降低人工智能的使用門(mén)檻，實(shí)現(xiàn)技術(shù)普惠，為行業(yè)良性發(fā)展做出一些貢獻(xiàn)。”
飲其流者懷其源。開(kāi)源不僅是一種技術(shù)選擇，更是一種分享態(tài)度與溝通方式。開(kāi)源平臺(tái)和開(kāi)源生態(tài)將助推大模型的快速迭代與落地應(yīng)用。我們期待有更多的用戶(hù)和開(kāi)發(fā)者加入FATE開(kāi)源社區(qū)。在獲得項(xiàng)目發(fā)展成果的同時(shí)，通過(guò)積極參與項(xiàng)目等方式回饋社區(qū)。形成互惠互助的良性循環(huán)，推動(dòng)社區(qū)生態(tài)健康發(fā)展！
