鈦媒體從華為內(nèi)部獨(dú)家獲悉，華為公司將發(fā)布一款直接對標(biāo) ChatGPT 的多模態(tài)千億級大模型產(chǎn)品， 名為“盤古 Chat”。
據(jù)介紹，盤古大模型于 2020 年 11 月在華為云內(nèi)部立項(xiàng)成功。這款“盤古 Chat ”預(yù)計(jì)將于今年 7 月 7 日舉行的華為云開發(fā)者大會 (HDC.Cloud 2023) 上對外發(fā)布以及內(nèi)測， 產(chǎn)品主要面向 To B / G 政企端客戶。
根據(jù)華為公布的一份論文數(shù)據(jù)顯示，華為盤古 PanGu-Σ 大模型參數(shù)最多為 1.085 萬億，基于華為自研的 MindSpore 框架開發(fā)。整體來看，PanGu-Σ 大模型在對話方面 可能已接近 GPT-3.5 的水平。
IT之家查詢公開資料獲悉，華為盤古大模型于 2021 年 4 月正式對外發(fā)布，后來又在 2022 年 4 月升級到 2.0 版本。目前，AI 大模型中的 NLP 大模型、CV 大模型以及科學(xué)計(jì)算大模型（氣象大模型）均已被標(biāo)記為即將上線狀態(tài)。
據(jù)介紹，這是首個干億參數(shù)中文預(yù)訓(xùn)練大模型，CV 大模型則首次達(dá)到 30 億參數(shù)。盤古 CV 大模型業(yè)界最大 CV 大模型、首次實(shí)現(xiàn)兼顧判別與生成能力、在 Imag.NET 上小樣本學(xué)習(xí)能力上的業(yè)界第一；盤古氣象大模型提供秒級天氣預(yù)報(bào)；紫東。太初是全球首個圖、文、音三模態(tài)大模型。
對于盤古大模型定位，華為內(nèi)部團(tuán)隊(duì)確立了三項(xiàng)最關(guān)鍵的核心設(shè)計(jì)原則：一是模型要大，可以吸收海量數(shù)據(jù)；二是網(wǎng)絡(luò)結(jié)構(gòu)要強(qiáng)，能夠真正發(fā)揮出模型的性能；三是要具有優(yōu)秀的泛化能力，可以真正落地到各行各業(yè)的工作場景。
根據(jù)華為云高管的演講 PPT 信息，目前華為“盤古系列 AI 大模型”基礎(chǔ)層主要包括 NLP 大模型、CV 大模型、以及科學(xué)計(jì)算大模型等，上層則是與合作伙伴開發(fā)的華為行業(yè)大模型。
華為云官網(wǎng)顯示，盤古大模型由 NLP 大模型、CV 大模型、多模態(tài)大模型、科學(xué)計(jì)算大模型等多個大模型構(gòu)成，通過模型泛化，解決傳統(tǒng) AI 作坊式開發(fā)模式下不能解決的 AI 規(guī)模化、產(chǎn)業(yè)化難題，可以支持多種自然語言處理任務(wù)，包括文本生成、文本分類、問答系統(tǒng)等等。
具體來看，盤古 NLP 大模型 首次使用 Encoder-Decoder 架構(gòu)，兼顧 NLP 大模型的理解能力和生成能力，保證了模型在不同系統(tǒng)中的嵌入靈活性。
下游應(yīng)用中，僅需少量樣本和可學(xué)習(xí)參數(shù)即可完成千億規(guī)模大模型的快速微調(diào)和下游適配，這一模型在智能輿論以及智能營銷方面都有不錯的表現(xiàn)。
盤古 NLP 大模型
盤古 CV 大模型是 首次實(shí)現(xiàn)模型按需抽取的業(yè)界最大 CV 大模型，首次實(shí)現(xiàn)兼顧判別與生成能力，基于模型大小和運(yùn)行速度需求，自適應(yīng)抽取不同規(guī)模模型，AI 應(yīng)用開發(fā)快速落地。
使用層次化語義對齊和語義調(diào)整算法，在淺層特征上獲得了更好的可分離性，使小樣本學(xué)習(xí)的能力獲得了顯著提升，達(dá)到業(yè)界第一，這一模型在智能巡檢以及智慧物流方面有不錯的表現(xiàn)。
盤古 CV 大模型
盤古氣象大模型提供秒級天氣預(yù)報(bào)，借助創(chuàng)新的 3DEST 網(wǎng)絡(luò)結(jié)構(gòu)以及分層時間聚合算法，在氣象預(yù)報(bào)的關(guān)鍵要素和常用時間范圍上精度均超過當(dāng)前最先進(jìn)的預(yù)報(bào)方法， 速度相比傳統(tǒng)方法提升 1000 倍以上。
同時，盤古氣象大模型支持廣泛的下游預(yù)報(bào)方案，如在臺風(fēng)路徑預(yù)測任務(wù)上，相比傳統(tǒng)數(shù)值氣象預(yù)報(bào)方法，盤古氣象大模型可以降低 20% 以上的位置誤差。
盤古氣象大模型
浙商證券此前披露的信息顯示，華為在訓(xùn)練千億參數(shù)的盤古大模型時調(diào)用了超過 2000 塊的昇騰 910 芯片，進(jìn)行了超 2 個月的數(shù)據(jù)訓(xùn)練能力。華為內(nèi)部稱，每年大模型訓(xùn)練調(diào)用 GPU / TPU 卡超過 4000 片，3 年的大模型算力成本高達(dá) 9.6 億元人民幣。
東吳證券梳理的華為盤古大模型產(chǎn)業(yè)鏈研報(bào)中指出，華為盤古大模型的優(yōu)勢在于人才儲備和算力自主可控，有望成為國內(nèi)領(lǐng)先的大模型，其生態(tài)產(chǎn)業(yè)鏈標(biāo)的有望迎來加速發(fā)展，包括拓維信息、四川長虹、麒麟軟件（中國軟件）、統(tǒng)信軟件（誠邁科技）、麒麟信安等華為生態(tài)公司。國盛證券則認(rèn)為，華為盤古為首個多模態(tài)千億級大模型，有望賦能百業(yè)。
