華為技術(shù)有限公司在人工智能領(lǐng)域再添新專利，一項(xiàng)名為“人工智能模型的量化方法、處理系統(tǒng)和量化單元”的專利近日正式公布。該專利揭示了華為在優(yōu)化AI模型運(yùn)行效率方面的又一重要進(jìn)展。
據(jù)專利摘要介紹，該量化方法的核心在于量化單元能夠智能地根據(jù)運(yùn)行AI模型的計(jì)算設(shè)備的不同計(jì)算單元處理粒度，將量化矩陣分割成多個(gè)適配的分塊量化矩陣。這一過(guò)程不僅精細(xì)且高效，能夠大幅度減少AI模型對(duì)內(nèi)存的占用。無(wú)論是權(quán)重矩陣還是激活矩陣，量化單元都能基于計(jì)算設(shè)備的實(shí)際處理能力進(jìn)行實(shí)時(shí)量化，無(wú)需依賴傳統(tǒng)的張量級(jí)別離群值統(tǒng)計(jì)。
進(jìn)一步地，量化單元會(huì)對(duì)這些分塊量化矩陣進(jìn)行量化處理，并將處理后的結(jié)果存儲(chǔ)在存儲(chǔ)器中。這一創(chuàng)新不僅優(yōu)化了AI模型的內(nèi)存使用，還提升了整體運(yùn)行效率，為AI技術(shù)在更多場(chǎng)景下的應(yīng)用提供了有力支持。
華為在數(shù)據(jù)處理方法及相關(guān)設(shè)備方面也取得了新突破。國(guó)家知識(shí)產(chǎn)權(quán)局信息顯示，華為于2024年9月申請(qǐng)了一項(xiàng)名為“一種數(shù)據(jù)處理方法及相關(guān)設(shè)備”的專利，并于今年1月底公布相關(guān)信息。該專利旨在降低模型訓(xùn)練過(guò)程中的存儲(chǔ)空間開(kāi)銷，同時(shí)提升模型訓(xùn)練性能。
具體而言，該專利提出了一種創(chuàng)新的數(shù)據(jù)處理方法。在這一過(guò)程中，第一裝置利用神經(jīng)網(wǎng)絡(luò)模型對(duì)第一數(shù)據(jù)進(jìn)行前向計(jì)算，得到第二數(shù)據(jù)。隨后，該裝置對(duì)第二數(shù)據(jù)進(jìn)行量化處理，得到位數(shù)更少的第三數(shù)據(jù)。這一量化步驟有效降低了數(shù)據(jù)的存儲(chǔ)需求。最終，第一裝置保存這些量化后的第三數(shù)據(jù)，這些數(shù)據(jù)將在后續(xù)的第一模型反向計(jì)算中發(fā)揮關(guān)鍵作用。
華為在人工智能領(lǐng)域的持續(xù)創(chuàng)新，不僅體現(xiàn)了其在技術(shù)研發(fā)上的深厚實(shí)力，也為推動(dòng)AI技術(shù)的廣泛應(yīng)用和發(fā)展做出了重要貢獻(xiàn)。隨著這些新專利的實(shí)施和應(yīng)用，我們有理由相信，華為將在人工智能領(lǐng)域取得更多突破性的成果。
