近日，華為技術(shù)有限公司在人工智能領(lǐng)域的一項(xiàng)新專利引起了廣泛關(guān)注。據(jù)天眼查App透露，華為已正式公布了名為“人工智能模型的量化方法、處理系統(tǒng)和量化單元”的專利。
該專利的核心在于一種創(chuàng)新的量化方法，該方法通過量化單元來優(yōu)化AI模型的內(nèi)存占用。具體而言，量化單元會根據(jù)運(yùn)行AI模型的計(jì)算設(shè)備中各個計(jì)算單元的處理粒度，靈活地將量化矩陣分割成多個適合不同計(jì)算單元處理的小塊，即分塊量化矩陣。這一步驟確保了每個計(jì)算單元都能高效處理其負(fù)責(zé)的部分。
進(jìn)一步地，量化單元會對這些分塊量化矩陣進(jìn)行量化處理，并將處理后的結(jié)果存儲在存儲器中。這一創(chuàng)新不僅減少了AI模型對內(nèi)存資源的占用，還提升了整體的處理效率。值得注意的是，這里的量化矩陣可以涵蓋權(quán)重矩陣和激活矩陣，進(jìn)一步拓寬了該方法的應(yīng)用范圍。
尤為重要的是，華為的這一專利在量化過程中摒棄了傳統(tǒng)的基于張量級別進(jìn)行離群值統(tǒng)計(jì)的方法。相反，它完全基于計(jì)算設(shè)備的各個計(jì)算單元的處理粒度進(jìn)行量化，從而實(shí)現(xiàn)了對權(quán)重矩陣和激活矩陣的實(shí)時量化。這一轉(zhuǎn)變不僅簡化了量化流程，還提高了量化的準(zhǔn)確性和效率。
業(yè)內(nèi)人士指出，華為此次公布的專利無疑為人工智能模型的優(yōu)化提供了新的思路。通過創(chuàng)新的量化方法，華為不僅解決了AI模型內(nèi)存占用大的問題，還為AI模型的實(shí)時處理和高效運(yùn)行奠定了堅(jiān)實(shí)的基礎(chǔ)。這一專利的公布，無疑將推動人工智能技術(shù)在更多領(lǐng)域的應(yīng)用和發(fā)展。
