9月23日,全球權(quán)威AI基準(zhǔn)評測MLPerf™公布最新榜單Inference(推理)V1.1,在最受關(guān)注的固定任務(wù)(Closed)測試中,浪潮獲得15項冠軍,戴爾、高通、英偉達(dá)分別獲得8項、5項和4項冠軍。
MLPerf™是影響力最廣的國際AI性能基準(zhǔn)評測,由圖靈獎得主大衛(wèi)•帕特森(David Patterson)聯(lián)合頂尖學(xué)術(shù)機(jī)構(gòu)發(fā)起成立。2020年,非盈利性機(jī)器學(xué)習(xí)開放組織MLCommons基于MLPerf™基準(zhǔn)測試成立,其成員包括谷歌、Facebook、英偉達(dá)、英特爾、浪潮、哈佛大學(xué)、斯坦福大學(xué)、加州大學(xué)伯克利分校等50余家全球AI領(lǐng)軍企業(yè)及頂尖學(xué)術(shù)機(jī)構(gòu),致力于推進(jìn)機(jī)器學(xué)習(xí)和人工智能標(biāo)準(zhǔn)及衡量指標(biāo)。目前,MLCommons每年組織2次MLPerf™AI訓(xùn)練性能測試和2次MLPerf™AI推理性能測試,為用戶衡量設(shè)備性能提供權(quán)威有效的數(shù)據(jù)指導(dǎo)。
MLPerf™推理V1.1 AI基準(zhǔn)測試固定任務(wù)(Closed)包括數(shù)據(jù)中心(共16個項目)和邊緣(共14個項目)兩大場景。在數(shù)據(jù)中心場景下設(shè)置6個模型,分別是圖像識別(ResNet50)、醫(yī)學(xué)影像分割(3D-UNet)、目標(biāo)物體檢測(SSD-ResNet34)、語音識別(RNN-T)、自然語言理解(BERT)以及智能推薦(DLRM),其中Bert、DLRM和3D-Unet設(shè)有高精度(99.9%)模式。除3D-UNet模型任務(wù)只考察Offline離線推理場景性能外,其他模型任務(wù)按照Server在線推理和Offline離線推理兩種應(yīng)用場景分別進(jìn)行性能測試。邊緣場景AI模型在數(shù)據(jù)中心場景的6個模型基礎(chǔ)上刪減了智能推薦(DLRM)模型,并增加目標(biāo)物體檢測(SSD-MobileNet)模型,所有模型均有Offline離線推理場景和SingleStream單流推理兩個場景。
固定任務(wù)(Closed)要求參賽各方使用相同模型和優(yōu)化器,這對于實(shí)際用戶評測AI計算系統(tǒng)性能具備很強(qiáng)的參考意義,也一直是MLPerf™中角逐最激烈及主流廠商最關(guān)注的領(lǐng)域。此次共有英偉達(dá)、英特爾、浪潮、高通、阿里巴巴、戴爾、HPE等19家廠商參與到固定任務(wù)(Closed)測試競賽中,其中數(shù)據(jù)中心場景收到了754項成績提交,邊緣場景收到了448項成績提交,共1199項成績提交。
在固定任務(wù)的全部30個項目中,浪潮獲得15項冠軍,位居冠軍數(shù)量第一,這也是浪潮連續(xù)第四次位居MLPerf™AI基準(zhǔn)測試冠軍數(shù)量榜首。
此次MLPerf™的開放任務(wù)(Open)賽道允許參賽方對模型進(jìn)行任意處理,參加者有cTuning、Krai等6家廠商,數(shù)量較上屆有下降。此外,本次MLPerf™還共有NVIDIA、浪潮、高通以及戴爾等5家廠商在功耗任務(wù)上提交了結(jié)果,功耗評測或?qū)⒊蔀槲磥鞰LPerf™的關(guān)注重點(diǎn)之一。
