頂會(huì)，尤其是國(guó)際頂會(huì)，因其在業(yè)界的巨大影響力，是企業(yè)和個(gè)人的實(shí)力試金場(chǎng)。
被頂會(huì)錄用的論文，代表的是對(duì)該領(lǐng)域具有重大意義的研究成果。
國(guó)際計(jì)算語(yǔ)言學(xué)年會(huì)（Annual Meeting of the Association for Computational Linguistics，簡(jiǎn)稱ACL）是自然語(yǔ)言處理（NLP）領(lǐng)域的頂級(jí)國(guó)際會(huì)議，ACL 2023 將于2023年7月9-14日在加拿大多倫多舉行。
近日，ACL 2023公布了論文入選結(jié)果，網(wǎng)易云商AI技術(shù)組與上海交通大學(xué)林洲漢老師研究組關(guān)于Transformer方向的論文被大會(huì)Findings錄用，技術(shù)實(shí)力耀眼國(guó)際舞臺(tái)。
ACL：NLP領(lǐng)域最負(fù)盛名的國(guó)際頂會(huì)之一
ACL到底有多牛？我們或許可以從三個(gè)維度來(lái)感受一下
從1963年召開第1屆會(huì)議，到2023年已經(jīng)是第61屆，走過半個(gè)多世紀(jì)，ACL已經(jīng)成長(zhǎng)為了計(jì)算語(yǔ)言學(xué)和自然語(yǔ)言處理領(lǐng)域最高級(jí)別、最負(fù)盛名的學(xué)術(shù)會(huì)議，每年都會(huì)吸引來(lái)自世界各地的頂尖學(xué)者、研究者、工程師和企業(yè)家參加。
NLP被譽(yù)為“人工智能皇冠上的明珠”，一方面表明了它的重要性，另一方面也顯現(xiàn)出了它的技術(shù)難度。ACL每年都會(huì)開放關(guān)于計(jì)算語(yǔ)言學(xué)和NLP領(lǐng)域的投稿，投稿量逐年攀升，但平均錄用率只在25%上下，2012年僅為19%。能被ACL錄用的論文都是精品中的精品，兼具創(chuàng)新性、科學(xué)性、實(shí)用性、可讀性。
此外，ACL是中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）推薦的A類國(guó)際學(xué)術(shù)會(huì)議。
論文主題：提出一種新的Fourier Transformer結(jié)構(gòu)
那么，網(wǎng)易云商的這篇論文研究了什么主題？它憑什么在眾多論文中突出重圍？
Transformer作為AI的基礎(chǔ)模型在NLP、CV、Speech等場(chǎng)景下有廣泛應(yīng)用，是業(yè)界共識(shí)。但是，Transformer存在self-attention計(jì)算復(fù)雜度高和信息冗余嚴(yán)重的問題。針對(duì)此問題，網(wǎng)易云商AI技術(shù)組與上海交通大學(xué)林洲漢老師研究組共同開展研究。
“通過對(duì)模型的每層輸入進(jìn)行分析，我們發(fā)現(xiàn)低頻區(qū)間存在尖峰效應(yīng)。基于這個(gè)發(fā)現(xiàn)，我們提出一種新的Fourier Transformer結(jié)構(gòu)，通過FFT（快速傅立葉變換）的DCT（離散余弦變換）操作刪除高頻信息，再通過IDCT轉(zhuǎn)化成時(shí)域?qū)崿F(xiàn)序列壓縮。我們?cè)趀ncoder-only和encoder-decoder兩種模型架構(gòu)上使用Fourier Transformer，其中在encoder-decoder架構(gòu)中，通過upsample恢復(fù)列長(zhǎng)度。”論文作者之一，網(wǎng)易云商資深自然語(yǔ)言處理工程師楊萌介紹了整個(gè)論文的背景和發(fā)現(xiàn)。
實(shí)驗(yàn)結(jié)果證明，F(xiàn)ourier Transformer在時(shí)間復(fù)雜度和空間復(fù)雜度上都有顯著的降低，且在多個(gè)NLP任務(wù)上達(dá)到了SOTA水平（state-of-the-art，目前最佳效果）。
“我們提出的Fourier Transformer結(jié)構(gòu)可以被廣泛應(yīng)用于目前主流的各類深度學(xué)習(xí)模型中（Bert、Bart、RoBERTa等），以實(shí)現(xiàn)訓(xùn)練和推理速度的顯著提升，并在長(zhǎng)序列任務(wù)中減少噪聲從而更好地捕捉輸入序列中的長(zhǎng)距離依賴關(guān)系來(lái)提高模型的泛化性能和精度。”楊萌進(jìn)一步補(bǔ)充了論文研究的創(chuàng)新之處和應(yīng)用價(jià)值。
是學(xué)院派更是實(shí)踐派
在學(xué)術(shù)方面，網(wǎng)易云商展現(xiàn)了AI頭雁的實(shí)力，在具體的應(yīng)用上，網(wǎng)易云商也早已注入各個(gè)場(chǎng)景，進(jìn)行落地開花，讓企業(yè)和消費(fèi)者獲益于NLP。
網(wǎng)易云商旗下七魚智能客服產(chǎn)品是NLP技術(shù)在服務(wù)場(chǎng)景的落地成果，自2016年4月發(fā)布以來(lái)，已經(jīng)累計(jì)服務(wù)40萬(wàn)家企業(yè)，連接8億用戶，機(jī)器人累計(jì)咨詢接待量46.8億，平均意圖識(shí)別準(zhǔn)確率達(dá)到96%，平均問題匹配率達(dá)到95%，平均問題解決率達(dá)到90%，遠(yuǎn)超行業(yè)水平。
網(wǎng)易云商旗下智能外呼產(chǎn)品是NLP技術(shù)在營(yíng)銷場(chǎng)景的落地成果，成果破解傳統(tǒng)呼叫產(chǎn)品聲音機(jī)械、反應(yīng)遲鈍、答非所問、頻繁騷擾等問題，打造有溫度、更智能、更懂人心的人機(jī)對(duì)話體驗(yàn)，極大提高了營(yíng)銷效率和效果，助力企業(yè)高效深挖存量用戶價(jià)值。
兼顧學(xué)術(shù)研究和場(chǎng)景需求，是學(xué)院派更是實(shí)踐派，探索AI技術(shù)，網(wǎng)易云商持續(xù)在路上。
