2021 WAIC世界人工智能大會于近日在上海召開。在7月10日舉辦的WAIC·AI開發(fā)者論壇上，知乎合伙人兼CTO李大海發(fā)表主旨演講，分享了視頻化趨勢下，知乎作為智能社區(qū)在多模態(tài)領(lǐng)域下的探索和應(yīng)用實踐。
作為一家問答社區(qū)，知乎已經(jīng)經(jīng)過十年的發(fā)展，業(yè)務(wù)增長共經(jīng)過了四個發(fā)展階段，從最開始的封閉運營，走向開放，并且不斷的擴大用戶場景和用戶規(guī)模。李大海表示，AI技術(shù)已經(jīng)廣泛應(yīng)用于知乎的每個核心環(huán)節(jié)，構(gòu)建智能社區(qū)，提升社區(qū)效率。隨著越來越多的用戶在知乎上通過視頻分享自己的知識、經(jīng)驗、見解，知乎也認(rèn)識到，視頻和圖文有各自的優(yōu)缺點和適用場景，社區(qū)需要通過媒介升級，讓視頻變成和圖文一樣重要的內(nèi)容承載形式。因此，知乎確定了以多模態(tài)為核心的視頻智能化技術(shù)戰(zhàn)略。
據(jù)李大海介紹，知乎已經(jīng)構(gòu)建了采用了雙流對比學(xué)習(xí)框架的圖文多模態(tài)預(yù)訓(xùn)練模型。該模型應(yīng)用已經(jīng)廣泛應(yīng)用到知乎的視頻的生產(chǎn)、搜索分發(fā)、話題匹配和排序等多個場景中。
去年10月，知乎發(fā)布了圖文一鍵轉(zhuǎn)視頻創(chuàng)作工具，內(nèi)部稱為“PPT視頻創(chuàng)作工具”，圖文創(chuàng)作者可以利用這個工具快速把自己的文字回答或者文章生成為一個視頻。轉(zhuǎn)化過程的主要思路是把文章里每一段話或者每一個句子，通過模型找到對應(yīng)的圖片、動圖或者短視頻，然后通過預(yù)訓(xùn)練模型把每一段文字與素材庫里圖片的相關(guān)性進行計算。此外還有其他應(yīng)用，創(chuàng)作者可以主動輸入關(guān)鍵詞，在素材庫里面找到和關(guān)鍵詞匹配度最高圖片，讓它自己主動構(gòu)建視頻素材流。
李大海表示，視頻在社區(qū)的融合，可以讓知乎更好地實現(xiàn)自己的使命：“讓人們更好地分享自己的知識、經(jīng)驗、見解，找到自己的解答”。未來，知乎將基于積累的海量圖文視頻數(shù)據(jù)，致力構(gòu)建綜合圖文、視頻、音頻等媒介于一體的大規(guī)模預(yù)訓(xùn)練模型，并將成果完全開放出來，讓學(xué)界、業(yè)界的更多開發(fā)者使用。
