新冠疫情是把雙刃劍，一方面阻礙人們出行，線下經濟受很大影響，但是大大加速直播帶貨這一商業模式。淘寶直播作為集團直播帶貨的主力產品，無論是生產側擴大開播的店家和達人，還是分發側為用戶推薦質量最好的直播內容，都需要直播間實時理解能力。通過這一能力為運營提供主播評級，評價體系，為推薦算法提供豐富的特征優化推薦效果。

?什么是實時內容理解

內容理解算法一般是指圖片、視頻分類識別，ASR，OCR等。這些算法可以處理批量離線任務，如分析一段監控視頻，處理爬取的一部分視頻，這些不需要及時返回結果，而有些則需要很快返回處理結果，比如人臉識別門禁。實時內容理解時效性要求高，對后臺服務的穩定性也有很高要求。直播的時間跨度長，可能連續幾個小時不停，做好穩定高效的直播內容理解，需要算法的推理時間足夠快，資源利用率盡量高并且和服務端協調配合好。

?利用內容理解優化直播推薦效率

直播質量好不好，受幾方面影響：1 畫面是否高清，低時延; 2 直播內容否有吸引力，是用戶感興趣的類型; 3 直播帶貨場景還要看賣的東西質量好不好，價格低不低。第一個問題借助淘寶自研的視頻編解碼技術可以解決，第三個問題需要在商品庫對比，以及根據用戶反饋了解。實時內容理解算法主要解決第二個問題，通過識別主播多個維度的信息判斷其吸引力。

內容理解之后，還要考慮和推薦算法如何結合。目前推薦算法還是以用戶行為特征為主，在曝光充分的內容上，用戶行為還是非常置信的，比如抖音上一些熱門內容確實是大部分人感興趣的。但是在曝光不充分的內容上，用戶行為比較少，需要根據內容本身的特點來做推薦。例如Youtube上有大量用戶新上傳的視頻，新視頻曝光比較低，谷歌利用視頻打標算法，計算視頻標簽，給用戶推薦有感興趣標簽的視頻來做新內容的冷啟動。對于直播，每一場都可以理解為一個新的視頻，而且是在視頻進行過程中做推薦，這樣就更需要內容理解。

推薦算法分召回，排序，重排等階段，內容理解的特征如果放到召回，排序模型里要考慮特征覆蓋度，以及和其他特征融合，這樣做會比較復雜，有時候內容理解的特征是準確的，但是和用戶行為特征放一起可能沒有什么增益。而放到重排階段則比較靈活，可以將內容理解結果變成一定的權重去調整排序順序，或者做些過濾。

直播實時內容理解算法框架

淘寶直播每天有數萬場直播，直播持續時間可能幾個小時甚至十幾個小時，不同的直播曝光量差別非常大，所以我們先從頭部主播實時分析入手。直播最關鍵的兩個要素是主播和商品，目前我們只關注主播方面的理解。首先從直播人臉檢測，聲音分類，以及顏值幾個業務和運營側反饋比較重要的特征入手。

首先我們搭建直播metaq消息監聽服務。直播間狀態變化非常復雜，比如有時候會發生斷流，有時候主播會暫時離開，有時候寶貝袋增加商品，同一個直播間的消息可能被不同的機器接收到，前期我們花費很多時間在直播消息處理上，由于一場直播的流地址是固定的，最終為了簡化這些邏輯，我們只處理直播間開播和關播消息。

在統計頭部這些直播的pvr時（曝光覆蓋比例），我們發現頭部幾千場直播可能就占到很高的曝光覆蓋，所以我們從直播推薦團隊拿曝光日志計算前一天的頭部主播。整個直播的曝光日志里有公域和私域之分，我們的統一只計算公域的流量數據，然后落到odps表中。

拿到直播url之后我們首先嘗試flv格式的直播流，解碼機器不斷的解碼然后抽幀輸入下游模型，這種流程解碼機器的利用率不是很高，因此我們的抽幀頻率不是很密集，10-20秒抽取一幀，而且直播間可能會暫停/斷流，所以我們改用hls格式，以ts為單位輸入下游解碼服務，對比前一種拉流方式，并發處理能力提升了1倍以上。

主播屬性特征

主播相關的特征多種多樣，有穩定特征比如人臉，聲音，還有實時特征比如表情，動作等。為了最大化ROI以及方便推薦算法使用，我們和運營以及推薦算法同學總結了以下幾大方面的人物屬性，通過算法逐漸識別出這些屬性標簽。這些主播標簽無論是作為運營的活動抓手，分析工具，還是幫助推薦算法訓練更好的模型都很有價值。

常用的人物屬性分視覺和聲音兩個維度，我們聯合VIP團隊搭建了一套多模屬性識別框架，如下圖所示。從直播流中采樣視頻幀和聲音數據，然后分別輸入聲音識別模塊和視覺識別模塊。目前聲音模塊主要包括男/女聲，有無人聲分類模型以及asr識別模型，視覺模塊包括人臉人體檢測跟蹤，人臉屬性識別，以及圖像質量分析模塊。從單模型的輸出又可以衍生出其他的一些特征，比如asr結果可以用計算語速特征，視覺性別和聲音性別判斷結果組合起來可以篩查跨性別特色主播。

下面介紹我們在屬性識別方面的一些成果：

?人臉屬性

相比人臉檢測識別算法，屬性識別算法如性別，顏值，年齡，表情識別在通用場景下的識別準確率不是非常高，一方面是由于數據集偏少，另一方面是屬性特征偏主觀，另外化妝和美顏工具會明顯干擾這些屬性。在屬性特征里，顏值屬性對用戶體驗影響最大，所以人臉屬性重點圍繞顏值做了一些嘗試。

由于顏值比較偏主觀，我們嘗試眾包服務標注數據，但是不同標注者的結果之間差別還是很大，最后算法同學又親自篩選一遍。首先使用二分類模型，判斷顏值高低，然后將算法篩選出的高顏值主播給運營同學，再由運營分成高，中高，中低，低等顏值類型去做實驗。算法側使用分類模型softmax之后的分類做為顏值分使用。

我們考慮到對比兩個圖片的顏值選擇更高的，這個任務可能會更簡單一點，于是嘗試了pair-wise排序的方案，結果在區分明顯的高，低顏值的數據上表現和分類模型一樣，在中顏值數據上，由于排序任務也解決的不好，所以排序模型的結果和分類也沒有很大差別。

下面是高顏值：

對比其他公司顏值API結果：

調用百度、曠視的顏值API接口在我們的測試集合上，PR曲線和ROC曲線對比結果如下：

?人臉識別

人臉識別通常有兩種做法，一種是通過分類模型，每個人是一個類別，這種方案效果比較好，但是如果新增人物還需要重新訓練模型，所以靈活性不是很高，另一種方案是計算人臉feature，將待識別的人物特征存下來，使用時用同樣的模型計算人臉feature，然后檢索目標人物。由于直播業務里主播流動性比較大，所以我們使用檢索方案做人臉識別。人臉識別我們使用ArcFace模型計算feature，然后使用聚類和rerank識別人臉身份。

? 音頻特征

許多直播間沒有主播露面只有解說，比如賣珠寶首飾的。所以音頻特征是直播間實時理解不可或缺的一塊。目前我們已經接入PAI平臺的EasyASR算法，并且和PAI團隊合作建設了男聲/女聲，有無人聲，以及背景音樂特征，Acc指標在90%以上，這些特征支持了空鏡頭識別以及變性人識別等服務。

業務落地

直播間實時內容理解主要服務于推薦算法，相比內容生產直接產出素材，或者審核業務給出分類打標結果，推薦業務將實時內容理解結果加入推薦流程更加復雜，目前特征的使用有兩種方式，一種是將特征加入模型訓練，在inference時也需要將實時特征加入打分，這種方式需要積累長時間的特征，目前排序算法訓練需要兩個月以上日志，這種方式代價比較高；另一種使用方式是將特征融合為權重分，在排序結果基礎上進行加降權來影響結果。下面介紹在不同應用場景下內容理解算法的用途。

? 排序算法

從手淘首頁的淘寶直播卡片進去就是直播頻道頁，這個頁面主要展示直播間的封面圖，同時會展示某一個直播間的實時畫面。推薦算法在這個場景下主要關注ctr和直播停留時長指標，用戶在這個頁面主要根據封面圖來判斷是否點擊，在wifi環境下會播放一些直播畫面。如上文所述特征加入模型訓練的方案需要積累很長時間日志，所以我們使用加降權的方式進行實驗。

由于頻道頁展示的主要是封面圖，我們猜測有高顏值人臉的封面圖會更加吸引人，于是嘗試了對高顏值主播做加權，但是這次實驗使用的高顏值主播是經過運營篩選后的主播id，而直播的人和封面圖里的人很多是不一樣的，而且一個直播間可能有許多主播，不同時間的主播顏值也不一樣。實現結果顯示高顏值主播的ctr沒有增長，整桶的指標也沒有正向變化。后續我們會直接計算封面圖中的人臉顏值繼續實驗。

頻道頁嘗試的第二個實驗是空鏡頭打壓。直播的時間往往很久，經常會出現一些空鏡頭（沒有主播講解），運營同學做過體驗分析，其中空鏡頭問題占了很大的比例，而且空鏡頭特征是二分類問題，很適合做調權，所以我們先實驗空鏡頭分析服務在頻道頁的效果。

空鏡頭可以從畫面和聲音兩個維度來判斷，由于頻道頁里是聽不到聲音的，所以我們根據是否出現人臉來判斷直播間是否是空鏡頭，而某些行業其實不需要露臉，所以我們只挑選女裝，服飾等幾個主播會出鏡的行業。由于頻道頁很多直播只出現封面圖，所以實驗結果我們分析的這些直播的ctr和用戶時長指標有1%-1.2%的提升。

從頻道頁點進去就是上下滑場景，用戶看到的是直播間內容，而且是有聲音的。所以更適合實時內容理解算法落地，比如空鏡頭打壓。我們結合人臉檢測和asr結果，判斷直播間一段時間內是否出現人臉，是否有人說話，合并cv和音頻特征輸出當前直播間是否是空鏡頭。

（空鏡頭case）

實驗開始的時候base桶和基準桶指標基本持平，由于我們只覆蓋了頭部主播，所以需要統計服務分析的這部分直播的效率，發現在短時長，高空鏡率的直播上，實驗桶上用戶平均時長有明顯增加，然后進一步分析發現是拉流服務機器OOM掛掉，導致直播分析時長過短。修復了工程上一些bug后，分析覆蓋的部分直播上用戶平均時長和pv都有明顯增長，整桶指標也因為體驗優化而增長，人均時長和pv以及整體pv都有2%以上的增加。

? 負向治理

新奇內容治理

跨性別特色主播

直播內容豐富多彩，主播使用各種手段來吸引眼球，軟色情是最常見的一種，其中近幾個月發現了變性人主播的情況。變性人主播是指一些男性主播通過變性或變妝為女性從事直播活動，直播內容以變性人等作為亮點吸引點擊，存在較大的輿情隱患。為了對變性人主播進行識別，我們利用變性人主播畫面性別為女性，聲音性別為男性的特點對淘寶主播進行排查。相關模型的準確率：

	labe	準確率
畫面性別二分類	男性/女性	0.97
聲音性別二分類	男聲/女聲	0.88

由于直播間可能存在多主播情況，比如女主播漏面男主播在畫面之外解說，或者男女主播同畫面解說，所以通過聲音加視覺性別不一致識別出的跨性別特色主播會有誤召回的情況，算法識別結果經由運營同學核驗才會最終打上變性人標簽，結合a2a(account 2 account)相似主播擴展，我們累計了幾十個變性人主播賬號。在公域場景下減小透出頻率避免連續刷到多個變性人的情況改善用戶體驗。

? 明星助理代播直播

明星播與助理代播

隨著直播帶貨這一形式的興起，一些明星也加入淘寶直播開啟帶貨職業。運營同學分析從2021年1月1號開始的明星公域流量的使用情況發現，明星整體公域uv成交價值超過MCN機構均值。但用戶停留時長，整體低于MCN均值。進一步統計發現在明星助理直播時間段，所有公域轉化數據都低過MCN大盤且墊底。這說明在原來明星本人直播后改成助理直播之后，整體轉化受影響最嚴重。許多用戶是看到直播間的明星封面圖進入直播間的，如果發現不是明星在直播，會有種上當受騙的感覺。所以為了鼓勵明星本人直播，同時提升公域流量的轉化率，我們做了明星直播間實時識別，輔助流量調控。

聯合淘寶直播推薦團隊我們在首猜信息流、頻道頁、上下滑場景下對明星直播間進行調權處理，使明星賬號感受到明星播和助理播的差別，做出改變。實驗中我們還發現，明星直播間pv曝光減少后，ctr和人均時長有一定程度增長。

小結

直播間實時內容理解需要搭建強大的計算平臺，目前我們的服務使用EAS，TPP，VIP，IGraph，MetaQ，ODPS等多個平臺，工程鏈路調試起來比較麻煩，機器資源耗費也很大，為了增加模型處理能力，新的算法還會往RTP平臺部署，而新平臺還在建設中，需要一邊造一邊用。內容理解算法怎么和推薦算法結合，也是需要注意的一點，短視頻或者圖像可以離線處理，算法保留結果即可，但是直播內容是實時處理的，需要和推薦算法深度綁定。最后的一點感受是一定要對業務場景理解透徹，不同的場景下有效特征也是不一樣的。