數字內容包含文本、圖片、視頻等多種形式,起源于計算機問世,并隨著互聯網、智能手機快速發展,如今,數字內容已經成為個人及企業建立形象、傳播價值的必要途徑。
2022年起,隨著ChatGPT的火爆出圈,AI大模型強大的生成能力受到全民關注,數字內容生產方式也歷經PGC、UGC后進入AIGC時代,圖片、視頻、文本等多種形式數量呈指數上升。
數字內容生產方式的高度自由和數字內容的極大豐富為企業內容生態運營帶來安全挑戰,企業面臨內容不合規、網絡詐騙、黑客攻擊、垃圾注冊、代刷等風險。如何保護平臺內容生態,防御黑灰產侵襲,維護平臺聲譽,成為企業內容運營的顯著痛點。
數字內容風控解決方案能滿足企業數字內容安全運營需求。數字內容風控解決方案涉及機審、人審、策略運營、輿情監測、藍軍服務和培訓等應對措施,旨在通過多維度全面監管,實現對數字內容的有效管理和風險防控。
在數字內容風控解決方案落地過程中,各行業對數字內容風控的需求有何差異點?企業在不同的數字內容風控場景下應建立何種能力?如何選擇數字內容風控解決方案供應商?以及領先企業的數字內容風控實踐效果如何?
在此背景下,9月7日,愛分析聯合網易智企旗下網易易盾正式發布《2023數字內容風控行業白皮書》。該白皮書作為數字內容風控行業首份白皮書,將對以上問題進行系統回答。
白皮書首先介紹了數字內容風控的緣起與定義,然后對企業面臨的數字內容風控場景需求以及應具備的能力進行說明,并針對重點行業數字內容風控的需求差異進行分析,接下來白皮書對人機共融的數字內容風控解決方案進行詳細闡述,最后詳細展示娛樂社交、游戲電競、汽車出行等行業領先企業的數字內容風控實踐案例,為讀者提供借鑒。
01數字內容風控的緣起與定義
1.1 數字內容風控的發展歷程及驅動因素分析
1.1.1 數字內容風控發展歷程
(1)從PGC、UGC到AIGC,數字內容生產再次迎來高速發展時代
圖 1:PGC、UGC到AIGC標志性發展事件
1958年中國第一臺電子計算機器103機問世,為PGC的發展奠定了硬件根基。1993年12月《杭州日報·下午版》通過杭州市的聯機服務網絡進行傳輸,標志著PGC時代正式拉開序幕。
1999年天涯社區成立,標志著UGC正式進入大眾視野。此時,用戶仍然較少。2007年蘋果智能手機的發布,標志著UGC時代來臨,數字內容生產迎來了第一次增長爆發期。彼時,內容生產從以專業人士為主,變成了更為廣泛的非專業用戶群體。
2016年AlphaGo戰勝世界冠軍李世石,成為AIGC進入應用的標志事件。2018年DeepFake出現,讓人們在感嘆AI技術先進性的同時,也對其產生了恐懼心理。2022年,ChatGΡT的智能化水平再次引爆AIGC市場,在AIGC影響下,預計國內數字內容生產將迎來第二次增長爆發期。不同于第一次的是,數字內容生產不再完全由人完成,而將主要由虛擬數字人完成。
表 1:PGC、UGC、AIGC對比分析
(2)內容數量突破增長,數字內容風控效率承壓
根據CNNIC發布的第51次《中國互聯網絡發展狀況統計報告》顯示,截至2022年12月,我國網民規模達10.67億,占中國可上網人數90%以上。雖然生產周期從天級向小時級邁進,但人的時間總是有限,在網民數量接近存量上限后,以用戶為代表的UGC進入增長瓶頸期。
圖 2:中國數據總量和AIGC生產內容占比分析
AIGC內容通過程序訓練生成,流程自動化,只要算力支撐到位,理論上數字人可無限增長,數字內容參與“人”數將突破物理限制,迎來新一輪增長。同時,AIGC內容是自動化生成,不受時間和精力限制,內容可實現秒級發布,未來發布量不可估量。現階段看,AIGC內容占內容總量仍在1‰以內,處于快速增長階段。
(3)內容質量逐漸不可控,數字內容風控受到挑戰
用戶內容生產多樣化,難以形成連續性和品質保證,但和AIGC相比內容相對可控。在AIGC背景下,內容由算法生成,因流程黑盒問題,人們無法完全掌握生產內容的結果,風險不可控性增強,對數字內容風控的要求也大幅升高。
1.1.2 數字內容風控驅動因素分析
政策精準化演進。精準的政策法規,要求企業實現精準識別,強化了企業責任追究,加強了行業自律要求,要求內容平臺和監管部門使用更加高效、準確的技術手段,對不良信息進行精準識別和分類,以便及時采取相應的風險防范措施。同時,也要求內容平臺和相關企業承擔起更多的法律責任,在內容管理和風控方面負起更多的社會責任,保障用戶合法權益和社會公共利益。相關企業必須不斷精細化發展數字內容風控手段,才能跟上和滿足監管需求,實現自身的長久發展。
圖 3:數字內容風控政策發展
經濟發展線上化。在線經濟的發展,帶動了數字內容生產和消費方式的巨大變化,同時也帶來了更多的風險和挑戰。大量的數據和信息被存儲、傳輸和使用,網絡犯罪、虛假宣傳以及侵權等情況也相應增多,也為版權侵犯、違規直播、淫穢色情等內容的宣傳提供了更多的溫床,需要通過有效的內容風控手段進行管控。
圖 4:2022年經濟發展線上化數據體現
社會內容生產多元化。行業方面,不同行業術語,創業內容差異較大,導致內容風控策略及重點也會產生差異。如娛樂社交行業,作為主要的UGC內容創業領域之一,平臺吸引了全國各省市的愛好者參與,每天會產生大量的文字、圖片、視頻、音頻,并且由于地方差異,會涉及各類方言的識別,對數字內容風控要求高。
技術的加持與挑戰。技術的不斷提升,為數字內容提供了更多創作工具、提供了自動化生產能力、更加便捷且多樣的分發平臺,同時更加個性化的需求也在不斷被滿足。技術也可能對內容產生一定挑戰,如技術加持下,深度偽造技術已經越來越先進,數字內容在傳播和使用過程中也會面臨更多的風險,可能會導致內容同質化、缺乏原創性。
1.2 數字內容風控定義與分類
1.2.1 定義
數字內容風控,是通過AI等專業技術手段和業務規則,針對正常用戶和黑灰產的APP下載、注冊、內容發布與交互、內容持續維護進行監測、識別、評估和管理的過程。通過識別和防止數字內容中存在的違法、有害或不恰當行為,以保護用戶和平臺的利益和安全,最終達到“為數字安全守底線,為數字運營拔上限的”目的。具體而言,APP下載階段通過APP加固,遏制黑灰產應用破解、通信劫持、服務端攻擊等行為;在注冊階段智能風控、注冊登錄保護、渠道假量識別、設備風險識別,對賬號、手機號、IP、設備進行多維度審核,實現黑灰產人員身份的識別和判定,以及違規內容的審核;在發布、交互和持續維護階段通過識別用戶發布文字、圖片、音頻、視頻的內容,實現平臺內容的合法、合規。
1.2.2 分類
與重點核查文字、圖片、音頻、視頻違規的“內容安全“相比,數字內容風控范圍更廣,除內容安全外,數字內容風控還包括應用安全和業務安全。為用戶和平臺提供從APP下載、注冊到內容生產與交互的全流程安全保障。
圖 5:數字內容風控分類
02數字內容風控的場景及重點行業需求
2.1 數字內容風控需求場景及解決方案
2.1.1 PGC+UGC:守安全合規底線,創運營增長業績
表 2:正常用戶和黑灰產特征分析
因內容生產方式、目的與違規方式區別較大,使用群體可分為正常用戶和黑灰產兩類,其中正常用戶主要是報告PGC專業人士和UGC的普通用戶。
白皮書將正常用戶的違規行為歸屬守安全合規底線,將黑灰產的整治歸屬創運營增長業績。同時,創運營增長業績還包含輿情管理和客戶精準運營策略。
(1)守安全合規底線是保障平臺持續運營的基本要求
圖 6:正常用戶數字內容風控環節和要點
正常用戶數字內容風控解決方案
針對四個環節合規內容審核以色情、涉政、違禁、暴恐、謾罵等行為和內容的識別,需要企業具備完整機審+人審能力。
為應對數據量快速增長帶來的大量審核需求,機審成為企業做數字內容風控的必備能力,通過機審可以有效提升審核效率、降低審核成本。但機審不是萬能的,對機審不能確認部分,以及機審結果的復核都需要人審做最后的把關。同時,對機審結果的質量檢查和統計分析可以調優機審模型,提升機審準確度,進一步降低對人審的依賴。通過審核管理系統的“預”、“審”、“檢”、“溯”四流程,將機器審核、人工審核和模型調優做到高效分工和管理,做好內容安全監控。
(2)創運營增長業績是數字內容風控的進階要求
肅清黑灰產,為用戶創造安全的產品運營環境
網絡欺詐、黑產群控、引流等是黑灰產在網絡的主要呈現形式,對平臺危害很大。如引流,引流用戶到特定平臺進行作惡也是黑產常見手段之一。利用評論、私聊、頭像、個性簽名等一切可以利用的UGC位置發布誘導信息,以各種理由引誘客戶脫離當前產品,到黑灰產指定的溝通平臺中進行后續交流、進而完成不法行為。
黑灰產帶來的網絡風險對互聯網企業帶來優質用戶流失、內容生態破壞、競爭力下降、承擔法律責任、劣幣驅逐良幣等危害。
與普通用戶相比,黑灰產的治理要在客戶端加上APP安全加固、注冊人及設備審核兩個環節,涉及監控內容更加復雜。
輿情早知道,對熱點內容針對性布控
輿情具備突發性、大規模性等多樣特征,輿情的出現會對APP產品運營生態形成沖擊,對APP形成潛在風險。從具體特征看,輿情信息存在強烈的突發性,需要及時監測和分析;輿情數據量龐大,需要通過大數據技術進行處理和分析;輿情信息涉及多個領域和主題,且常常存在不同觀點、利益沖突等問題;輿情信息通常帶有強烈的情感色彩,包含積極、消極、中性等不同情緒傾向;輿情信息的真實性和可信度存在一定程度的不確定性,需要進行進一步的驗證和核實。
高精度識別,實現產品營銷賦能
圖 7:某女性頭像識別結果
現在的機審在內容識別領域精確度已經很高,可以對各種類型的文本、圖像、語音等進行分析和判斷,并輸出準確的結果。這些結果包含了豐富的信息,可以幫助企業更加精確地了解客戶的需求、偏好、興趣和行為特征等,從而為企業實現精準營銷提供有力支持。
2.1.2 AIGC:數字內容風控的矛與盾
(1)AIGC提升了內容生產效率,是數字內容生產的“利器”
自2022年開始,從引爆AI作畫領域的DALL-E 2、Stable Diffusion等AI模型,到以ChatGPT為代表的接近人類水平的對話機器人,AIGC技術逐漸走入人們的視野和日常生活,也逐漸成為內容生產的新引擎,其強大的內容生產能力更是給人們帶來了極大的震撼。
AIGC的出現,也為數字內容風控實現更精準的防控創造了條件,為數字內容風控提供了更多工具和手段,有助于實現更精準的防控。通過AIGC可以快速生成大量的訓練數據,并且可以實現對不同類型、不同場景下的內容進行分析和判斷,這有助于提高模型的準確性和泛化能力。
(2)AIGC也成為黑灰產重要抓手,提升了數字內容風控難度
AIGC重塑了內容生產模式,為企業數字化轉型和個人創作提供了有力抓手,也帶來了重大發展機遇。但與此同時,對于內容風控來說,AIGC的大力發展也同樣帶來了巨大的挑戰。
黑灰產得以利用其提供的更好工具降低有害內容生產的成本并提高生產效率。這促使有害內容的生成方式變得更加多樣化和不規則,包括使用自動生成的文本、圖像和視頻等。由于這些內容是通過算法自動創建的,并且可以在短時間內大規模生成,因此可能存在風險和內容無法控制的問題。
(3)快速反應,全流程應對AIGC風險
在當前的AIGC環境下,虛假信息、惡意內容以及網絡欺詐等問題已成為亟待解決的難題。因此,AIGC平臺廠商需要建立完整的閉環風控體系,以實現全面的防范和處置。該體系應從事前防控開始,通過數據標注、數據治理等方法手段,將風險防控前置化;接著,在事中階段,應精準審核各種內容,利用先進的人工智能算法進行快速篩選和判定是否存在違規行為;最后,在事后處置優化階段,應采取有效的措施對違規行為進行處理,并通過持續的監控和反饋機制,不斷完善和優化風控體系,確保AIGC平臺的安全穩定運營。
2.2 重點行業數字內容風控需求異同點分析
2.2.1 行業需求概覽
圖 8:內容安全機審行業滲透率分析
圖 9:內容安全機審整體規模測算
從行業滲透率看,娛樂社交行業整體滲透率已經較高,其中的直播短視頻、社交平臺作為數字內容風控的重點行業,安全手段處在行業前列;游戲電競作為監管重點行業,在頭部、腰部企業滲透率均較高;其他行業方面,在線教育、電商、媒體、車企滲透率依次下降。
從市場規模看,機審和人審是數字內容風控的重點投入方向,僅機審一項2022年全行業整體市場規模約20億元。未來,隨著AIGC等新興重點行業的興起,以及行業內公司重視程度的提高,預計未來兩年增速會在25%左右。
2.2.2 重點行業數字內容風控需求分析
白皮書選擇重點行業進行分析,依次是娛樂社交、游戲電競、金融、媒體、車企、新零售。
03人機共融,持續構建良好企業運營生態
數字內容風控整體解決方案包括機審、人審、策略運營、輿情監測、藍軍服務和培訓等綜合應對措施,旨在通過多維度全面監管,實現對數字內容的有效管理和風險防控。其中,機審和人審結合可以提高審核效率和準確性;策略運營可以根據實際情況制定相應的審核規則和流程;輿情監測可以及時發現并應對網絡上的負面信息;藍軍服務可以提供專業的技術支持和安全保障;培訓和可以幫助用戶提高數字內容安全意識和應對能力。
3.1 機審
技術準確性和服務響應速度是企業機審選型主要決定因素
圖 10:企業機審關鍵采購因素調研
愛分析調研,n=100
根據愛分析所做的調研結果顯示,95%的企業在選擇機審數字內容風控服務商(以下簡稱“服務商”)時,最為關注的是技術準確度,其次是服務響應度、產品價格和易用性。相比于品牌知名度,這些因素更加重要,并且更能夠直接影響到企業的數字內容安全保障水平。
分行業看,在娛樂社交、游戲電競等行業,由于市場競爭激烈,價格相對敏感,但產品準確度和審核效率是兩類行業更加關注的重點。行業特性決定,娛樂社交、游戲電競需要快速識別風險點,保證平臺運行穩定性。除了這些因素之外,企業還需要注重產品質量、用戶體驗、創新和品牌形象等方面的提升,以吸引更多的用戶和客戶,并保持市場競爭力。相比之下,在廣電、新零售、車企等行業,服務商競爭相對較弱,因此企業可以更加注重產品質量、用戶體驗、創新能力和品牌形象等方面的提升,以滿足消費者對高質量產品和服務的需求,構建良好的品牌形象和口碑。當然,價格仍然是一個重要的考慮因素,企業需要根據市場需求和競爭情況合理制定價格策略,以確保產品的性價比和市場地位。
3.2 人審
圖 11:機審、人審關系圖
數字內容安全領域,人審作為機審的補充,主要用于處理機審無法判斷的內容、抽查機審及人審通過或不通過的內容,以及處理用戶投訴和申訴內容等。從調研結果看,采購機審服務的企業,100%都需要人審服務,有外采、自建兩種模式。外部采購機審服務的企業往往將人審服務外包給數字內容安全廠商,以減輕自身人力成本和管理負擔,并能夠獲得更專業、更高效的審核服務。自建企業可以更好的實現人員管理,實現對人審策略的快速調整,并對人審質量實現全面掌握。
采購需求看,除外包審核人員需求外,部分公司有人員系統和人員管理服務需求,人審的綜合服務可以幫助企業實現人審的全量托管。
圖 12:企業人審關鍵采購因素調研
愛分析調研,n=100
根據愛分析所做的調研結果顯示,98%的企業在選擇數字內容安全廠商時,最為關注的是審核人員經驗,其次是審核人員價格、人員管理系統、審核人員學歷、人員管理服務。
3.3 其他綜合性服務
圖 13:其他綜合性服務介紹
策略運營數字內容安全服務商為企業提供的一種綜合性服務,旨在幫助企業降低審核成本和風險,提高人審審核效率和質量。該服務通常包括風險分析和評估、風險規則制定和優化、技術支持和解決方案三個方面。
數字內容風控輿情檢測是數字內容安全領域的一項重要服務,主要用于檢測和分析網絡上的輿情信息,及時發現和處理各種風險事件和聲譽問題。按照是否可預測,輿情監測分為可預知性和非可預知性。
藍軍服務是一種定制化服務,通過模擬風險事件,攻擊企業數字內容風控系統,從而發現系統漏洞,整體提升系統安全性,幫助企業建立和完善數字內容安全體系。根據能力要求,藍軍數據可分為數據豐富性、AI技術先進性、安全技術全面性三個方面。
數字內容風控培訓服務是一種由服務商提供的,旨在幫助企業提升數字內容風險意識和風控能力的專業培訓服務。該服務主要包括基礎知識培訓、實踐操作培訓、風險案例培訓、定制化方案培訓四個方面。
04領先企業的內容風控實踐
白皮書對網易易盾的誕生起源、風險控制能力、服務領域進行介紹,并展現了易盾產品開發和能力迭代歷程。本章節重點展現了娛樂社交行業、游戲電競行業、汽車出行三行業領先企業的數字內容風控實踐案例,從行業背景、行業面臨的挑戰與愿景出發,以最佳實踐案例展現領先企業面臨的數字內容風控的痛點和解決方案。
據悉,該白皮書在網易易盾官網與愛分析官網均可直接下載。
