從云通信到融合通信，新一輪技術革命正在加速興起。
新場景的應用，尤其是疫情推動下，各行各業對于線上化的積極探索使得通信技術的需求量大幅增加，同時對于實時互動體驗也提出更高的要求；另一方面，新技術的推動，例如 AI/AR/VR 等技術的發展和 5G 時代的正式來臨，使得即時通信、直播、實時音視頻等應用場景有了新的想象空間，場景的復雜性和對于效率的高要求也讓云通信技術呈現出更廣范圍、更深程度的融合趨勢。
（網易智企技術VP 陳功）
基于此背景，在「QCon 全球軟件開發大會」2021·上海站，網易智企技術 VP 陳功作為出品人發起了「AI 時代下的融合通信技術」專場，邀請到網易云信、網易音視頻實驗室、網易云音樂的技術專家與大家一起分享融合通信技術趨勢和演進方向、視頻通信關鍵技術探索及實踐、音頻 AI 算法在 RTC 中的實踐、網易云音樂網絡庫跨平臺化實踐等話題?，F場座無虛席，干貨滿滿的分享更是獲得參會者一致好評。
1
融合通信技術趨勢和演進方向
曹佳俊 網易云信資深服務器開發工程師
隨著 5G 等基礎設施的完善以及"萬物皆可線上化"的趨勢，互聯網用戶對于實時互動體驗提出了越來越高的要求。融合通信技術已成為產品創新、業務增長的重要基石。在本場專題論壇，網易云信資深服務器開發工程師曹佳俊首先帶來了關于《融合通信技術趨勢和演進方向》的分享。
曹佳俊認為，融合通信的關鍵在于融合，這其中，多種通信技術的融合帶來了業務層面的革新，而業務場景的豐富多變又對通信技術的融合帶來了更高的要求，業務與技術相互推動發展。
談及融合通信的未來趨勢，他認為，5G、AI、物聯網、全球化、單元化……都是融合通信技術未來的演進方向。在本場論壇中，他以全球化與單元化為例，重點分享了網易云信在相關方面的實踐。
網易云信之所以做全球化和單元化，主要是出于三方面的考慮：容量劇增（系統規模不斷增長）、風險控制（雞蛋不能放在一個籃子里）、質量保證（物理距離無法克服）。
實現全球化和單元化則有兩個關鍵的前置條件：一是傳輸通信網的建設，例如網易云信 WE-CAN 全球智能路由網絡就可以很好的解決遍布全球的邊緣節點和數據中心節點之間的網絡傳輸問題；二是服務質量監控，利用來自海量終端和服務節點的數據監控和改進服務質量。
在 WE-CAN 全球智能路由網絡和服務質量監控系統的基礎上，進一步介紹了網易云信在 IM 和 RTC 的服務器單元化/全球化上做的技術探索。
通過單元化和全球化的架構升級，提升了網易云信全球通信系統的鏈路穩定性、增強了機房抗風險能力，以及通過異地單元有效的隔離了全局的故障風險。
分享最后，曹佳俊總結道，隨著融合通信市場的不斷發展，全球化和單元化是必經之路。作為融合通信云服務商，網易云信將持續打磨技術，提供業界一流的融合通信服務，伴隨客戶一起成長。
2
視頻通信關鍵技術探索及實踐
韓慶瑞 網易音視頻實驗室高級技術專家
無論在娛樂社交、線上學習，還是遠程銀行等生活場景中，視頻都已成為最重要的互動方式之一，用戶對于視頻效果也提出越來越高的要求。延時低，弱網對抗能力強，視頻畫質清晰......這也讓企業面臨了很高的技術挑戰。
作為融合通信云服務專家，網易云信的業務覆蓋了主要的視頻場景，包括了甚低延時的實時音視頻場景，允許部分延時的直播場景和不強調延時的點播場景，本次分享中，網易音視頻實驗室高級技術專家韓慶瑞介紹了網易云信視頻在各個場景下的關鍵技術和應用嘗試。
優秀的視頻引擎是好的視頻體驗的基石，韓慶瑞指出，網易云信可以在各個場景中均獲得優異視頻表現，主要是得益于網易云信視頻 RTC 引擎擁有很多關鍵技術。
1. 針對場景移動端性能參差不齊、功耗敏感、小模型學習能力差、增強圖像壓縮效果難以保證以及視頻降噪等難點，RTC 引擎在前期就能進行視頻 AI 增強、視頻降噪，提升視頻效果；
2. 在視頻編解碼方面，網易云信通過多個自研算法，進行快速模式決策，高效亞像素搜索，自適應參考幀，編碼質量和速度領先業界知名編碼器；
3. 網易云信視頻引擎 QoE 可根據不同性能設備、不同區域設置、配置不同的算法種類，參數，在任何網絡狀況下保證用戶有最佳的視頻體驗，減少因數據丟失而引起的視頻卡頓；
4. 網易云信視頻引擎解碼支持幾乎所有主流視頻格式，通過自研輕量級網絡加異構加速，功耗超低。自研 AI 推理引擎，進行數據集處理，超分效果明顯。根據高精度文字識別以及針對文字的 AI 優化，配合“輕量級”網絡、自研推理框架 NENN 實現桌面共享優化。
值得一提的是，網易云信的智碼超清技術提前對轉碼前視頻進行修復或增強，基于人眼感知的編碼技術在保證主觀質量的同時節省碼率。不同于傳統的 JND 編碼，網易云信的 JND 編碼能識別圖像中的文字，人臉，前景及其他顯著性區域，針對不同特征進行調整，保證主觀體驗。
目前，網易云信視頻通信技術已經在 LOOK 直播、網易云音樂在線 K 歌等場景中廣泛應用。
3
音頻 AI 算法在 RTC 中的實踐
郝一亞 網易云信音頻算法專家
隨著人工智能技術、計算機技術、神經網絡等領域的不斷發展，AI 音頻算法也在學術界和其他行業不斷涌現，包括了線上實時通信 Real-Time Communication（RTC）領域。本次分享，網易云信音頻算法專家郝一亞從“RTC 應用 AI 音頻算法的難點”、“AI 音頻算法落地的解決方案”、“網易云信 AI 音頻算法落地案例”三個維度，和大家分享 AI 音頻算法和 RTC 的實戰經驗。
郝一亞表示，盡管 AI 的優勢在很多領域已經被證實了，但由于算力和數據等各方面的問題以及 AI 模型本身的一些問題，其在 RTC 中還處于達不到完全替換傳統信號處理方法的階段。
這其中的挑戰主要集中在三個方面：
1. AI 計算復雜度太高，終端設備難以滿足；
2. 泛化能力，RTC 覆蓋場景眾多，AI 音頻算法難以全部覆蓋；
3. 魯棒性，遇到突發情況，AI 算法是否有能力應對？
面對這些挑戰，網易云信如何落地 AI 算法？談及 AI 音頻算法具體實現過程，郝一亞在技術層面給出三條建議：
4. 采用更合適的輸入特征：減小特征量從而減小開銷；彌補小模型帶來的性能損失；
5. 采用輕量級網絡模型：壓縮模型大小從而減小開銷；有針對性的選擇模型類型；
6. 定向優化：大量收集/積累訓練數據集；模型壓縮、數據增強、推理框架；配合傳統語音算法框架。
活動現場，郝一亞展示了網易云信落地 AI 算法的實例，效果非常明顯。
值得一提的是，基于 AI 算法，網易云信從 0 到 1 研發落地了實時語音 3D 音效，這在 RTC 行業內屬于首創，不僅實現了實時的 3D 空間音效，還加入了距離衰減以及房間建模特性，實現 6Dof。目前網易云信 3D 音效已經成功應用于多款 FPS（第一人稱射擊游戲）以及網易瑤臺沉浸式活動平臺中，可以預想在元宇宙時代，3D 音效將會迸發的無限價值。
4
網易云音樂網絡庫跨平臺化實踐
陳松茂 網易云音樂資深音視頻開發工程師
網絡庫作為音樂 APP 的核心，很大程度上決定著用戶的"體感"和"快感"，但在優化過程中，挑戰可以說非常多。比如，系統網絡庫由于暴露的能力或接口有限，無法進行深層次定制或改造；各端系統網絡庫差異大，導致優化工作需要在各端進行定制或適配，工作量成倍增加……怎么辦？
網易云音樂資深音視頻開發工程師陳松茂本次以《網易云音樂網絡庫跨平臺化實踐》為主題，帶來了網易云音樂的實踐分享。
面對各端網絡優化過程中重復造輪子、缺乏一致性、資源不充足、深度優化難等問題，陳松茂認為，跨平臺化改造是解決上述問題的關鍵，在分享中陳松茂列舉了多種跨平臺化設計思路，并結合各自的優缺點，最終選擇了最徹底的跨平臺化方案，即整體鏈路跨平臺化。
要達成整體鏈路跨平臺化的構想，選擇一個合適的跨平臺網絡庫是關鍵。陳松茂分享了網易云音樂的選型經驗，經過各方對比，網易云音樂最終選擇的是 Cronet，它是 Chromium 的網絡堆棧，在開源協議、跨平臺性、協議支持、網絡優化、活躍程度等方面都具備優勢，并且已經在 Google 系、百度、微博、網易傳媒、頭條系、蘑菇街廣泛應用。
網易云音樂在 Cronet 的基礎上，進行了二次開發定制，構建了自己的統一網絡庫。為了達成后續能力復用和業務定制的述求，陳松茂提出了“可復用網絡框架+可擴展組件能力集”的概念，并逐步將上層的網絡策略和基礎網絡服務以組件的形式下沉到統一網絡庫。
而面對后續 Cronet 升級過程中"代碼沖突、合并沖突、功能衰退"這三大無法避免的問題，陳松茂在分享中也給出一些方法建議，他認為做好必要的升級鋪墊，可以減少 Cronet 升級過程中的風險，具體體現在三個方面：減少入侵、做好隔離、單側覆蓋。
當前，基于 Cronet 的統一網絡庫在網易云音樂已經實現了部分落地，比如 Android 端已經完整落地并在灰度放量中，iOS 端則還在接入中。據云音樂給出的線上數據，Cronet 在 HTTP/2 上有不錯的性能優勢，開啟 QUIC 后優勢進一步放大。后續，陳松茂和他們的團隊，將繼續挖掘 Cronet 的性能，并進行定制優化。另外，統一網絡庫也將逐步在網易云音樂，乃至整個網易內部實現更廣泛的應用。
為了將「AI時代下的融合通信技術」專場干貨更全面的分享給大家，后續我們會對本次專場的內容進行更為詳細的整理與解讀，歡迎持續關注。
