2021 年過去了，回顧這一年，實時互動行業正在加速發展。作為實時互動云服務開創者和引領者，聲網Agora也未曾停歇，不斷通過技術的創新、場景體驗的提升，探索著實時互動場景的更多可能性。
這份年終回顧，包含了聲網Agora 2021 年在技術探索中“摸黑”走過的路，將所有技術組件鏈接后的成果，還有聲網與開發者們、為開發者們做過的項目，以及 2021 年那些值得銘記的事件。
聲網Agora年度大事件
· 實時互動行業風向標大會 RTE2021圓滿落幕
10月22日-23日，由聲網主辦的 RTE2021 實時互聯網大會在北京舉行，為期兩天的大會聚集RTE技術領袖、行業大佬、知名投資人、優秀創業者，帶來20+前沿論壇及活動、近百場精彩分享。本次大會以“萬象頻道”為主題，圍繞實時互動行業一年來的行業變遷、趨勢展望進行深度分享與探討，從場景、技術、產品、生態等多個維度展現實時互聯網萬象紛呈。
RTE實時互聯網大會是聲網主辦的實時互動行業風向標大會，也是全球規模最大最權威的RTE盛會，每年一屆，致力于為開發者布道實時互動技術，并為全行業帶來最前沿的前瞻觀察。今年大會給參會者帶來了前所未有的體驗，聲網將這一年最受行業關注的熱點都“搬”到了大會現場。無論是酷炫的展區、獨特的開場方式還是令人難忘的開發者Party，每一個環節都帶來全新體驗。
· 發布《RTE萬象圖譜》 行業首個RTE全場景雛形
在RTE2021實時互聯網大會上，聲網發布了基于實時互動場景的“RTE萬象圖譜”，共覆蓋教育、泛娛樂、IoT、金融、醫療、企業協作、數字政府、智慧城市等20+行業賽道，200+場景。這也是RTE行業首個全場景的雛形，為行業開發者和創業者挖掘場景，做產品和技術創新提供更多可能性。
· 超音速計劃 打造RTE賽道首個最有影響力的創業者社區
2021年7月，聲網再次聯合五源資本，推出創業伙伴系列活動--「超音速計劃」。幫助實時互動領域的創業企業加速成長，共同定義和擴大實時互動賽道，建立實時互動領域頂尖創業社群。在超音速計劃中，聲網攜手頂級投資機構、跨國企業的創業生態部門、云市場伙伴等生態力量，為創業者提供創業課程和創業伙伴營、生態產品免費套餐包、技術支持、投資咨詢等資源扶持，賦能開發者以更低成本、更高效的實現創新創業。經過二十多天的招募和甄選，最終20個項目從133個報名項目中脫穎而出，成為首期「超音速計劃」創業伙伴。
· RTE2021編程挑戰賽圓滿收官
2021年6月 ，由聲網與環信聯合主辦的“RTE 2021 編程挑戰賽”圓滿落幕。從 200+ 支參賽隊伍中沖出重圍的 46 支決賽隊伍用精彩的答辯為歷時 2 個多月的大賽劃下了圓滿的句號。
本次大賽的決賽和頒獎通過 Agora Video Call App 在線上進行，全程通過 B 站進行了直播。最終，決賽共誕生了應用創新賽道的一、二、三等獎團隊各一名，“環信專項獎”一名，以及“優秀獎” 六名；技術創新賽道“技術創新專項獎”一名，“優秀獎”一名。
· 聲網收購環信 強強聯合打造RTC+IM產品組合
2021年第一季度，聲網完成收購中國領先的即時通訊云和客服云服務商環信Easemob 。雙方在產品層面進行深度結合，基于聲網在 RTC 領域和環信在即時通訊（IM）領域的領先優勢，共同打造實時互動云行業最強 RTC+IM 產品組合。
· 全品類、全球范圍安全合規認證
近日，聲網Agora正式獲得由國際權威的質量認證和風險管理機構DNV頒發的ISO/IEC 27701隱私信息管理體系認證證書。這也是聲網繼獲得ISO/IEC 27001、ISO/IEC 27017、ISO/IEC 27018體系認證、公安部信息安全等級保護三級認證、SOC2 Type II服務鑒證報告后，再次獲得的一項全球隱私保護領域的權威認證，這標志著聲網的信息安全及隱私相關管理體系管控已進入全球范圍內的先進行列，也將為客戶帶來更堅實的信息安全保障。
新產品落地
· 教育行業首款aPaaS產品 靈動課堂
2021年1月，聲網發布了教育行業首款aPaaS產品靈動課堂，節省 90%+ 開發時間，15 分鐘即可上線自有品牌的全功能在線互動教學平臺，滿足靈活定制和低代碼接入的開發需求。同期，聲網還正式發布業界首個支持H5課件的白板PaaS產品“互動白板”，幫助提升課堂實時互動體驗，增強教學場景的趣味性。
· 全鏈路加速FPA
2021年8月，聲網正式發布“全鏈路加速FPA(Full-Path Accelerator)”，基于聲網的軟件定義實時網絡SD-RTN™，通過覆蓋全球的多點端到端傳輸優化，全面提升了包含最后一公里（Last Mile）在內的全網傳輸性能和可靠性，并通過“云”和“端”的高效協同優化，為企業的應用加上網絡QoS保障。平均提升終端用戶訪問性能 100%，實現全球高質量網絡覆蓋，只需要3行代碼。
· 融合 CDN 直播
2021年10月，聲網推出全新直播產品“融合CDN直播”，可提供卡頓率低于1%的超流暢 CDN 直播服務，同時還提供All-in-one的SDK，最大程度降低開發者的開發門檻，開發者可以在一個SDK內，自由組合使用超低延時直播、低延時直播和標準 CDN 直播等各類功能，順暢切換，這也標志著聲網可以通過一個 SDK拉通所有延遲等級的直播需求。
· 水晶球3.0 上線
2021年，聲網正式上線水晶球3.0版本，新增“實時監控”、“告警通知”兩大功能，能幫助開發者和企業用更為主動的方式來監測實時音視頻用量、質量情況，時刻做到對項目運行狀況”心里有數“，及時發現異常問題，并高效解決問題，最終實現產品質量保障，提升客戶的運營效率和用戶的體驗。
· 全新云市場
2021年10月，聲網發布了全新云市場，全新升級的云市場具備三大核心亮點：為開發者構建RTE應用提供豐富的國內外第三方插件和一站式插件管理系統；開發者集成RTE模塊效率提升95%；針對提供插件的合作伙伴，接入云市場的效率提升了超過90%。
場景與行業突破
· MetaChat元語聊
2021年12月，聲網發布 MetaChat 元語聊解決方案，提供了一種全新的語聊方式——用戶以虛擬形象參與到暢聊中，每個語聊房可以支持16位玩家，每位玩家都可以看到其他玩家的Avatar，且可以與任一玩家進行動作互動，還可以在任意空座位上就坐，在吧臺喝飲料、起舞等。同時，還支持 360° 空間音頻，可以為語聊房中的玩家帶來身臨其境的聊天體驗和更為沉浸的在場參與感，讓溝通更高效、更有趣。
· 在線K歌房
2021年9月，聲網在北京舉辦主題為“K歌有聲 · 想唱就唱”的發布會，正式發布了在線 K 歌房場景化解決方案，開發者與企業可一站式接入海量正版曲庫與K歌組件、場景功能，快速構建在線 K 歌房，并廣泛應用在在線音樂、語聊房、直播、視頻相親等各類社交泛娛樂場景，為產品帶來更多創新與增長空間。
· 全息虛擬偶像演唱會
去年8月，在上海Vapollo Theater，國內首場虛擬偶像神樂七奈實時跨國演唱會成功落地，現場上座率超95%。支持這場演出的技術公司正是創幻科技，其背后虛擬偶像演出音頻的實時遠程傳輸技術則由聲網提供，并給予了高質量、高可靠、低延時的解決方案。
· 電商直播
聲網與全球領先的電商平臺之一合作，為其提供穩定可靠、低延時的電商直播連麥解決方案。以往的電商直播中，最常見的帶貨方式為單個直播間內1-2位主播直播帶貨，而從去年開始，直播連麥帶貨正受到越來越多主播與觀眾的喜愛。而在聲網的技術支持下，電商平臺可以通過嘉賓連麥、觀眾連麥、PK帶貨等多種互動方式，來提升直播間的引流效果與銷售額。
· 音頻直播
圍繞播客場景，Castbox 近年來推出了一系列基于內容的互動評論區、社區以及音頻直播（Livecast）等場景，而聲網Agora 正是其背后的實時音視頻服務提供商。聲網自建的軟件定義實時網 SD-RTN™ 覆蓋了 200+ 國家與地區，擁有超低延時、高并發、高可用等特性，為Livecast 場景在全球范圍內的高流暢、高穩定和高并發需求，提供了有力支撐。
· VR/XR遠程協作
2021年5月，聲網Agora宣布其視頻 SDK 現已集成到領先的 VR/XR 遠程協作及會議應用 HTC VIVE Sync App 中。通過集成聲網Agora 的視頻 SDK，HTC VIVE Sync App 可以支持 HTC VIVE 用戶和非 VR 用戶在同一虛擬環境中進行更緊密無縫的遠程協作，用戶在不需要穿戴 VR 設備的情況下也能夠與其他 VR 用戶共享沉浸式體驗。
· 互動播客
2021年 1 月，“互動播客”在 RTC 技術，以及 Elon Musk “流量”的加持下火爆全球，“互動播客”是全新的線上興趣/話題式語聊互動場景，不論是名人/大V，還是普通網友都可以隨時開啟或參與一場海闊天空的互動交流，而且聽眾可以隨時“舉手”上麥參與實時互動交流。聲網通過基于網絡傳輸、編解碼、降噪與回聲消除、碼率自適應、弱網對抗等一系列完備的技術推出了業內成熟的“互動播客場景解決方案”。
· 遠程超聲
聲網助力廣州銥度在全國多個縣城上線遠程實時超聲檢查系統，在遠程超聲的場景中，縣醫院的超聲科醫生通過“銥度”的遠程會診系統連線百公里外的基層衛生院的醫師，對多名患者進行一場線上“面對面”的超聲會診，整個會診過程，借助聲網的實時音視頻技術，遠程會診系統可以實現高清醫療超聲影像的實時傳輸，醫生再根據實時的超聲圖像對患者進行實時診斷，診斷過程可以做到超低延時、高流暢。
· 在線自習室
聲網為“同桌App”等多家教育和社交平臺提供了自習直播+自習課兩種場景的實時互動解決方案，支持在線自習室創新場景的上線。同桌在初版開始連麥自習室的音視頻模塊就選擇了聲網，低延遲，高穩定性，成熟領先的技術架構使同桌用戶在線上感受到面對面、積極良好的學習氛圍。
· 視頻辦醫保
在聲網助力下，2020 年 12 月，黑龍江省醫保局上線了全國首個醫保系統視頻遠程服務平臺，從此前的“網上辦“升級為更加便捷的“視頻辦”，用戶只需通過APP或者小程序向工作人員發起視頻通話，并通過人臉識別技術就能快速辦理醫保。
技術探索與落地
· ClearVision 1.0 方案，深耕實時視頻畫質增強
在實時互動場景中，視頻畫質很大程度上決定了用戶體驗的好壞。聲網視頻技術團隊在過去一年中，深耕實時視頻畫質增強，上線了 ClearVision 1.0 方案。
ClearVision 1.0 充分利用了視頻采集播放端設備的平臺能力，在影響視頻畫質的色彩、清晰度、風格化等方向上提供了一站式的解決方案。ClearVision 1.0 支持動態裁剪，可被用于視頻處理模塊，通過多種功能的動態組合，為用戶提供適用于不同場景的高清視頻通信體驗。ClearVision 1.0 包含的功能有：
1）暗光增強功能可以有效的對暗部區域進行智能補光，同時避免過度增強正常曝光的區域，最大化平衡性能和畫質效果。為了對抗增強后的負作用，暗光增強功能融合了色彩飽和度恢復算法和視頻降噪算法。同時，該功能還支持了智能場景檢測，根據光照條件動態自適應地開啟和關閉。
2）色彩增強功能，可以整體提升畫面色彩的還原度和自然度，使得畫面色彩更加豐富和逼真，提升主觀視覺效果。該功能融合了多種膚色識別算法，確保人物膚色不因為色彩增強而變得突兀。
3）視頻降噪功能，大幅降低閃爍噪點，同時最小化拖影等常見的視頻降噪負作用。ClearVision 1.0 的視頻降噪功能已應用于客戶的低碼高清場景，開啟后可節省 28% - 35%的傳輸碼率。在保證畫質效果的前提下，視頻降噪算法在移動平臺單幀處理時間低至 1ms，在主流PC平臺可以支持實時處理 1080P 60 幀場景。
另外，ClearVision 1.0 針對人像美顏做了更精細的優化。通過多圖融合磨皮，動態膚色檢測，非線性膚色美白映射，分區銳化等圖像技術，ClearVision1.0 給用戶提供了更高清自然的人像美顏效果。目前，以上功能已集成于最新版本的聲網 SDK 中，具體功能的使用方法，可參考聲網文檔中心。
· 全平臺支持背景分割/替換功能
在線會議和單主播等場景中，實現虛擬背景、背景虛化功能，可增加趣味性和私密性。目前，聲網在 Native 和 Web 瀏覽器端都實現了背景分割/替換功能。未來，還會不斷優化該功能的性能與效果表現。
· Agora SDK 支持 AV1 編解碼格式
AV1 是一個開源、免版權費的視頻編碼格式，出自 Google 主導的開放媒體聯盟(AOM)。聲網在 2019 年就加入了 AOM 聯盟。開始灰度上線 AV1 編碼。經過測試，屏幕共享場景同等畫質下AV1 的碼率大約為 H.264 的 1/3 至 1/2。同時在弱網情況下，清晰度相比H264有明顯提升。
· 移動端支持 3 倍超分辨率
聲網在 2019 年開始在移動端實時互動場景中，通過超分辨率技術，讓處于低帶寬、低碼率的用戶也能得到高分辨率、高清晰度的畫質。在最新的版本中，進一步優化了超分辨率算法的復雜度，可為部分低端機型用戶帶來更好的體驗。同時，在去年還實現了 3 倍超分辨率，可以讓所有場景都獲得更好的視覺體驗。
· Web 與 Native 視頻互通可用性提升
在一些連麥場景中，可能主播與用戶分別使用 Naitve、Web 端接入。為了進一步提升 Web 端與 Native 端視頻互通時的可用性，以及視頻質量，引入了新的編解碼器。全年無聲黑屏可用性問題比例減少 80% 以上。
· 全球首創全自動多場景模擬聲學實驗室
XR 又迎來了一輪爆發式的成長。為了實現高質量的沉浸式的體驗，音頻、視頻、網絡等技術都將面對更多挑戰和機遇。為此，聲網搭建實時互動行業首個全自動多場景模擬聲學實驗室。它配備了聲網獨創的自動化場景模擬環境，并符合國際標準，可保證工程師高效且嚴謹地針對不同互動場景，進行聲學測試與研究。
同期，聲網還建設了行業第一座負本底（-1dB）噪聲聲學實驗室，為聲學信號的深入研究提升新高度，這也是行業里前所未有的。
這些實驗室不僅只用于聲網自身的音頻和聲音信號測試，同時也具備為行業中硬件和軟件合作伙伴提供認證測試的能力。
· 基于機器學習的語音編解碼器——聲網Agora Silver
去年 7 月，聲網在國內率先正式推出基于機器學習的語音編解碼器（語音 AI Codec）——聲網Agora Silver。它可以在超低碼率下，提供 32KHz 采樣率的超寬帶編碼音質，并通過 AI 降噪算法來進一步優化音質與語音自然聽感。實測 Silver 在高通 855 單核上，解碼 40ms 的語音信號只需要 5ms 的計算時間，流暢支持各種實時互動場景。碼率最低可達 2.7kpbs，更省帶寬。
· 聲網Agora 實時音頻 MoS 方法上線
聲網基于在全球大規模商用的客觀實時數據和實踐總結，在去年年初正式推出自研的用于評價實時音頻用戶體驗的無參考客觀評價方法——聲網Agora 實時音頻 MoS 方法。開發者在調用該方法后，可實時地客觀判斷當前用戶的音頻互動體驗，給自身業務、運營的優化提供重要的參考數據。
· SD-RTN™ 傳輸質量持續優化，用戶體驗更上一層樓
過去的一年中, 聲網持續迭代 SD-RTN™的質量觀測和優化體系， 進一步改善終端用戶的接入質量。 相較于去年的 34.35%, 目前全球 68.06%的用戶享有優秀的接入體驗。
對于區域內（即互動用戶在同一個地區網絡下）的網內傳輸也進行了進一步優化, 主要區域內已經能做到 99.5%的時間 jitter 200 到達率 99.9%.
· AI Ops 落地，為高質量的 RTC 服務無間斷保駕護航
隨著用戶規模的增長和網絡覆蓋工作的深入, 聲網 SD-RTN™的規模在不斷擴張。
如今行業都有一個共識，即運維復雜度在迅速增加，然而傳統運維已經捉襟見肘。但是，聲網對SD-RTN™網絡質量和用戶體驗的追求卻從未松懈。
為此, 聲網投入了巨大的資源和人力，克服了 AI 工程化落地的難點，將智能運維全面應用于 SD-RTN™的日常運維中，解決了傳統運維的痛點:
· 7*24H 不間斷保障；
· 高一致性和高質量的執行結果；
· 統一高效的運維效率。
得益于 AI Ops 的落地，聲網在SD-RTN™規模不斷增長的同時，提供了更高質量的 RTC 服務。在下一階段，將繼續深挖算法的潛力并將其價值在更多的運維場景上展現。
· 自研傳輸協議在多個業務場景落地
聲網自研的傳輸協議 AUT (Agora Universal Transport) 在 RTC，FPA等多個業務場景落地，在異構網絡下為這些場景提供了針對性的弱網對抗，安全保護和網絡評估能力。
在協議對比測試中，在帶寬受限情況下，20～500ms 的 RTT，3%~50%的丟包條件下，大文件傳輸時相比于 QUIC，傳輸速度提升 10%~100%，實時數據傳輸性能相比于 SRT，到達率提升 3%～25% 升，抖動降低 10%～70%。通過連接層面對移動和有線網絡的特性適配以及流級別獨立信道編碼能力，配合聲網媒體層面優化，可以做到 80% 丟包不卡頓。AUT 可為用戶帶來更好的實時互動體驗。
· 自研 FEC 算法，并提交國際 RFC 草案
FEC（Forward Error Correction），前向糾錯，是一種通過在網絡傳輸中增加數據包的冗余信息，使得接收端能夠在網絡發生丟包后利用這些冗余信息直接恢復出丟失的數據包的一種方法。FEC 也是實時傳輸中最常用的丟包處理策略之一。聲網也有一套自研的 FEC 算法可配合視頻 SVC 編碼實現不對等保護。在相同的丟包率下，聲網自研 FEC 比廣泛使用的 RS 編碼恢復效率高 50%。不僅如此，聲網還將這套 FEC 算法作為 RFC 草案，提交給了 IETF 。
提升體驗，開源與共建
· 持續支持跨平臺開發
近兩年 Flutter 的熱度不減。跨平臺框架對于開發者們的重要意義不言而喻。去年 Flutter 發布了 2.2 版本，針對 Flutter 在 iOS、Android、Web 等平臺有大量的優化更新。而聲網 Flutter SDK 也在隨之進行了迭代，目前已支持 Flutter 全平臺。
同時，聲網仍一如既往地持續支持跨平臺開發框架。去年更新、優化了面向 Flutter、Unity、React Native、Electron 等框架、平臺的聲網 SDK。希望可以幫助更多跨平臺框架的開發者，快速構建實時互動場景。
· 自研搜索算法，優化文檔體驗
聲網進一步優化了示例項目 Readme 內容，以及海外用戶的文檔體驗。同時，文檔中心上架了自研的搜索算法，通過語義分析、近義詞匹配等方法，很大程度上改善了文檔內容搜不到、搜不準的問題。
· 上線問答機器人，7*12 小時技術支持
為了提升技術支持方面的體驗，聲網 console 上線了兩個新模塊：智能客服模塊與聊天對話模塊，并將工單技術支持時間延長至 7*12 小時。
為了讓開發者可以多一個新的方式，能使問題得到更快速地解決。聲網在 console 增了智能客服模塊。
同時，為了提升工單溝通效率，聲網還在工單支持頁面中增加了「在線支持」，開發者可直接與聲網的工程師對話，平均 10 分鐘以內會得到回復。
開源之行，積于跬步
聲網從最初的開源技術（WebRTC）傳播者，到后來一步步開始嘗試開源自研的一些算法（例如 編解碼器 SOLO）。希望可以通過開源為實時互動行業帶來更多實用、有誠意的項目。
去年聲網開源了兩個項目，一個是iOS/Mac 上的輕量化的性能測試組件——Moonlight。它可以單獨集成在任何 App 中實現自動化性能數據的采集，你可以非常輕松的獲取到 App CPU、System CPU、App Memory、System GPU 以及 GPU Info 的數據。
另一個是開源教室項目 Flat。其產品是基于各種成熟的云服務搭建的，具備可以直接用于實際業務的能力。而且，該項目不綁定特定的云服務，開發者可使用 WebRTC 或自研技術替換其中的組件。目前 Flat 已獲得 3.3k Star。
· 與開發者共建實時互動開源項目 YOMO VHQ
除了不斷提升自身產品與服務的硬實力，聲網也在通過社區開源合作的形式，與合作伙伴一起探索實時互動技術的邊界。聲網與面向實時數據交互應用的開源開發框架 YOMO 達成了合作，共同開發了線上虛擬空間 VHQ 項目。
在這個線上虛擬空間中，你可以集結位于全球各地的同事或朋友，讓你們仿佛置身于同一個房間。聲網為 VHQ 提供了低延時而穩定的實時音視頻支持，你可以在空間中隨意走動，彼此交談的音量也會隨著虛擬空間中兩個人的距離而改變。
· 與開發者互動，多維度改進開發體驗
去年聲網通過多種維度的方式與開發者互動：有每個月至少一次的 Agora Talk 直播課，邀請音視頻領域、大前端、移動開發等方面的工程師，為開發者們分享技術經驗；與津津樂道聯合出品「編碼人聲」播客，聊聊程序員的生活與成長；還組織社區開發者一起參與內容共建，共同交流與分享。
同時，為了不斷改進的開發者體驗，在過去的一年中，聲網開設了各種各樣的渠道來收集開發者的反饋，包括問卷、線上訪談、線下的 U1S1 開發者交流會、SDK 集成體驗活動等形式。
通過這些活動，聲網收集了大量在以往難以發現的開發者體驗相關的改進點。后續也將不僅會根據開發者的意見和反饋來改進，還會在與開發者們形成長期持續的交流和互動。
· NG SDK 與開發者的第一次親密接觸
聲網的架構師與工程師們，在總結以往經驗的基礎上，收集了大量來自開發者的意見與反饋，進行了許多的設計嘗試與調整，經過內部的長期打磨后，首次推出下一代實時音視頻 API。
聲網在 RTE2021 大會上，還舉辦了一場 Workshop。開發者們體驗了聲網下一代的 API。現場多位開發者，順利用新一代 API 實現了實時音視頻通話的搭建，并根據自己的興趣實現了更多進階功能，例如配合攝像頭、屏幕共享、媒體播放器，實現多路視頻流同時發送，以及使用相芯科技、云知聲的云市場插件，體驗插件系統接入。
現場開發者調通項目后，線上合影
