針對直播中延遲，文章主要給大家談談以下幾點：
- 視頻直播中的延時如何產生？什么因素會影響延遲？什么方法可以降低直播延遲？
一、視頻直播延時是如何產生的？
聲音和光的傳輸需要時間，無線電波的傳輸需要時間，影像和語音資料的編碼、解碼都需要時間。這里我們主要看視頻直播傳輸的時延。
一般來說，視頻直播主要涉及到采集、預處理、編碼、傳輸、服務器轉碼、解碼這些過程。這和淘寶快遞運輸的過程非常相似。
比如，你在淘寶上下單購買了1箱麥片，整個運輸過程大致如下：
首先，商家要把貨從倉庫拿出來（采集）并給你的麥片打包（預處理），貼上快遞單，方便快遞員識別和派送（編碼）。
接著，包裹被快遞員攬收，經過一段時間的運輸后（傳輸），到達你附近的派送站，并根據快遞單地址分配派送員（服務器轉碼）。
最后，快遞包裹送到你手里，你確認快遞單上的信息（視頻解碼），接著打開包裝吃上了麥片（播放視頻）。
理解了視頻直播的傳輸過程，就很容易理解延時是如何產生的了。
視頻直播整個傳輸鏈路很長，非常像物流運輸的鏈路，如果里面某個環節產生了延遲，量不斷累積，就會直接對整體延遲產生影響。
我們一般會把延遲分成3個類型：設備端處理延遲、網絡層延遲和服務端內部處理延遲。
1.設備端處理延遲
從采集端采集、前處理、編碼、打包發送，到播放端的收包解包、解碼、渲染播放，這里每一個環節都會有一定耗時。
2.網絡層延遲，即設備與服務器間的延時
這是常說的“最后一公里”，指的是設備端到服務端的網絡傳輸。在傳輸延時中，有一部分是客觀存在的時間消耗，也有一部分可以從技術上做優化。
3.服務端內部處理延時
包括服務器間的傳輸延時、排隊延時、服務器處理延時。針對跨運營商、跨國、跨地域的調度處理以及并發高峰的負載調度，在服務上都需要做好耗時優化。
點擊免費開啟無延遲直播
二、什么因素會影響延時高低？
在整個鏈路中，除了以上因素影響延時外，緩存策略、數據編碼、傳輸協議3個因素對延時的影響會比較大。
1.在一定條件下，緩存策略會增加延遲
上文提到淘寶物流的例子，因為視頻直播傳輸的路徑很長，很難保證整條路的穩定性，想要保證流暢傳輸，服務端和客戶端都會增加緩存（預先保存一些視頻內容）來應對音視頻卡頓。
服務器一般會先緩存一部分數據，把數據傳至客戶端，如果遇到網絡抖動，服務端可以使用緩存中的數據保證直播流的順暢。
網絡狀況恢復良好后，又會重新緩存數據。但如果遇到網絡抖動較多時，延時也會慢慢積累，影響到用戶體驗。
2.數據編碼方式會影響讀取延遲
目前我們主流的視頻編碼方式是高級視頻編碼（Advanced Video Coding，AVC），即大家常說的 H.264。
為什么我們需要編碼？編碼又如何影響直播延時呢？
假設我們看一部時長2小時的1080P、60FPS的電影，如果每個像素需要2字節的存儲空間，那么整部電影需要占用1668.54GB的空間！
平時我們硬盤的電影只有幾百MB或幾G吧？怎么會這么大呢？
其實這些都是被編碼壓縮后的文件。這樣做不僅節省空間，還能減小網絡傳輸的壓力。
那么編碼是如何影響延遲的呢？這里主要是客戶端的解碼關鍵幀的方式。
怎么理解呢？我們平時出去吃飯，偶爾會遇到店里人很多，需要排號的情況。你拿到號（關鍵幀）之后，開始等位。你可能會和朋友去旁邊逛逛街。
如果你逛完街回來，剛好遇到叫號（關鍵幀），那么就可以直接進去享用美食（直接解碼，看到視頻）。如果錯過了叫號（關鍵幀），那么就只能等一下，才能輪到你（過一段時間，再解碼）。
以上是咱們生活中比較熟悉的例子，如果用專業的話來說，就是：
如果客戶端收到的第一個視頻幀就是關鍵幀I（叫號），那么客戶端就可以直接播放，如果錯過了關鍵幀I（叫號），那么就需要等到下一個關鍵幀才可以播放視頻。
GOP（圖像組）制定了視頻幀的組織方式，每個GOP都會以關鍵幀開頭，所以GOP大小會影響播放端的延遲。
GOP決定了關鍵幀的間隔，也決定了客戶端找到第一個可播放關鍵幀的時間，進而影響視頻直播的延遲。
3.傳輸協議不同，延遲也不同
在音視頻傳輸過程中，選擇的協議不同，對延遲的影響也不同。
目前在視頻直播中比較主流的協議為RTMP和HLS，這兩種協議以不同的方式來傳輸音視頻流。不同應用層協議對音視頻的切分顆粒度，決定了端到端的網絡延遲。
RTMP、HTTP-FLV這類基于流分發的協議切片粒度很小，延遲在3s以下，可以看做實時傳輸協議。
HLS是基于文件分發的協議，切片粒度較大，在實際使用中可能會帶來20s~30s的延遲。
點擊免費開啟無延遲直播
三、降低延時的手段有哪些？
一般來說，直播中延遲要低于800毫秒，才能夠滿足連麥互動的要求，做一些比較高頻的互動。如果延遲高于800毫秒，連麥的效果就很難被觀眾接受了。
從上面這張圖譜，我們可以看到，要達到毫秒級別（1秒內）的延遲，才能夠滿足連麥的要求。為了追求更好的用戶體驗，那么我們就要不斷優化延時，達到最優。
想要在直播中實現低延遲，比較通用的原則是：
- 選擇一條最優路徑在這條路徑上做到最優保持所有路徑優質
1.選擇一條最優路徑
目前使用比較多的是智能測速，根據用戶個人連接數據分析等方法，選擇最優的網絡路徑。
2.在這條路徑上做到最優
選擇好路徑后，就要在這條路上盡可能跑得快。但是這條傳輸路徑包括了采集、編碼、推流、轉碼、分發、拉流、解碼和渲染。這里優化的關鍵點主要在于選擇協議、前向糾錯和丟包重傳等等技術。
3.保持所有路徑優質
只選擇一條最優路徑就夠了嗎？非也，這里有一個前提，整體道路網絡必須足夠好，如果選了爛泥土路，怎么能夠跑得快呢？
在這里，網絡基建是影響延遲的重要因素。可以通過以下3點來提高：
多節點覆蓋：一般來說，核心城市網絡覆蓋率更高，偏遠地區的覆蓋率較低。為了充分覆蓋，可以采用多節點來確保全網充分覆蓋。
全方位保障：通過部署全球范圍內的接入點能夠確保這一點，BGP（一種網關協議）能夠很好地解決不同網絡之間的互通問題。
優質的網絡節點資源：底層網絡服務的質量，會決定音視頻服務的用戶體驗。一般來說，一線的網絡運營商在網絡節點的數量和質量上都很有保障。
點擊免費開啟無延遲直播
四、低延時技術未來將如何發展？
5G 網絡帶來 1ms 超低時延
高可靠和超低延遲（URLLC）是 5G 三大主要應用場景之一。5G 對于終端與基站的最低要求是 1 ms，甚至更低。在通信的時延和可靠性方面，相比之前的蜂窩移動通信技術，5G 有了極大提升。
這 1ms 有多厲害呢？第三方網絡測試機構Open Singanl測試了4G LTE網絡的時延為98ms，這幾乎是5G 1ms 時延的100倍。
在5G的技術標準中，為實現這樣的超低延遲做出了許多努力，比如使用新的編碼、更短的傳輸時間間隔、優化調度模式、快速自動請求重傳等。
URLLC 是 5G 區別于 2G/3G/4G 的一個典型場景，高可靠低時延對于自動駕駛、工業應用和控制、遠程培訓、遠程手術以及其他高度延遲敏感型業務的廣泛應用非常關鍵。
5G 成熟后，我們可以真正“無延遲”實現 4K/8K 視頻直播，用戶的互動體驗和線下沒有太大區別。
一直保持對5G超高清視頻直播技術的探索。
早在2019年4月，保利威平臺已經全面支持4K編解碼服務。為5G時代下超高清視頻的播放進行布局。
同年8月，我們與廣東聯通開展合作，進行5G網絡下的4K+VR超高清直播測試。
2019年10月教育裝備展上，保利威首次公開展示5G超高清直播課堂，穩定流暢無卡頓。增強移動帶寬帶來高清快速的直播體驗，師生雙向互動毫無壓力。
已經做好充分準備，牢牢把握前沿技術的風向，與企業一起共同迎接 5G 新浪潮。
發展成熟，低延遲協議走向標準化
在低延遲直播領域，有不少廠商都開發自己的私有低延遲協議，對于用戶來說，如果要從一個廠商遷移到另一個廠商，成本會比較高。
webRTC是目前比較成熟的低延遲協議，相關數據顯示，每周僅在Chrome瀏覽器上就會有超過15億分鐘的WebRTC音視頻通話。
為什么webRTC能受到青睞呢？
首先，webRTC基于瀏覽器，無需下載任何插件和軟件，靠瀏覽器來通信。其次，它能夠兼容PC端和移動端各種平臺系統。此外，webRTC的解決方案非常完善。從編碼和解碼、流量控制、音頻處理等方面都提供了很好的支持，代碼直接開源，大大節省企業的開發成本。
可以預見的是，webRTC會逐漸成為音視頻通訊協議的主流，各家的私有協議也走向統一和標準化。音視頻通訊開始應用于眾多垂直行業，比如在線教育、在線醫療、空中宣講會等。
安廈直播擁有基于標準webRTC的實時音視頻解決方案，同時對webRTC協議進行定制優化。通過自研RTC加速網絡和強大的視頻云能力支撐，為客戶提供跨平臺、高品質、可定制化的一站式解決方案。
同時，webRTC解決方案在教育培訓、醫療、金融等場景下表現出強大的可用性，能夠靈活應對各種場景下的需求。
