摘　要

隨著網絡攻擊的復雜化、自動化、智能化水平的不斷提高，網絡中不斷涌現出新的攻擊類型，這些未曾見過的新攻擊給基于特征碼的網絡攻擊檢測和響應帶來了極大挑戰。網絡流量異常檢測通過對網絡流量進行分析，可以檢測出與正常流量明顯不同的流量，因其不依賴于靜態特征碼，被看作檢測未知新攻擊的有效手段。研究人員針對異常網絡流量的檢測提出了許多方案，包括基于統計學習法、基于無監督機器學習的方案、基于監督機器學習的方案，從流量特點、特征工程到檢測模型，再到應用場景對這些方案進行了系統性綜述。

內容目錄：

1　網絡流量數據采集

1.1　連接的基本特征

1.2　連接的內容特征

1.3　流量統計特征

1.4　原始負載

2　檢測模型

2.1　統計模型

2.1.1　簡單統計模型

2.1.2　基于協方差矩陣的模型

2.1.3　基于隱馬爾可夫的模型

2.2　監督分類模型

2.3　無監督模型

2.3.1　基于聚類算法的模型

2.3.2　基于孤立森林的模型

2.3.3　基于自編碼器的模型

2.3.4　基于 LSTM 的模型

3　未來研究方向及挑戰

4　結　語

傳統的流量側攻擊檢測方案依賴于分析人員對攻擊流量進行分析而提取出的靜態特征碼。這種方案的檢測速度極快，但檢測準確率嚴重依賴于特征庫。如果一個攻擊的特征碼沒有被收錄進特征庫，該方案就無法檢測出攻擊。另外，一些攻擊會對其流量進行加密，在不解密的情況下是無法從負載中提取特征碼的，這就導致傳統的基于特征碼的檢測方案無法對加密流量進行檢測。

正常情況下產生的網絡流量通信行為和攻擊行為下產生的網絡流量的通信行為具有明顯的不同，并且這種不同不會因負載數據被加密而消失。反過來，如果網絡中出現了與正常流量明顯不同的流量，是否就表明網絡中出現了攻擊行為？答案是不一定。因為網絡復雜多變的特性，一些原本正常的行為也會導致網絡流量出現異于往常的變化。但是這種情況是相對較少的，如果對正常流量有一個良好的建模，可以把這種情況控制在很小范圍內。所以當從網絡中檢測出異常流量時，有較大概率是攻擊行為產生的流量，后續可以通過其他手段進一步驗證其是否是一個攻擊行為。鑒于此，網絡流量異常檢測常被用于檢測非加密流量和加密流量中未知的新攻擊，其不依賴于傳統的靜態特征庫，通過對網絡流量通信行為進行分析，檢測出與正常流量明顯不同的流量，從而發現潛在的攻擊行為。

異常這個概念有許多不同的定義。Kafadar等人將其定義為一組看起來與其他數據不同的數據。Chandola 等人認為異常是和明確定義的正常行為相背離的數據模式。Lakhina等人將網絡中的異常定義為不常出現并且在網絡流量層面出現巨大的變化。通過這些定義，可以明顯看出如何定義正常態是進行異常檢測中的關鍵步驟。

許多安全研究人員在網絡流量異常檢測領域進行了研究，并且提出了許多切實可行的技術方案。通過對這些技術方案的研究可以發現，從網絡流量側進行異常檢測的方案無一例外都將采集什么樣的流量數據和使用什么樣的算法視為關鍵點。在這些方案中，流量數據和算法之間并不是緊緊耦合在一起的，實際上，一種流量數據需要用多種不同算法處理，同理，一種算法也可以處理不同種類的流量數據，技術人員可以根據實際應用場景將流量數據和算法進行自由組合以獲得最優的檢測方案。為達此目的，本文將從網絡流量數據采集和異常檢測算法模型這兩個維度對相關檢測技術進行綜述，同時對未來的研究方向和可能遇到的挑戰進行了預測。

01　網絡流量數據采集

采集什么樣的流量數據是異常檢測中一個非常重要的問題，不同的數據對網絡流量的刻畫角度和刻畫能力不同，需要根據實際應用場景和需要解決的問題來選擇合適的流量數據。根據 KDD’99 數據集 中關于特征的描述，網絡中的流量特征可以劃分為連接的基礎特征、連接的內容特征、流量統計特征 3 種類型。另外，隨著深度學習技術的出現，數據包的原始負載也可以直接用來進行異常檢測。

1.1　連接的基本特征

連接的基本特征是一個傳輸控制協議 /網 際 協 議（Transmission Control Protocol/Inte.NET Protocol，TCP/IP）族中不同層次、不同種類的協議所建立的連接的基礎屬性信息，包括但不限于一個連接的持續時間、所使用的協議類型、發送的數據量、接收的數據量等。Jadidi 等人和 Bartos 等人 利用傳輸控制協議（Transmission Control Protocol，TCP）連接的基礎特征訓練模型進行異常檢測。

連接的基礎特征使用連接雙方在通信過程中的一些基礎信息和行為信息，并不包含通信內容相關的特征，所以對連接的描述不夠全面，但在加密流量檢測的場景中，主要依靠連接的基礎特征。

1.2　連接的內容特征

連接的內容特征是對連接中的負載數據進行分析，抽取出可能反映入侵行為的特征，包括但不限于在一個連接中訪問系統敏感文件和目錄的次數、登錄失敗的次數、shell 命令出現的次數等。

連接的內容特征能夠從內容上刻畫攻擊，具有很高的準確度，但它需要該領域專家對攻擊進行分析后抽取與之相關的內容，人力成本較高，并且泛化能力有限，在加密流量場景中也無法使用。

1.3　流量統計特征

流量統計特征不再是針對單個連接，而是在一個指定時間窗口內或在指定數量的連接中抽取的可以反映攻擊行為的特征。可以統計指定時間窗口內和當前連接的目的 IP 地址相同的連接數量、和當前連接的源 IP 地址相同的連接數量、和當前連接具有相同服務類型的連接數量等，也可以統計前 n 個連接中和當前連接的目的 IP 地址相同的連接數量、前 n 個連接中和當前連接的目的 IP 地址及服務相同的連接數量等，還可以統計指定時間窗口內發往同一個目的 IP 地址的數據大小、新建連接數量、發送和接收數據包的個數等。Thottan 等人 、Fontugne等人和 Lim 等人從局域網內主機的角度，統計指定時間窗口內一個主機和其他主機之間的流量特征，并進行異常檢測。

在協議層面采集數據的優勢在于可以體現每個協議的變化情況，能夠發現與特定協議關系密切的攻擊行為。相較于基于連接的特征，流量統計特征可以從更宏觀的角度描述網絡流量，反映多個連接之間的關聯關系，能夠用來發現復雜且持續的攻擊行為。

1.4　原始負載

隨著深度學習的發展，報文中的原始負載也可以被用來作為訓練模型，進行異常檢測。深度學習模型能夠根據目標函數，通過梯度下降與反向傳播技術自動地從原始負載中提取出適用于目標任務的特征 。

利用原始負載特征不再需要特征工程，可以減少對領域專家的依賴，但是該方式需要大量的樣本數據，并且消耗大量的計算資源。另外，在負載被加密的情況下模型很難收斂到一個理想水平。

02　檢測模型

當前的檢測技術都有相應的使用場景和局限性，同時，很多檢測技術在本質上是同一類型的或是互補的，從一開始的基于統計的方案到后來的基于機器學習、深度學習的方案，其核心都是盡量準確地刻畫出正常流量和異常流量之間的差異。根據實際情況，可以采用正常流量、攻擊流量及正常流量和異常流量相結合的方式進行建模。

檢測模型由算法組成，這些算法利用提取出來的特征向量學習到正常流量的規律或者正常流量和異常流量之間的差異。從總體上，這些模型可以分為統計模型、監督分類模型、無監督模型等，不同的數據量、數據類型及應用場景需要選擇不同的檢測模型。

2.1　統計模型

統計模型在異常檢測領域被廣泛使用，其主要應用場景是異常發生點的網絡數據會發生急劇的變化。統計模型需要有一個學習期，在學習期內會記錄下所提取到的流量數據，然后用來創建統計模型。

2.1.1　簡單統計模型

Rousseeuw 等人 利用 3σ 模型對網絡流量中的各個指標進行建模。該模型首先計算歷史數據的均值和方差，然后利用均值上下波動 3個標準差的范圍區間作為正常流量指標的取值區間，超出該區間的則判定為定位異常。該方法的主要思想來自正態分布的置信區間，其優點是計算簡單，但只能應用在流量變化比較平穩的場景中，在其他復雜場景中會存在過高的誤報，并且如果用來計算均值和方差的歷史數據中存在極端異常值，則檢測結果會出現較大偏差。

為了消除歷史數據中存在的異常值所帶來的影響，Vinutha 等人 利用分位數進行異常檢測。分位數是指將隨機變量的概率分為幾個等分的數值點，常見的有二分位（即中位數）、四分位、百分位，一個四分位數箱體如圖 1 所示。

圖 1 四分位數箱體

利用四分位數進行異常檢測主要通過圖基檢驗，以四分位數為例，異常檢測的公式可以表示為：

式中：

分別為一分位點、二分位點、三分位點；x 為待檢測數據；k 為異常系數，當k = 3 時，表示極度異常；當 k =1.5 時，表示中度異常。

分位數方法采用的分位點和分位距具有對噪聲不敏感的優點，相較于均值方差的方法具有更強的魯棒性，但該方法也只適用于數據變化較為平穩的網絡環境中。

2.1.2　基于協方差矩陣的模型

協方差矩陣是一個二階統計量，可以找出哪些變量對網絡異常影響最大。Yeung 等人使用協方差分析檢測網絡中的泛洪攻擊。利用該方法對網絡流量進行建模，形成協方差矩陣樣本，以便利用時間序列樣本中包含的統計信息來檢測泛洪攻擊。根據協方差矩陣的變化和關聯特征的差異去揭示正常流量和泛洪攻擊流量之間的差異。Xie 等人 借助隨機變量，利用空間可預測性處理相鄰數據段集合，確定哪些數據段表現出了異常。為了降低計算復雜度，該方法使用與 Spearman秩相關系數和差分壓縮概念近似的樣本協方差矩陣。

協方差矩陣的方法適用于特征維度較低的場景，如果維度過高，計算復雜度會呈指數級增加。

2.1.3　基于隱馬爾可夫的模型

隱馬爾可夫模型可以對序列數據進行建模，網絡流量中采集的一部分數據是時間序列格式的，用隱馬爾可夫模型可以實現對時間序列的異常檢測。

Bang 等人 提出了一種利用隱馬爾可夫模型在無線傳感器網絡中檢測長期演進（LongTerm Evolution，LTE）網絡信號異常的方案。首先，利用隱馬爾可夫模型對正常喚醒包生成過程的時空特征進行建模，并設置一個對數概率閾值。其次，將觀測到的時空特征帶入模型進行計算，如果得到的對數概率小于設置的對數概率閾值，則將其判定為異常。

Stefanidis 等人 利用隱馬爾可夫模型對工控網絡中的命令交互進行建模來檢測異常流量。首先，從正常工控流量中提取出關鍵的交互流程片段；其次，利用這些片段訓練得到隱馬爾可夫模型；最后，利用訓練好的隱馬爾可夫模型檢測出異常的命令交互過程。

利用隱馬爾可夫模型可以從行為序列的角度對流量進行分析，從而發現異常行為，但隱馬爾可夫模型在處理長序列時存在計算下溢的風險。另外，模型中隱狀態的數量一般需要由領域專家根據應用場景進行設定。

2.2　監督分類模型

監督分類模型需要將獲取的正常流量和異常流量進行訓練得到一個二分類器，再利用二分類器對未知數據進行分類。監督分類模型常見的應用模式是先在線下獲取大量正常流量和異常流量數據，數據經過預處理及特征提取之后會被用來訓練出一個分類模型，然后將訓練好的模型部署到產品中來檢測異常流量，其模式如圖 2 所示。

圖 2 線下訓練監督分類模型

通常來說，監督學習因為可以同時看到正常流量和異常流量，所以能夠更好地學習到正常流量和異常流量之間的差異，因此在異常檢測領域表現會更好，但事實卻不是這樣的。首先在現實場景中獲取正常流量是容易的，但是獲取異常流量是非常困難的，這就導致異常流量樣本數量少，覆蓋面小，這樣的數據訓練出來的樣本很容易出現過擬合的情況，在訓練集上有著很好的表現，但在測試數據上卻表現很差。Catania 等人 提出了一種對網絡流量進行自主標記的方法，來克服樣本類別不平衡的情況并用來減少訓練數據中的噪聲。

另外，流量數據和網絡環境密切相關，不同網絡環境中的正常流量之間都存在著巨大的差異，更何況異常流量數據，所以將在一個或幾個網絡環境下采集正常流量訓練出來的模型部署在其他網絡環境中必然會出現“水土不服”的情況。

為了克服監督模型離線訓練所存在的問題，Forestiero 等人 [20] 提出一種在線訓練的監督模型方案，利用現網流量數據進行訓練，再檢測現網流量數據。該方案的總體思路如圖 3 所示。

圖 3 在線訓練監督模型

先利用其他異常檢測技術對流量進行檢測，然后標注上對應的標簽，待打了標簽的數據達到一定量級之后就啟動監督模型的訓練，在訓練過程中會設定一個收斂條件，當訓練的指標達到收斂條件之后就自動停止訓練，之后便可以將訓練好的監督模型應用到檢測流程中。在使用監督模型進行預測時，首先需要設置一個置信度，即當監督模型預測流量為異常或正常的概率大于或等于該置信度時，才會將其標注為異常或正常，并且這些數據都會被用來更新模型，其他的流量數據會被暫存，待模型更新之后會用更新后的模型繼續對暫存的流量數據進行預測，將預測為異常或正常的概率大于或等于預測置信度的數據打上相應的標簽并從暫存區移除，迭代進行上述過程，直到暫存區沒有數據為止。

監督分類模型既可以是邏輯回歸、支持向量機、隨機森林、梯度提升樹等傳統的機器學習模型，也可以是卷積神經網絡（Convolutional Neural Network，CNN）、長短時記憶網絡（LongShort Term Memory，LSTM）、深度殘差網絡等深度學習模型。傳統機器學習模型參數少，對樣本數據量要求不高，資源消耗小，訓練速度快，但是學習能力沒有深度學習模型強，需要依賴人工經驗進行特征提取。深度學習模型需要對大量數據進行訓練，資源消耗較大，但該模型學習能力強，可以直接利用原始數據實現端到端的學習。

Liu 等人提出了一種通過利用原始的報文 負 載 訓 練 CNN 和 循 環 神 經 網 絡（RecurrentNeural Network，RNN）模型來進行異常檢測的方案。在該方案中，不再有特征工程階段，模型的輸入都是原始負載經過簡單處理后的數據。CNN 模型的輸入是對負載進行分詞、詞嵌入后處理后的矩陣，RNN 模型的輸入是由負載的前n 個字符的 ASCII 值組成的序列。這種利用深度學習模型自動從原始負載中提取特征并進行分類的模型雖然可以取得不錯的效果，但前提是需要有大量不同種類、不同來源的樣本數據對模型進行訓練，否則模型很容易陷入過擬合的困境。因此在實際應用中，深度學習模型在訓練數據上可以取得不錯的效果，但是在實際應用時效果卻比較差。

2.3　無監督模型

無監督模型不需要訓練數據，主要利用在線數據進行學習和檢測，因此其適用范圍很廣。這種技術有一個前提假設，就是正常流量要遠遠多于異常流量，如果該假設不成立，則無監督模型會有很多誤報。無監督模型也需要一個學習期，系統會使用學習期內的數據訓練模型，在該階段內模型是不具備檢測能力的，當學習期結束后，就可以利用模型進行異常流量的檢測。在網絡流量異常檢測領域常用的無監督模型包括聚類、孤立森林、自編碼器等。

2.3.1　基于聚類算法的模型

聚類算法是一種典型的無監督學習算法，輸入只有特征向量，沒有標簽，其主要目的是將相似的樣本自動歸類到一個類簇中 。常用的聚類算法有 K-means、DBSCAN 等。聚類算法依賴于相似度計算方法，不同的相似度及算法得到的聚類結果也會有所不同，常用的相似度計算方法是歐式距離和閔可夫斯基距離。二維空間上的數據聚類如圖 4 所示。

圖 4 聚類

Pu 等人采用了基于聚類算法的混合方法進行異常檢測。其思路是首先在學習期內積累流量數據，待數據積累完畢利用聚類算法對這些數據進行聚類，最終聚成兩個類簇，其中數據量小的類簇稱為異常類簇。觀測到新的流量數據時，計算該數據所歸屬的類簇，如果歸屬于正常類簇，則將流量數據判定為正常；如果歸屬于異常類簇，則將流量數據判定為異常，然后使用該流量數據更新類簇。

聚類算法比較依賴于數據之間的距離度量，如果數據之間的距離度量不能很好地反映數據之間的相似性，則基于聚類算法的模型的誤報和漏報較多。

2.3.2　基于孤立森林的模型

孤立森林是一個基于集成的模型，不同于其他一些算法通過距離、密度等去描述數據之間的相似度或疏離度，它通過使用孤立樹的二叉搜索樹去孤立樣本點來檢測異常值。孤立森林是由多棵孤立樹組成的，孤立森林中包含的孤立樹越多，模型穩定性越好，但預測時的計算量也越大。

Li 等人利用孤立森林進行異常檢測，可以以很低的誤報率實現異常檢測。其思想是隨機選擇一定量的樣本作為孤立樹的根節點，然后遞歸地在孤立樹的節點上隨機選擇一個特征維度將結點一分為二，直到所有節點只有一個樣本，或者節點不可再分，或者節點的深度達到給定閾值。因為異常數據的數量很少，并且和大部分正常數據之間存在較大疏離性，所以異常數據會被更早地孤立出來，也就是說異常數據離根節點更近，正常數據離根節點更遠。Tao 等人 提出了一種基于孤立森林和 Spark 的大規模并行網絡流量異常檢測算法，該算法充分利用了孤立森林的并行特性和 Spark 分布式處理能力，能夠快速地處理海量流量數據，同時因為處理的數據量的擴大，模型的檢測準確率也得到了很大的提升。

利用孤立森林進行異常流量檢測的優點是具有線性時間復雜度，可以在海量的數據集上進行訓練，并且由于每棵孤立樹都是獨立的，非常適合通過并行的模式部署在大規模分布式系統上來加速運算。但是孤立森林在特征維度特別高的場景下并不是特別適用，主要是因為在這種情況下會有很多維度的信息并沒有被利用到，導致算法的可靠性降低。另外，高維空間中可能存在大量噪聲維度或無關維度，這會降低模型的檢測能力。

2.3.3　基于自編碼器的模型

自編碼器是一種無監督學習模型，是神經網絡的一種，通過一個編碼器將輸入特征向量映射到另一個編碼特征空間中的一個向量，然后再用一個解碼器將編碼特征空間中的向量還原回來。通過這樣一個過程使其學習到輸入數據的分布規律，從而使得符合訓練數據分布規律的數據經過編碼再還原出來之后和原始數據之間的誤差是相對較小的，不符合訓練數據分布規律的數據經過編碼再還原出來之后和原始數據之間的誤差會很大。因此基于自編碼器的這種特性可以進行異常流量檢測。

Qiu 等人采用自編碼器對正常流量進行建模，然后利用正常流量模型去檢測異常，該方案取得了不錯的效果。首先，在線下設計一個自編碼器，用收集到的流量數據訓練這個自編碼器；其次，將線下訓練好的自編碼器模型部署到相關產品中，用學習期內的數據再次微調這個自編碼器模型，直到檢測準確率達到預期準確率或者模型收斂為止，用訓練好的自編碼器對學習期內的數據進行編碼、還原，并統計還原誤差的均值

和方差

；最后，將自編碼器應用到異常流量檢測中，對于輸入的數據，如果自編碼器還原誤差大于

則將其判定為異常。

雖然自編碼器具有很強的擬合能力，但前提是需要利用大量數據進行訓練，使其能夠學習到數據的分布規律。如果數據量比較少，模型容易出現過擬合的情況，即訓練數據的重構誤差比較小，其他數據的重構誤差比較大，導致誤報比較多。

2.3.4　基于 LSTM 的模型

LSTM 是一種特殊的循環神經網絡，主要用來處理序列數據，解決了長序列數據訓練過程中的梯度消失和爆炸的問題，因此在長序列數據上也有很好的效果。網絡流量中有很多長序列數據，使用基于 LSTM 的模型可以更好地學習到這類數據的分布情況。

Li 等人提出了一種單分類 LSTM 模型，實現了端到端的異常流量檢測。該模型用 LSTM網絡將流量數據映射到一個標量空間，用一個自定義的損失函數和預設邊界值訓練模型，然后根據模型的輸出值不斷更新邊界值并再次訓練模型，直至模型收斂。該模型對數據噪聲具有較強的魯棒性，可以進行在線訓練。在設定的學習期內模型使用部署在網絡環境中的流量數據進行訓練，待模型收斂后，即可用來進行異常檢測。首先用訓練好的 LSTM 網絡層將網絡流量數據映射到標量空間的一個值，然后用該值和學習到的邊界值進行比較，如果小于或等于邊界值則判定為正常，否則判定為異常。

另外，上述方案中的 LSTM 網絡可以替換為門控循環單元（Gate Recurrent Unit，GRU）網絡。GRU 是 LSTM 的一個簡化版本，與 LSTM 的效果相當，但更易于計算。

基于 LSTM 的無監督模型通過對序列形式的正常網絡流量數據進行建模，以實現異常檢測。因為 LSTM 模型強大的學習能力，使得這類模型往往具有很好的表現。但是，由于模型比較復雜，所需的訓練數據量和計算資源比較大，模型的訓練周期比較長。

03　未來研究方向及挑戰

本文所研究的方法還是依賴領域專業人員對網絡流量進行深入分析后提取出來的特征向量去進行異常檢測，這個過程會損失網絡流量的一些信息，同時也需要根據不同的應用環境去選擇使用不同的特征組合。如何減少對人的依賴，并且能夠將網絡流量除負載內容外的相關信息以一種準確、全面、易于算法分析的方式表示出來，是今后需要著重研究的一個方向。在這個方向上所面臨的主要問題是計算量會比較大，在一些對性能要求比較高的場景中可能需要借助于硬件加速裝置。

04　結　語

本文從網絡流量數據采集和檢測模型兩個方面對異常網絡流量檢測進行了深入的研究。網絡流量數據采集從連接的基礎特征、連接的內容特征、流量統計特征、原始負載 4 個方面進行了探討，每種類型的特征對網絡流量的刻畫能力是不同的，都有其適用的場景，需要根據實際應用場景選擇合適的特征。異常流量的檢測模型有統計模型、監督分類模型和無監督模型 3 種類型，目前的主要研究方向是利用無監督模型對正常流量進行建模，然后將背離模型的流量識別為異常。

在這個過程中，深度學習模型因其強大的表征學習能力越來越受到研究人員的重視，在一些場景中，傳統的特征工程已被深度學習模型中的特征提取層所取代，隱馬爾可夫模型也正逐漸被 LSTM/GRU 等模型所取代。由于網絡流量復雜多變的特性，在異常網絡流量檢測領域沒有哪種模型是萬能的，只有了解每種模型的特點及其適用的場景和側重點，并靈活、綜合地運用多種模型，方能更有效地解決異常網絡流量檢測問題。

引用格式：吳迪鋒 , 孫昊翔 , 曹浪 , 等 . 網絡流量異常檢測綜述 [J]. 信息安全與通信保密 ,2022(8):101-111.

作者簡介 >>>

吳迪鋒，男，學士，資深安全咨詢顧問，主要研究方向為網絡安全檢測模型分析與應用、網絡安全異常流量檢測、網絡安全風險評估；

孫昊翔，男，學士，高級安全咨詢顧問，主要研究方向為網絡安全、滲透測試、漏洞挖掘；

曹　浪，男，學士，軟件工程師，主要研究方向為滲透測試、主機安全風險評估模型；

譚　天，男，碩士，高級工程師，主要研究方向為安全檢測引擎、AI 安全。

選自《信息安全與通信保密》2022年第8期(為便于排版，已省去參考文獻）