首頁 > 優(yōu)秀范文 > 網(wǎng)絡(luò)流量分析的方法
時(shí)間：2023-06-04 08:37:22
序論：速發(fā)表網(wǎng)結(jié)合其深厚的文秘經(jīng)驗(yàn)，特別為您篩選了11篇網(wǎng)絡(luò)流量分析的方法范文。如果您需要更多原創(chuàng)資料，歡迎隨時(shí)與我們的客服老師聯(lián)系，希望您能從中汲取靈感和知識！
1 多媒體流量分析的基礎(chǔ)
多媒體在應(yīng)用層面對于用戶的強(qiáng)大支持，映射到其數(shù)據(jù)層面，必然是不容忽視的大量不同數(shù)據(jù)格式。而在這樣的環(huán)境之下，想要展開有效的網(wǎng)絡(luò)流量分析，實(shí)現(xiàn)對于通信資源的優(yōu)化利用，首先必須展開對于多媒體報(bào)文的有效分類。每一個(gè)報(bào)文都會(huì)在這個(gè)過程中被分類到對應(yīng)的類型，而后進(jìn)一步依據(jù)運(yùn)營商制定的傳輸優(yōu)先策略對其展開傳輸處理。
多媒體流分類問題可抽象成從多媒體報(bào)文映射到流類型的過程，多媒體報(bào)文流經(jīng)流分類器，即展開對于其的辨別并且添加相關(guān)的類型標(biāo)識，通常會(huì)將該標(biāo)志寫入報(bào)文頭部字段中，便于后續(xù)識別和處理。在識別的過程中，可供識別多媒體流的方法主要有三種，即基于報(bào)文頭部信息的分類方法、基于數(shù)據(jù)包載荷內(nèi)容的分類方法以及基于流量統(tǒng)計(jì)模型的分類方法。其中基于報(bào)文頭部信息的分類方法，即依據(jù)報(bào)頭中的多元組信息展開工作，將其與預(yù)先定義的規(guī)則集進(jìn)行比對匹配，并且確定出媒體流的對應(yīng)分類進(jìn)行標(biāo)識。此種工作方式相對簡單，因此發(fā)展也趨于成熟，效率較高，但是在識別過程中由于多媒體應(yīng)用使用的端口通常并不固定，因此針對而言準(zhǔn)確率比較有限。而基于數(shù)據(jù)包載荷內(nèi)容的分類方法則面向報(bào)文載荷信息展開識別和工作，進(jìn)一步又可以針對應(yīng)用層協(xié)議展開解析或針對載荷內(nèi)容展開特征解析。此種識別方式工作準(zhǔn)確率基本有所保證，但是對于某些私有協(xié)議以及加密數(shù)據(jù)流，會(huì)因?yàn)闊o法有效提取特征信息而導(dǎo)致識別失敗。最后，基于流量統(tǒng)計(jì)模型的分類方法主要是關(guān)注多媒體流量特征，通過流量來判斷多媒體數(shù)據(jù)的傳輸行為模式，諸如數(shù)據(jù)包的大小以及包與包之間的間隔時(shí)間等方面特征。此種方式能夠?qū)崿F(xiàn)系統(tǒng)的自主學(xué)習(xí)，但是會(huì)存在一定的分類延時(shí)。
2 網(wǎng)絡(luò)流量分析技術(shù)淺議
對多媒體進(jìn)行標(biāo)識之后，可以在網(wǎng)絡(luò)環(huán)境中展開更為有效的網(wǎng)絡(luò)流量分析。已經(jīng)被標(biāo)記的信息流在傳輸過程中能夠表現(xiàn)出不同的對于資源的占用，以此作為依據(jù)展開更具有針對性的網(wǎng)絡(luò)流量分析，對于整體網(wǎng)絡(luò)數(shù)據(jù)傳輸資源和功能的優(yōu)化都必然有著積極價(jià)值。
隨著計(jì)算機(jī)技術(shù)的不斷成熟，網(wǎng)絡(luò)流量分析技術(shù)也呈現(xiàn)出不斷發(fā)展的特征。當(dāng)前的流量分析技術(shù)，主要是在傳統(tǒng)的數(shù)據(jù)庫技術(shù)基礎(chǔ)之上，以一種開放的態(tài)度構(gòu)建起支持自學(xué)習(xí)的網(wǎng)絡(luò)流量分析系統(tǒng)，從而實(shí)現(xiàn)整個(gè)體系的智能化。就目前的狀況看，常見的幾種流量分析技術(shù)有以下幾種。小學(xué)德育論文
1）SNMP技術(shù)。此種技術(shù)主要用于實(shí)現(xiàn)面向網(wǎng)絡(luò)環(huán)境中多種類型設(shè)備展開監(jiān)控和管理，并且對既有問題進(jìn)行定位。該技術(shù)系統(tǒng)包括SNMP協(xié)議、管理信息結(jié)構(gòu)以及管理信息庫三個(gè)部分構(gòu)成，其中SNMP協(xié)議用于實(shí)現(xiàn)在應(yīng)用程序和設(shè)備時(shí)間交換信息，而管理信息結(jié)構(gòu)用于指定一個(gè)設(shè)備維護(hù)的管理信息的規(guī)則集，最后管理信息庫用于明確設(shè)備所維護(hù)的全部被管理對象的結(jié)構(gòu)集合。
2）RMON技術(shù)。該項(xiàng)技術(shù)由IETF定義，本身是對于SNMP技術(shù)的一種深入。其對于標(biāo)準(zhǔn)功能以及網(wǎng)管站遠(yuǎn)程監(jiān)控器之間的接口進(jìn)行了重新定義，使得其能夠?qū)崿F(xiàn)更為順暢的數(shù)據(jù)交換，從而有助于展開對于網(wǎng)絡(luò)環(huán)境數(shù)據(jù)流量的更為有效監(jiān)視。在RMON系統(tǒng)中，當(dāng)探測器發(fā)現(xiàn)了一個(gè)非正常態(tài)的網(wǎng)絡(luò)段之后，會(huì)主動(dòng)與網(wǎng)絡(luò)維護(hù)管理控制臺接通聯(lián)絡(luò)，并將對應(yīng)的網(wǎng)絡(luò)信息進(jìn)行發(fā)送，實(shí)現(xiàn)對于整體網(wǎng)絡(luò)流量的監(jiān)控和分析。
3）SFlow技術(shù)。此種技術(shù)以隨機(jī)采樣作為主要的研究方式，并且能夠提供從第二層到第四層的相對完整的網(wǎng)絡(luò)流量分析信息，這種分析甚至可以擴(kuò)展到整個(gè)網(wǎng)絡(luò)環(huán)境中，能夠?qū)崿F(xiàn)面向大數(shù)據(jù)流量的適應(yīng)，尤其是在面向以流媒體作為主要流量資源占用的網(wǎng)絡(luò)環(huán)境時(shí)，仍然能夠保持穩(wěn)定的表現(xiàn)。此種技術(shù)成本較低且不會(huì)因?yàn)橐肫浼夹g(shù)為網(wǎng)絡(luò)環(huán)境帶來新的沖突，同時(shí)數(shù)據(jù)信息量大，能夠?qū)崿F(xiàn)更為完善的網(wǎng)絡(luò)分析。
4）NetFlow技術(shù)。此種技術(shù)主要用于實(shí)現(xiàn)網(wǎng)絡(luò)層高性能交換，首先被用于對網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)交換進(jìn)行加速。但是其核心是對于流緩存進(jìn)行進(jìn)一步的整理，因此在工作的過程中必然會(huì)能夠得到很多依據(jù)匯聚方法而統(tǒng)計(jì)的數(shù)據(jù)，其中包括諸如源IP、目的IP以及源端口和目的端口以及相關(guān)傳輸協(xié)議與包數(shù)量等，這些信息和統(tǒng)計(jì)數(shù)據(jù)對于深入展開網(wǎng)絡(luò)流量分析有著不容忽視的積極價(jià)值。
3 結(jié)論
在多媒體應(yīng)用的網(wǎng)絡(luò)環(huán)境中，深入可靠的網(wǎng)絡(luò)流量分析系統(tǒng)，對于切實(shí)提升網(wǎng)絡(luò)自身的數(shù)據(jù)傳輸能力，為多媒體用戶提供更為穩(wěn)定的數(shù)據(jù)傳輸服務(wù)有著積極價(jià)值。實(shí)際工作中唯有不斷深入發(fā)現(xiàn)自身網(wǎng)絡(luò)環(huán)境特征，才能有的放矢展開有效的流量分析，實(shí)現(xiàn)網(wǎng)絡(luò)環(huán)境優(yōu)化。
路由器、交換機(jī)、寬帶接入服務(wù)器是構(gòu)成寬帶網(wǎng)絡(luò)的主要網(wǎng)絡(luò)設(shè)備，一般數(shù)據(jù)網(wǎng)管系統(tǒng)可以看到每一臺設(shè)備的CPU、內(nèi)存、端口流量、路由數(shù)據(jù)庫等網(wǎng)絡(luò)信息，但這些流量是怎樣構(gòu)成的，會(huì)對網(wǎng)絡(luò)產(chǎn)生怎樣的影響，我們無從知曉。對寬帶網(wǎng)絡(luò)流量的深入分析，使網(wǎng)絡(luò)設(shè)備流量監(jiān)控系統(tǒng)可以監(jiān)測的數(shù)據(jù)包括：網(wǎng)絡(luò)流量構(gòu)成分析、使用的協(xié)議、系統(tǒng)負(fù)載、端口分布情況、數(shù)據(jù)應(yīng)用統(tǒng)計(jì)、數(shù)據(jù)安全性、發(fā)送時(shí)間等。網(wǎng)絡(luò)流量分析應(yīng)用可以接收來自網(wǎng)絡(luò)的各種信息，通過對這些數(shù)據(jù)的分析，網(wǎng)絡(luò)管理員可以深入了解網(wǎng)絡(luò)當(dāng)前的運(yùn)行狀況。下面從幾個(gè)方面對寬帶網(wǎng)絡(luò)流量分析方法進(jìn)行探討：
1 數(shù)據(jù)抽樣
抽樣是指從原始數(shù)據(jù)集中按一定原則抽取部分實(shí)例，構(gòu)成數(shù)據(jù)子集作為觀察對象。抽樣的目的是為了代表原始數(shù)據(jù)集特性的較小的數(shù)據(jù)集上獲得對原始數(shù)據(jù)集特性的推斷。數(shù)據(jù)抽樣的方法包括簡單隨機(jī)抽樣，即按照1/k的頻率，隨機(jī)進(jìn)行抽樣；系統(tǒng)抽樣按數(shù)據(jù)包生成的時(shí)間順序，在抽取第一個(gè)數(shù)據(jù)包后，每隔k個(gè)包抽取一個(gè)包；分層抽樣可對標(biāo)注過的每類應(yīng)用采用簡單隨機(jī)抽樣或系統(tǒng)抽樣方式抽取數(shù)據(jù)包；集群抽樣可從多個(gè)子數(shù)據(jù)集中再隨機(jī)抽取若干個(gè)子數(shù)據(jù)集。
為對數(shù)據(jù)分布進(jìn)行準(zhǔn)確的分析，要用到幾個(gè)簡單的度量指標(biāo)，包括算數(shù)平均值Mean、算數(shù)和S、計(jì)數(shù)C、最小值Min、最大值Max、極差Ed、中列數(shù)Mr、第一個(gè)四分位數(shù)Q1、第三個(gè)四分位數(shù)Q3、中位數(shù)Median、眾數(shù)Mode、離群點(diǎn)Outlier等。設(shè)n個(gè)排序后的觀察：
C=n
Min=x1
Max=x1
Ed=Max-Min
Mr=（Max-Min）/2
Q1=xn/4
Q3=x3n/4
Median=（x[n/2]+x[（n+1）/2]）/2
另外，眾數(shù)是指數(shù)據(jù)集中出現(xiàn)頻率最高的數(shù)；離群點(diǎn)有時(shí)又稱為歧異值，通常是指數(shù)據(jù)集中與數(shù)據(jù)一般行為不一樣的樣本。
2 流量分類
網(wǎng)絡(luò)流量分類是依據(jù)網(wǎng)絡(luò)應(yīng)用協(xié)議對應(yīng)的某些參數(shù)或特征，自動(dòng)將網(wǎng)絡(luò)流量分成不同流量種類的過程。流量分類一般指將網(wǎng)絡(luò)流量分為多類，如果是二類分類，則可以使用流量檢測、流量識別、流量鑒別等方法。
從網(wǎng)絡(luò)流量分類針對的目標(biāo)粒度，由細(xì)到粗又可以進(jìn)一步分為包級（packer-level） 、流級（flow-level）和會(huì)話級（session-level）。包級分類基于網(wǎng)絡(luò)數(shù)據(jù)包所具有的特征，如包長、包到達(dá)間隔時(shí)間等，對每個(gè)數(shù)據(jù)包進(jìn)行分類；流級分類基于五元組（源IP地址、源端口號、目的IP地址、目的端口號和協(xié)議）進(jìn)行分類，除關(guān)注包級特征外，通常會(huì)進(jìn)一步考慮流級得指紋特征，統(tǒng)計(jì)特征或行為特征；會(huì)話級分類基于三元組（源IP地址、目的IP地址和協(xié)議）進(jìn)行分類，適用于簡單網(wǎng)絡(luò)服務(wù)環(huán)境的流量粗分類。
基于DPI（深度包檢測）的流量分類方法通過分析特定應(yīng)用在通信過程中的傳輸協(xié)議特征串實(shí)現(xiàn)流量分類，DPI一般是在應(yīng)用層內(nèi)容搜索特征串，如BitTorrent的某個(gè)TCP數(shù)據(jù)包中包含特征串”0x13BitTorrent”。在基于載荷進(jìn)行DPI的流量分類中，DPI流量分類需要解決如下幾個(gè)問題：非標(biāo)應(yīng)用和私有協(xié)議越來越多，它們多缺乏公開可用的協(xié)議規(guī)范，導(dǎo)致特征串難找易變；某些特征模式的代表性較差，僅能匹配到部分流量，導(dǎo)致檢全率較低；隨機(jī)加密流可能匹配若干模式，導(dǎo)致誤檢率較高；基于協(xié)議語法或數(shù)據(jù)語義分析需要進(jìn)行大量計(jì)算，導(dǎo)致系統(tǒng)時(shí)間和空間開銷較大。
3 基于統(tǒng)計(jì)學(xué)習(xí)的流量分析
基于統(tǒng)計(jì)學(xué)習(xí)的流量分析方法通過計(jì)算特定應(yīng)用流量的統(tǒng)計(jì)信息，利用各種機(jī)器學(xué)習(xí)算法，包括有監(jiān)督學(xué)習(xí)算法和無監(jiān)督學(xué)習(xí)算法，對捕獲的網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行鑒別。基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分類通常包含三個(gè)步驟：統(tǒng)計(jì)特性抽取，單包特征如包長，復(fù)合流統(tǒng)計(jì)如均值或標(biāo)準(zhǔn)偏差；分類器構(gòu)造及訓(xùn)練；新流量分類。
基于機(jī)器學(xué)習(xí)的流量分類方法面臨以下幾個(gè)方面的問題：難以確定最有效的特征集，既要選擇最佳的n個(gè)特征，使分類算法得到最大的分類準(zhǔn)確率，同時(shí)要求n的值最?。桓呔S特征導(dǎo)致某些算法收斂時(shí)間長，計(jì)算復(fù)雜性較高，若僅參考從數(shù)據(jù)包頭導(dǎo)出的分類特征，如果每個(gè)流用于抽取特征的包數(shù)為n，則收集每個(gè)特征的計(jì)算成本將接近n.log2n；某些算法模型可能陷入局部最優(yōu)；分類準(zhǔn)確率高度依賴于樣本的先驗(yàn)概率，而訓(xùn)練和測試樣本對某類流量可能是有偏樣本。
4 總結(jié)
寬帶網(wǎng)絡(luò)流量分析是網(wǎng)絡(luò)運(yùn)營管理，網(wǎng)絡(luò)發(fā)展規(guī)劃，網(wǎng)絡(luò)流量調(diào)度和高效能業(yè)務(wù)前瞻的依據(jù)。網(wǎng)絡(luò)流量分析也是網(wǎng)絡(luò)攻擊和惡意代碼檢測以及流量清洗的重要手段。隨著寬帶網(wǎng)絡(luò)流量的快速增長，骨干網(wǎng)體系架構(gòu)不斷演進(jìn)、扁平化、網(wǎng)狀化、動(dòng)態(tài)自適應(yīng)成為網(wǎng)絡(luò)發(fā)展的趨勢，寬帶網(wǎng)絡(luò)流量分析再次面臨巨大挑戰(zhàn)，包括：高速網(wǎng)絡(luò)數(shù)據(jù)實(shí)時(shí)無損采集、單向流、協(xié)議私有化、加密、P2P、隧道傳輸、缺乏可信數(shù)據(jù)集和評估標(biāo)準(zhǔn)，網(wǎng)絡(luò)流量分析研究工作仍然需要不斷深入與創(chuàng)新。
參考文獻(xiàn)
[1]（美）Nader F.Mir，潘淑文.計(jì)算機(jī)與通信網(wǎng)絡(luò)[M].北京：中國電力出版社，2010（01）.
[2]余浩，徐明偉.P2P流檢測技術(shù)研究綜述[J].清華大學(xué)學(xué)報(bào)，2009（49）.
[3]彭蕓，劉瓊.Internet 流分類方法的比較研究[J].計(jì)算機(jī)科學(xué)，2007（34）.
1網(wǎng)絡(luò)流量分析的內(nèi)容
網(wǎng)絡(luò)通信流量分析的目的是了解網(wǎng)絡(luò)工況，及早發(fā)現(xiàn)可能存在的數(shù)據(jù)流量問題和應(yīng)對措施。需明確的是，計(jì)算機(jī)網(wǎng)絡(luò)通信的核心作用是傳輸數(shù)據(jù)，而網(wǎng)絡(luò)流量的分析就是采集和分析計(jì)算機(jī)網(wǎng)絡(luò)中傳輸?shù)暮Ａ繑?shù)據(jù)流，網(wǎng)絡(luò)數(shù)據(jù)流的分析從計(jì)算機(jī)及傳輸相關(guān)的物理硬件底層的數(shù)據(jù)流到應(yīng)用層的數(shù)據(jù)流分析，也稱為網(wǎng)絡(luò)通信協(xié)議分析。網(wǎng)絡(luò)管理人員若想了解和管控好一個(gè)網(wǎng)絡(luò)，其最重要的就是對網(wǎng)絡(luò)的了解，所謂知己知彼，包括并不限于了解網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、配置參數(shù)和設(shè)備類型等，但要保證網(wǎng)絡(luò)通信的服務(wù)質(zhì)量，這樣的認(rèn)知是還是遠(yuǎn)遠(yuǎn)不夠。對網(wǎng)絡(luò)通信流量的分析能使網(wǎng)管更深入地了解計(jì)算機(jī)網(wǎng)絡(luò)，包括計(jì)算機(jī)網(wǎng)絡(luò)運(yùn)行規(guī)律、網(wǎng)絡(luò)運(yùn)行模式和用戶的上網(wǎng)行為。
2網(wǎng)絡(luò)異常的行為
計(jì)算機(jī)網(wǎng)絡(luò)異常的發(fā)現(xiàn)是建立在充分認(rèn)知和網(wǎng)絡(luò)閥值為基礎(chǔ)的，一旦網(wǎng)絡(luò)流量突破了網(wǎng)管人員預(yù)設(shè)的網(wǎng)絡(luò)流量閥值，就需要通過發(fā)現(xiàn)、詢因、流控等技術(shù)手段，以防止網(wǎng)絡(luò)流量的無限暴增，進(jìn)而能為網(wǎng)絡(luò)通信保持一定的高性能運(yùn)行提供重要的保障。通常的網(wǎng)絡(luò)異常情況如下：(1)網(wǎng)絡(luò)運(yùn)行異常：網(wǎng)絡(luò)中流量的異常，包括資源利用率、數(shù)據(jù)包數(shù)的異常。(2)網(wǎng)絡(luò)應(yīng)用異常：進(jìn)程連接數(shù)量、用戶應(yīng)用響應(yīng)、應(yīng)用程序流量的異常，都能通過長期的主動(dòng)分析來及時(shí)預(yù)警和發(fā)現(xiàn)。(3)用戶的異常上網(wǎng)行為：異常的上網(wǎng)行為也有鮮明的流量特征，如被蠕蟲病毒感染、不知情的情況下安裝了后門程序等，長期的數(shù)據(jù)流量分析能及時(shí)發(fā)現(xiàn)上網(wǎng)用戶的這些異常網(wǎng)絡(luò)行為，如何及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)用戶的異常上網(wǎng)行為是解決其影響網(wǎng)絡(luò)正常高效運(yùn)行的關(guān)鍵。
二建立機(jī)器學(xué)習(xí)的計(jì)算機(jī)網(wǎng)絡(luò)通信流量分析
模型計(jì)算機(jī)網(wǎng)絡(luò)流量的突變性、弱耦合性和影響的非線性等特性，對傳統(tǒng)計(jì)算機(jī)網(wǎng)絡(luò)通信理論提出了新的挑戰(zhàn)，導(dǎo)致對網(wǎng)絡(luò)流量和協(xié)議概率分布的準(zhǔn)確建模變得異常困難。
1模型擬解決的問題
針對計(jì)算機(jī)網(wǎng)絡(luò)通信流量分析的特點(diǎn)，提出了一個(gè)基于機(jī)器學(xué)習(xí)的計(jì)算機(jī)網(wǎng)絡(luò)通信的流量分析概念模型。提出該模型的真正目的在于：最大限度地利用獲得的流量數(shù)據(jù)和網(wǎng)管人員的監(jiān)測信息，自動(dòng)完成流量分析的各個(gè)任務(wù)，自適應(yīng)各種上層應(yīng)用及對網(wǎng)絡(luò)的性能優(yōu)化。同時(shí)，模型通過計(jì)算機(jī)主動(dòng)學(xué)習(xí)，指導(dǎo)主動(dòng)式監(jiān)測的進(jìn)行。從通信流量分析的具體任務(wù)而言，如果已經(jīng)較好地獲得了數(shù)據(jù)流量的概率分布特性，有兩個(gè)基本的問題：（1）正常情況，計(jì)算機(jī)監(jiān)控程序能否利用已得到的概率統(tǒng)計(jì)特性來預(yù)測可能發(fā)生未知的數(shù)據(jù)流量情況；（2）數(shù)據(jù)流量的特性突變之時(shí)，計(jì)算機(jī)監(jiān)控程序能否快速、有效地發(fā)現(xiàn)這種流量突變。這分別對應(yīng)于網(wǎng)絡(luò)數(shù)據(jù)流量預(yù)測和異常網(wǎng)絡(luò)數(shù)據(jù)流量檢測，可以通過具有自學(xué)習(xí)能力的計(jì)算機(jī)程序自動(dòng)實(shí)現(xiàn)上述預(yù)測和檢測。
2機(jī)器學(xué)習(xí)的概念
模型所謂機(jī)器學(xué)習(xí)的本質(zhì)是計(jì)算機(jī)程序的性能隨著經(jīng)驗(yàn)的累積能自我完善。恰當(dāng)選擇計(jì)算機(jī)的機(jī)器學(xué)習(xí)算法，可最大限度地使用上述經(jīng)驗(yàn)和監(jiān)測信息，從而完成流量分析各任務(wù)的自動(dòng)化處理，并根據(jù)應(yīng)用環(huán)境對網(wǎng)絡(luò)的性能進(jìn)行優(yōu)化。為此，機(jī)器算法是處理上述問題的理想選擇。首先給出基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分析模型，接著從機(jī)器學(xué)習(xí)的角度，闡明基于改進(jìn)Boosting的機(jī)器學(xué)習(xí)算法。機(jī)器學(xué)習(xí)的本質(zhì)是將人類的經(jīng)驗(yàn)積累和長期的監(jiān)測到的統(tǒng)計(jì)數(shù)據(jù)通過計(jì)算機(jī)程序以自動(dòng)提高其性能，根據(jù)計(jì)算機(jī)通信網(wǎng)絡(luò)分析的一般流程，提出機(jī)器學(xué)習(xí)模型。此類模型利用網(wǎng)絡(luò)監(jiān)測算法測量獲得的流量數(shù)據(jù)，然后利用機(jī)器學(xué)習(xí)的方法，自動(dòng)完成流量分析的各項(xiàng)作業(yè)任務(wù)，支持各種上層應(yīng)用對網(wǎng)絡(luò)的性能優(yōu)化。當(dāng)網(wǎng)絡(luò)管理人的監(jiān)督信息可以獲得的時(shí)候，該數(shù)據(jù)信息可以作為機(jī)器學(xué)習(xí)算法的儲(chǔ)備和先驗(yàn)知識，結(jié)合人類的智慧以進(jìn)一步提高算法的性能，如此往復(fù)，循環(huán)提升，不斷提高系統(tǒng)的數(shù)據(jù)流量分智能。
3改進(jìn)Boosting算法
改進(jìn)Boosting算法是一類使得學(xué)習(xí)算法的性能得以提高的學(xué)習(xí)策略?；贐oosting的學(xué)習(xí)算法的思路：找到許多簡單粗略的判斷準(zhǔn)則要比找到一條非常準(zhǔn)確的準(zhǔn)則容易得多。通過不斷調(diào)用這種算法，每次用訓(xùn)練樣本的不同子集對它進(jìn)行訓(xùn)練，循環(huán)多次后，這些準(zhǔn)則就會(huì)結(jié)合成一條基本學(xué)習(xí)規(guī)則。
DOIDOI：10.11907/rjdk.162346
中圖分類號：TP309
文獻(xiàn)標(biāo)識碼：A 文章編號文章編號：16727800（2016）011018402
0 引言
異常流量相對于平穩(wěn)的網(wǎng)絡(luò)流量有著顯著變化，它來自于網(wǎng)絡(luò)中的擁塞和路由器上的資源過載。網(wǎng)絡(luò)運(yùn)營商必須及時(shí)準(zhǔn)確地檢測異常流量，否則網(wǎng)絡(luò)無法有效、可靠地運(yùn)行[1]。研究人員采用了各種分析技術(shù)，從基于體積分布的分析到基于網(wǎng)絡(luò)流量分布的分析來研究流量異常檢測。而最近研究表明，基于熵的異常檢測具有更好的效果。該方法是在流量分布中捕捉細(xì)粒度的模式，使用熵來跟蹤流量分布的變化具有兩方面優(yōu)勢：①利用熵可以提高檢測靈敏度，異常事件的發(fā)生可能未表現(xiàn)出存儲(chǔ)量異常；②使用流量特征可以診斷信息異常事件的性質(zhì)（如區(qū)分蠕蟲、DDoS攻擊或掃描）[2]。
一般而言，大多數(shù)研究者認(rèn)為Flow頭的功能（如IP地址、端口和流量大?。┛勺鳛榛陟氐漠惓z測的備用選擇[3]。然而，端口和地址分布的兩兩相關(guān)性大于0.95，異常檢測到的端口和地址分布明顯重疊，這是產(chǎn)生深層流量模式的本質(zhì)原因。此外，異常掃描、DoS和P2P事件都不能通過端口和地址分布進(jìn)行精確檢測，或只有在顯著的網(wǎng)絡(luò)流量異常事件發(fā)生時(shí)才能檢測出異常?？紤]到端口和地址分布的有限作用，應(yīng)選擇流量分布作為基于熵的異常檢測指標(biāo)。
本文提出一種利用度分布提高端口和地址分布檢測能力的異常檢測機(jī)制。使用入度和出度分布來估算每個(gè)主機(jī)通信的目的/源IP地址，對于每個(gè)入度值（出度值），通過計(jì)算熵來診斷異常。其中，選擇目的/源IP地址作為唯一備用指標(biāo)，而不是兩個(gè)地址和端口，不需要使用具有相同底層屬性的不同分布來增加計(jì)算開銷。同時(shí)，為了捕捉動(dòng)態(tài)網(wǎng)絡(luò)流量的本質(zhì)，引入了一個(gè)固定時(shí)間寬度的滑動(dòng)窗口機(jī)制。
1 相關(guān)研究
網(wǎng)絡(luò)流量的異常檢測是保證網(wǎng)絡(luò)正常有效運(yùn)行的重要手段。網(wǎng)絡(luò)流量異常檢測技術(shù)自提出以來，經(jīng)過多年發(fā)展，誕生了多種檢測方法，但這些方法通常都存在一定缺陷。因此，如何進(jìn)一步提高檢測準(zhǔn)確性、減少誤報(bào)率仍然是國內(nèi)外學(xué)者的研究熱點(diǎn)。其中，許多方法都集中在使用流量分布來診斷異常，如Thottan[4]使用單獨(dú)的MIB變量的統(tǒng)計(jì)分布來檢測網(wǎng)絡(luò)流量的突然變化。在各種異常統(tǒng)計(jì)檢測技術(shù)中，基于熵的方法已被證明在檢測異常的流量矩陣時(shí)間序列中的準(zhǔn)確性和效率。張航等[5]利用最大值和相對熵建立了一種基于行為的異常檢測方法。以最大熵為基礎(chǔ)的基線分布由預(yù)先標(biāo)記的訓(xùn)練數(shù)據(jù)構(gòu)成，但該基線適應(yīng)網(wǎng)絡(luò)流量動(dòng)態(tài)變化的機(jī)制仍然不清楚。本文提出一個(gè)機(jī)制，根據(jù)動(dòng)態(tài)網(wǎng)絡(luò)流量在測量期間的變化來構(gòu)建自適應(yīng)基線，并調(diào)整基線在一個(gè)特定的時(shí)間跨度內(nèi)。
在線檢測異常受大流量數(shù)據(jù)的實(shí)時(shí)統(tǒng)計(jì)影響。吳靜等[6]采用五元組流分布（即源地址、目的地址、源端口、目的端口、協(xié)議）進(jìn)行流量分析，導(dǎo)致內(nèi)存和處理能力的高開銷。一些網(wǎng)絡(luò)入侵檢測系統(tǒng)，如FlowMatrix與Snort匹配數(shù)據(jù)包到一個(gè)預(yù)定義的規(guī)則集，使它們無法檢測未知異常[7]。本文認(rèn)為地址和端口具有高相關(guān)性，并使用地址作為獨(dú)特的度量來代替元組，用于檢測異常度分布的熵，不僅可減輕計(jì)算過程中在線分析階段的開銷，而且在發(fā)現(xiàn)新的異常類型方面比常規(guī)方法效果更好。
2 基礎(chǔ)理論
大多數(shù)流量異常都有一個(gè)共同特點(diǎn)，它們誘導(dǎo)流量頭特征分布的異常變化，如源地址、目的地址與端口，一般顯示出分散或集中分布的現(xiàn)象[8]。
例如，圖1顯示了3種類型攻擊的流量特征分布。圖1（a）顯示了一個(gè)典型的分布式拒絕服務(wù)（DDoS）攻擊。在這種情況下，大量主機(jī)發(fā)送信息到一個(gè)特定主機(jī)。同樣，許多網(wǎng)絡(luò)蠕蟲通過發(fā)送隨機(jī)探測，即到隨機(jī)區(qū)域產(chǎn)生大量目的地IP地址，從而使受感染的計(jì)算機(jī)繼續(xù)感染其它脆弱的計(jì)算機(jī)，如圖1（b）所示。在一些掃描事件中，一個(gè)源IP地址隨機(jī)掃描多個(gè)IP地址，如圖1（c）所示。
從以上分析得知，網(wǎng)絡(luò)流量發(fā)生異常時(shí)，會(huì)使源/目的地址、源/目的端口分布出現(xiàn)變化（見表1）。接下來需要研究：①采用什么指標(biāo)可以準(zhǔn)確配置這些異常流量特征，并明確表明上述攻擊的發(fā)生；②如何有效地量化異常大小，并揭示非正常的流量行為。
3 診斷方法
3.1 系統(tǒng)模型
總體架構(gòu)包括3個(gè)主要功能部分：處理引擎（后端）、數(shù)據(jù)庫和WebGUI（前端）。處理引擎執(zhí)行顯式算法WebGUI和數(shù)據(jù)庫之間的通信。引擎主要實(shí)現(xiàn)以下幾方面任務(wù)：①接收NetFlow記錄的數(shù)據(jù)，如路由器、交換機(jī)、防火墻等，并以一個(gè)特定方式將數(shù)據(jù)通過緩沖存儲(chǔ)到數(shù)據(jù)庫；②獲得相關(guān)參數(shù)后，可通過使用SQL查詢來計(jì)算熵值度分布的原始流量數(shù)據(jù)；③根據(jù)測量期間的網(wǎng)絡(luò)狀態(tài)自動(dòng)調(diào)整檢測閾值。流量統(tǒng)計(jì)數(shù)據(jù)庫提供了結(jié)構(gòu)化存儲(chǔ)，簡化了熵值的分布程度計(jì)算。WebGUI前端可通過圖形方式顯示檢測結(jié)果。
3.2 算法設(shè)計(jì)
進(jìn)行在線流量分析時(shí)，要提高異常檢測精度，減少計(jì)算時(shí)的開銷，異常檢測的流程與算法必須是輕量級的。首先，設(shè)計(jì)一個(gè)數(shù)據(jù)源和數(shù)據(jù)庫之間的緩沖區(qū)進(jìn)行存儲(chǔ)和檢索。其次，考慮到許多攻擊一般只有幾分鐘時(shí)間，如DDoS攻擊一般只持續(xù)兩分鐘，因此要設(shè)置一個(gè)有限的時(shí)間段作為一個(gè)基本測量時(shí)間窗口的度量單位。
從概念上講，該算法可以分為3個(gè)階段：在第一階段，配置Netflow在特定時(shí)間段內(nèi)的頁面流量統(tǒng)計(jì)，根據(jù)訓(xùn)練數(shù)據(jù)和預(yù)定義的閾值熵排除異常值，以便在測量期間準(zhǔn)確校準(zhǔn)基線。自適應(yīng)閾值在檢測過程中生效；第二階段為處理階段，滑動(dòng)時(shí)間窗口時(shí)，計(jì)算該窗口中流量特征的熵值；第三階段為后處理階段，設(shè)置閾值為下一個(gè)檢測過程的計(jì)算均值熵和方差。該算法的偽代碼如下：
4 結(jié)語
本文介紹了基于度分布的流量異常在線檢測方法，該方法具有以下優(yōu)點(diǎn)：①可以準(zhǔn)確、高效地使用流量頭特征捕捉細(xì)粒度的流量模式分布，不僅減少了在線處理時(shí)間，也提高了檢測能力；②利用熵可以提高檢測靈敏度的特點(diǎn)來發(fā)現(xiàn)已知或未知的流量異常，并將其量化；③具備一種可降低誤警率的自適應(yīng)閾值。下一步工作是進(jìn)一步分析流量異常特征，尋找診斷網(wǎng)絡(luò)異常的方法。此外，降低報(bào)警延遲也是需要考慮的問題之一。
參考文獻(xiàn)：
[1] 王秀英，邵志清，陳麗瓊.異常流量檢測中的特征選擇[J].計(jì)算機(jī)工程與應(yīng)用，2010（28）：129131.
[2] 崔錫鑫，蘇偉，劉穎.基于熵的流量分析和異常檢測技術(shù)研究與實(shí)現(xiàn)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2013（5）：126129.
[3] 鄭黎明，鄒鵬，韓偉紅.基于多維熵值分類的骨干網(wǎng)流量異常檢測研究[J].計(jì)算機(jī)研究與發(fā)展，2012（9）：154163.
[4] THOTTAN M，JI C.Anomaly detection in IP networks[J].IEEE Transation on Signal Processing，2003，51（8）：21912204.
[5] 趙飛翔，張航，何小海.基于多層分塊的異常行為檢測算法[J].科學(xué)技術(shù)與工程，2015（10）：112116.
中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A文章編號：1007-9599 (2010) 14-0000-01
The Flow Monitoring Method of Network Management
Li Jiabin
(Ocean University of China,Qingdao266100,China)
Abstract:With the rapid development of modern network technology,by network flow monitoring,to detect traffic anomaly within the enterprise LAN host,or set the threshold according to the system early warning so as to better protect the normal course of business demand for network bandwidth ,is the inevitable requirement of the development of network technology.In this paper,the characteristics of network traffic,network traffic measurement has done a study,so as to optimize the traffic monitoring technology made a number of recommendations.
Keywords:Network management;Network flow;Monitoring
企業(yè)局域網(wǎng)的廣泛應(yīng)用為廣大企業(yè)帶來了快速的信息響應(yīng)、辦公效率的大幅提升、經(jīng)營成本的降低等眾多好處。但同時(shí)，隨著網(wǎng)絡(luò)技術(shù)突飛猛進(jìn)的發(fā)展，網(wǎng)絡(luò)應(yīng)用五花八門，企業(yè)也不得不面對越來越多的惡意網(wǎng)絡(luò)攻擊與黑客入侵。目前，企業(yè)局域網(wǎng)網(wǎng)絡(luò)安全綜合應(yīng)用了防火墻、入侵監(jiān)測、漏洞掃描、補(bǔ)丁分發(fā)等安全產(chǎn)品，致力于建設(shè)集訪問控制、流量監(jiān)測、帶寬管理及終端管理等功能與一體的安全管理平臺。通過對網(wǎng)絡(luò)流量的監(jiān)測，及時(shí)發(fā)現(xiàn)企業(yè)局域網(wǎng)內(nèi)流量異常的主機(jī)，或者根據(jù)系統(tǒng)設(shè)置的閾值提前預(yù)警，從而更好的保護(hù)正常業(yè)務(wù)對網(wǎng)絡(luò)帶寬的需求。所以，網(wǎng)絡(luò)流量監(jiān)測是實(shí)現(xiàn)對企業(yè)局域網(wǎng)運(yùn)行狀況掌握與管理的有效手段。
一、網(wǎng)絡(luò)流量的特征
（一）數(shù)據(jù)流是雙向的，但通常是非對稱的。互聯(lián)網(wǎng)上大部分的應(yīng)用都是雙向交換數(shù)據(jù)的，因此網(wǎng)絡(luò)的流是雙向的。但是兩個(gè)方向上的數(shù)據(jù)率有很大的差異，這是因?yàn)閺木W(wǎng)站下載時(shí)會(huì)導(dǎo)致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個(gè)方向多。（二）大部分TCP會(huì)話是短期的。超過90%的TCP會(huì)話交換的數(shù)據(jù)量小于IOK字節(jié)，會(huì)話持續(xù)時(shí)間不超過幾秒。雖然文件傳輸和遠(yuǎn)程登陸這些TCP對話都不是短期的，但是由于80%的www文檔傳輸都小于IOK字節(jié)，WWW的巨大增長使其在這方面產(chǎn)生了決定性的影響。（三）包的到達(dá)過程不是泊松過程。大部分傳統(tǒng)的排隊(duì)理論和通信網(wǎng)絡(luò)設(shè)計(jì)都假設(shè)包的到達(dá)過程是泊松過程。簡單的說，泊松到達(dá)過程就是事件按照一定的概率獨(dú)立的發(fā)生。泊松模型因?yàn)橹笖?shù)分布的無記憶性也就是事件之間的非相關(guān)性而使其在應(yīng)用上要比其他模型更加簡單。（四）網(wǎng)絡(luò)通信量具有局域性?；ヂ?lián)網(wǎng)流量的局域性包括時(shí)間局域性和空間局域性。用戶在應(yīng)用層對互聯(lián)網(wǎng)的訪問反映在包的時(shí)間和源及目的地址上，從而顯示出基于時(shí)間的相關(guān)和基于空間的相關(guān)。
二、網(wǎng)絡(luò)流量的測量
網(wǎng)絡(luò)流量的測量是人們研究互聯(lián)網(wǎng)絡(luò)的一個(gè)工具，通過采集和分析互聯(lián)網(wǎng)的數(shù)據(jù)流，我們可以設(shè)計(jì)出更加符合實(shí)際的網(wǎng)絡(luò)設(shè)備和更加合理的網(wǎng)絡(luò)協(xié)議。計(jì)算機(jī)網(wǎng)絡(luò)不是永遠(yuǎn)不會(huì)出錯(cuò)的，設(shè)備的一小點(diǎn)故障都有可能使整個(gè)網(wǎng)絡(luò)癱瘓，或者使網(wǎng)絡(luò)性能明顯下降。對互聯(lián)網(wǎng)流量的測量可以為網(wǎng)絡(luò)管理者提供詳細(xì)的信息以幫助發(fā)現(xiàn)和解決問題?；ヂ?lián)網(wǎng)流量的測量從不同的方面可以分為：
（一）基于硬件的測量和基于軟件的測量?；谟布臏y量通常指使用為采集和分析網(wǎng)絡(luò)數(shù)據(jù)而特別設(shè)計(jì)的專用硬件設(shè)備進(jìn)行網(wǎng)絡(luò)流的測量，這些設(shè)備一般都比較昂貴，而且受網(wǎng)絡(luò)接口數(shù)量，網(wǎng)絡(luò)插件的類型，存儲(chǔ)能力和協(xié)議分析能力等諸多因素的限制。基于軟件的測量通常依靠修改工作站的內(nèi)核中的網(wǎng)絡(luò)接口部分，使其具備捕獲網(wǎng)絡(luò)數(shù)據(jù)包的功能。與基于硬件的方法比較，其費(fèi)用比較低廉，但是性能比不上專用的網(wǎng)絡(luò)流量分析器。（二）主動(dòng)測量和被動(dòng)測量。被動(dòng)測量只是記錄網(wǎng)絡(luò)的數(shù)據(jù)流，不向網(wǎng)絡(luò)流中注入任何數(shù)據(jù)。大部分網(wǎng)絡(luò)流量測量都是被動(dòng)的測量。主動(dòng)測量使用由測量設(shè)備產(chǎn)生的數(shù)據(jù)流來探測網(wǎng)絡(luò)而獲知網(wǎng)絡(luò)的信息。例如使用ping來估計(jì)到某個(gè)目的地址的網(wǎng)絡(luò)延時(shí)。（三）在線分析和離線分析。有的網(wǎng)絡(luò)流量分析器支持實(shí)時(shí)地收集和分析網(wǎng)絡(luò)數(shù)據(jù)，使用可視化手段在線地顯示流量數(shù)據(jù)和分析結(jié)果，大部分基于硬件的網(wǎng)絡(luò)分析器都具有這個(gè)能力。離線分析只是在線地收集網(wǎng)絡(luò)數(shù)據(jù)，把數(shù)據(jù)存儲(chǔ)下來，并不對數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析。（四）協(xié)議級分類。對于不同的協(xié)議，例如以太網(wǎng)，幀中繼，異步傳輸模式，需要使用不同的網(wǎng)絡(luò)插件來收集網(wǎng)絡(luò)數(shù)據(jù)，因此也就有了不同的通信量測試方法。
三、網(wǎng)絡(luò)流量的監(jiān)測技術(shù)
根據(jù)對網(wǎng)絡(luò)流量的采集方式可將網(wǎng)絡(luò)流量監(jiān)測技術(shù)分為：基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測技術(shù)、基于SNMP的監(jiān)測技術(shù)和基于Netflow的監(jiān)測技術(shù)三種常用技術(shù)。
（一）基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測技術(shù)。網(wǎng)絡(luò)流量全鏡像采集是目前IDS主要采用的網(wǎng)絡(luò)流量采集模式。其原理是通過交換機(jī)等網(wǎng)絡(luò)設(shè)備的端口鏡像或者通過分光器、網(wǎng)絡(luò)探針等附加設(shè)備，實(shí)現(xiàn)網(wǎng)絡(luò)流量的無損復(fù)制和鏡像采集。和其它兩種流量采集方式相比，流量鏡像采集的最大特點(diǎn)是能夠提供豐富的應(yīng)用層信息。（二）基于Netflow的流量監(jiān)測技術(shù)。Netflow流量信息采集是基于網(wǎng)絡(luò)設(shè)備提供的Netflow機(jī)制實(shí)現(xiàn)的網(wǎng)絡(luò)流量信息采集。（三）基于SN的流量監(jiān)測技術(shù)。基于SNMP的流量信息采集，實(shí)質(zhì)上是通過提取網(wǎng)絡(luò)設(shè)備Agent提供的MIB中收集一些具體設(shè)備及流量信息有關(guān)的變量?；赟NMP收集的網(wǎng)絡(luò)流量信息包括：輸入字節(jié)數(shù)、輸入非廣播包數(shù)、輸入廣播包數(shù)、輸入包丟棄數(shù)、輸入包錯(cuò)誤數(shù)、輸入未知協(xié)議包數(shù)、輸出字節(jié)數(shù)、輸出非廣播包數(shù)、輸出廣播包數(shù)、輸出包丟棄數(shù)、輸出包錯(cuò)誤數(shù)、輸出隊(duì)長等。在此基礎(chǔ)上實(shí)現(xiàn)的流量信息采集效率和效果均能夠滿足網(wǎng)絡(luò)流量監(jiān)測的需求。
在綜合比較三種技術(shù)之后，不難得出以下結(jié)論：基于SNMP的流量監(jiān)測技術(shù)能夠滿足網(wǎng)絡(luò)流量分析的需要，且信息采集效率高，適合在各類網(wǎng)絡(luò)中應(yīng)用。
Network Traffic Monitoring in Network Management
Wang Lei
(Hunan Women’s University,Changsha410004,China)
Abstract:This article study from the network traffic characteristics,internet traffic measurement,etc,so as to optimize some suggestions for traffic monitoring technologies.
Keywords:Network management;Network traffic;Monitoring
一、網(wǎng)絡(luò)流量的特征
(一)數(shù)據(jù)流是雙向的,但通常是非對稱的
互聯(lián)網(wǎng)上大部分的應(yīng)用都是雙向交換數(shù)據(jù)的,因此網(wǎng)絡(luò)的流是雙向的。但是兩個(gè)方向上的數(shù)據(jù)率有很大的差異,這是因?yàn)閺木W(wǎng)站下載時(shí)會(huì)導(dǎo)致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個(gè)方向多。
(二)大部分TCP會(huì)話是短期的
超過90%的TCP會(huì)話交換的數(shù)據(jù)量小于10K字節(jié),會(huì)話持續(xù)時(shí)間不超過幾秒。雖然文件傳輸和遠(yuǎn)程登陸這些TCP對話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節(jié),WWW的巨大增長使其在這方面產(chǎn)生了決定性的影響。
(三)包的到達(dá)過程不是泊松過程
大部分傳統(tǒng)的排隊(duì)理論和通信網(wǎng)絡(luò)設(shè)計(jì)都假設(shè)包的到達(dá)過程是泊松過程,即包到達(dá)的間斷時(shí)間的分布是獨(dú)立的指數(shù)分布。簡單的說,泊松到達(dá)過程就是事件(例如地震,交通事故,電話等)按照一定的概率獨(dú)立的發(fā)生。泊松模型因?yàn)橹笖?shù)分布的無記憶性也就是事件之間的非相關(guān)性而使其在應(yīng)用上要比其他模型更加簡單。然而近年來對互聯(lián)網(wǎng)絡(luò)通信量的測量顯示包到達(dá)的過程不是泊松過程。包到達(dá)的間斷時(shí)間不僅不服從指數(shù)分布,而且不是獨(dú)立分布的。大部分時(shí)候是多個(gè)包連續(xù)到達(dá),即包的到達(dá)是有突發(fā)性的。很明顯,泊松過程不足以精確地描述包的到達(dá)過程。造成這種非泊松結(jié)構(gòu)的部分原因是數(shù)據(jù)傳輸所使用的協(xié)議。非泊松過程的現(xiàn)象迫使人們懷疑使用簡單的泊松模型研究網(wǎng)絡(luò)的可靠性,從而促進(jìn)了網(wǎng)絡(luò)通信量模型的研究。
(四)網(wǎng)絡(luò)通信量具有局域性
互聯(lián)網(wǎng)流量的局域性包括時(shí)間局域性和空間局域性。用戶在應(yīng)用層對互聯(lián)網(wǎng)的訪問反映在包的時(shí)間和源及目的地址上,從而顯示出基于時(shí)間的相關(guān)(時(shí)間局域性)和基于空間的相關(guān)(空間局域性)。
二、網(wǎng)絡(luò)流量的測量
網(wǎng)絡(luò)流量的測量是人們研究互聯(lián)網(wǎng)絡(luò)的一個(gè)工具,通過采集和分析互聯(lián)網(wǎng)的數(shù)據(jù)流,我們可以設(shè)計(jì)出更加符合實(shí)際的網(wǎng)絡(luò)設(shè)備和更加合理的網(wǎng)絡(luò)協(xié)議。計(jì)算機(jī)網(wǎng)絡(luò)不是永遠(yuǎn)不會(huì)出錯(cuò)的,設(shè)備的一小點(diǎn)故障都有可能使整個(gè)網(wǎng)絡(luò)癱瘓,或者使網(wǎng)絡(luò)性能明顯下降。例如廣播風(fēng)暴、非法包長、錯(cuò)誤地址、安全攻擊等。對互聯(lián)網(wǎng)流量的測量可以為網(wǎng)絡(luò)管理者提供詳細(xì)的信息以幫助發(fā)現(xiàn)和解決問題?；ヂ?lián)網(wǎng)流量的測量從不同的方面可以分為:
(一)基于硬件的測量和基于軟件的測量
基于硬件的測量通常指使用為采集和分析網(wǎng)絡(luò)數(shù)據(jù)而特別設(shè)計(jì)的專用硬件設(shè)備進(jìn)行網(wǎng)絡(luò)流的測量,這些設(shè)備一般都比較昂貴,而且受網(wǎng)絡(luò)接口數(shù)量,網(wǎng)絡(luò)插件的類型,存儲(chǔ)能力和協(xié)議分析能力等諸多因素的限制?；谲浖臏y量通常依靠修改工作站的內(nèi)核中的網(wǎng)絡(luò)接口部分,使其具備捕獲網(wǎng)絡(luò)數(shù)據(jù)包的功能。與基于硬件的方法比較,其費(fèi)用比較低廉,但是性能比不上專用的網(wǎng)絡(luò)流量分析器。
(二)主動(dòng)測量和被動(dòng)測量
被動(dòng)測量只是記錄網(wǎng)絡(luò)的數(shù)據(jù)流,不向網(wǎng)絡(luò)流中注入任何數(shù)據(jù)。大部分網(wǎng)絡(luò)流量測量都是被動(dòng)的測量。主動(dòng)測量使用由測量設(shè)備產(chǎn)生的數(shù)據(jù)流來探測網(wǎng)絡(luò)而獲知網(wǎng)絡(luò)的信息。例如使用ping來估計(jì)到某個(gè)目的地址的網(wǎng)絡(luò)延時(shí)。
(三)在線分析和離線分析
有的網(wǎng)絡(luò)流量分析器支持實(shí)時(shí)地收集和分析網(wǎng)絡(luò)數(shù)據(jù),使用可視化手段在線地顯示流量數(shù)據(jù)和分析結(jié)果,大部分基于硬件的網(wǎng)絡(luò)分析器都具有這個(gè)能力。離線分析只是在線地收集網(wǎng)絡(luò)數(shù)據(jù),把數(shù)據(jù)存儲(chǔ)下來,并不對數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析。
(四)協(xié)議級分類
對于不同的協(xié)議,例如以太網(wǎng)(Ethernet),幀中繼(Frame Relay),異步傳輸模式(Asynchronous Transfer Mode),需要使用不同的網(wǎng)絡(luò)插件來收集網(wǎng)絡(luò)數(shù)據(jù),因此也就有了不同的通信量測試方法。
三、網(wǎng)絡(luò)流量的監(jiān)測技術(shù)
根據(jù)對網(wǎng)絡(luò)流量的采集方式可將網(wǎng)絡(luò)流量監(jiān)測技術(shù)分為:基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測技術(shù)、基于SNMP的監(jiān)測技術(shù)和基于Netflow的監(jiān)測技術(shù)三種常用技術(shù)。
(一)基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測技術(shù)
網(wǎng)絡(luò)流量全鏡像采集是目前IDS主要采用的網(wǎng)絡(luò)流量采集模式。其原理是通過交換機(jī)等網(wǎng)絡(luò)設(shè)備的端口鏡像或者通過分光器、網(wǎng)絡(luò)探針等附加設(shè)備,實(shí)現(xiàn)網(wǎng)絡(luò)流量的無損復(fù)制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點(diǎn)是能夠提供豐富的應(yīng)用層信息。
(二)基于Netflow的流量監(jiān)測技術(shù)
Netflow流量信息采集是基于網(wǎng)絡(luò)設(shè)備提供的Netflow機(jī)制實(shí)現(xiàn)的網(wǎng)絡(luò)流量信息采集。
中圖分類號：TP393.1 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2013）05（b）-0249-02
隨著高等教育信息化的發(fā)展，高等教育對于網(wǎng)絡(luò)的依賴日漸增加，同時(shí)高校校園網(wǎng)的出口帶寬要求也越來越高。但是受到資金、出口建設(shè)成本和網(wǎng)絡(luò)技術(shù)等方面的限制，高校校園網(wǎng)出口帶寬不可能無限提高，由此導(dǎo)致了高校校內(nèi)用戶日益增長的網(wǎng)絡(luò)需求與出口帶寬限制網(wǎng)絡(luò)流量之間的矛盾。而通過對出口網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行深層次應(yīng)用分析制定相關(guān)策略能夠在一定程度上緩解這一矛盾。
1 網(wǎng)絡(luò)流量分析及控制的關(guān)鍵技術(shù)
網(wǎng)絡(luò)流量分析及控制是指對數(shù)據(jù)包進(jìn)行檢測，并通過制定的策略對網(wǎng)絡(luò)應(yīng)用實(shí)現(xiàn)放行、限制或阻塞的技術(shù)?，F(xiàn)今P2P類下載應(yīng)用占用了大量的帶寬資源，導(dǎo)致網(wǎng)絡(luò)的擁堵和服務(wù)質(zhì)量的下降。為了保證用戶能夠平等的使用網(wǎng)絡(luò)帶寬，需要采取必要的技術(shù)對P2P等應(yīng)用進(jìn)行一定程度的檢測與調(diào)控。目前主要的分析控制技術(shù)如下。
1.1 傳統(tǒng)防火墻對網(wǎng)絡(luò)流量的分析及控制
傳統(tǒng)防火墻都工作在OSI參考模型的第2、3、4層，通過對TCP/UDP端口、數(shù)據(jù)包的源/目的IP地址、MAC地址等進(jìn)行過濾，實(shí)現(xiàn)對網(wǎng)絡(luò)流量的監(jiān)視。一般都是對數(shù)據(jù)包的包頭來做策略，并不關(guān)心整個(gè)數(shù)據(jù)包的信息。傳統(tǒng)防火墻對網(wǎng)絡(luò)流量的處理方法一般都是阻塞某種協(xié)議常用端口，或者阻斷客戶端與服務(wù)器的連接等。由于不能有效的分析數(shù)據(jù)包內(nèi)部信息，不能有效的了解用戶應(yīng)用層的信息，也就不能有效的限制用戶的應(yīng)用。采用傳統(tǒng)防火墻阻斷服務(wù)器與客戶端連接的方法也已經(jīng)不能準(zhǔn)確的識別與控制。
1.2 DPI技術(shù)
深度報(bào)文檢測技術(shù)DPI（Deep Packet Inspectio）是在分析數(shù)據(jù)包包頭的基礎(chǔ)上，增加了對OSI參考模型第七層即應(yīng)用層的分析。當(dāng)IP數(shù)據(jù)包、TCP、UDP數(shù)據(jù)流經(jīng)過基于DPI技術(shù)的流量控制系統(tǒng)時(shí)，通過深入讀取數(shù)據(jù)包的內(nèi)容來對應(yīng)用層信息進(jìn)行重組，從而得到整個(gè)應(yīng)用程序的內(nèi)容，然后按照系統(tǒng)定義的管理策略對流量進(jìn)行整形操作。DPI技術(shù)可以分為兩大類：（1）使用特征字與掩碼相結(jié)合進(jìn)行協(xié)議識別的DPI技術(shù)；（2）使用正則表達(dá)式庫進(jìn)行協(xié)議識別的DPI技術(shù)。
2 高校校園網(wǎng)絡(luò)的現(xiàn)狀
目前大部分高校都已建成完善的園區(qū)網(wǎng)，普遍采用傳統(tǒng)的三層結(jié)構(gòu)（核心層、匯聚層和接入層），并租用運(yùn)營商電路實(shí)現(xiàn)與互聯(lián)網(wǎng)的高速對接。
校園網(wǎng)的主要特點(diǎn)是學(xué)生是網(wǎng)絡(luò)的主要用戶。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，學(xué)生作為社會(huì)最活躍的團(tuán)體，對于網(wǎng)絡(luò)新興服務(wù)需求迫切，尤其是視頻服務(wù)。造成的結(jié)果是對網(wǎng)絡(luò)帶寬的占用比例極高，造成傳統(tǒng)服務(wù)的服務(wù)質(zhì)量下降。
以我院為例，我院校園網(wǎng)絡(luò)始建于2008年，網(wǎng)絡(luò)已覆蓋教學(xué)、辦公、生活等區(qū)域，其中學(xué)生宿舍網(wǎng)絡(luò)出口帶寬所占比例達(dá)到80%以上，其中多以視頻、P2P應(yīng)用為主。
3 采用流量控制技術(shù)調(diào)整出口應(yīng)用
在具體實(shí)現(xiàn)方面，采用了Panabit軟件。Panabit是北京派網(wǎng)軟件公司開發(fā)的免費(fèi)的應(yīng)用層流量控制系統(tǒng)，是基于穩(wěn)定性極高的FreeBSD開發(fā)的?？稍跒g覽器中對系統(tǒng)進(jìn)行圖形化管理，界面友好，操作簡便。
3.1 Panabit流量控制系統(tǒng)的部署
（1）安裝。
Panabit需要獨(dú)立安裝在一臺計(jì)算機(jī)中，硬件配置要求如表1。
由表1可見，對于目前PC的硬件水平完全可以滿足安裝需要，只需要在計(jì)算機(jī)中多加裝兩塊網(wǎng)卡即可。
Panabit的硬件部署在網(wǎng)絡(luò)出口上。配置的3塊網(wǎng)卡，1塊用于管理Panabit管理系統(tǒng)，另外2塊分別用于采集上傳和下載流量的數(shù)據(jù)。
（2）Panabit系統(tǒng)的初始化配置。
①首先配置系統(tǒng)的IP地址等基礎(chǔ)信息（在此全部都采用校園網(wǎng)內(nèi)部私有地址），以便遠(yuǎn)程管理（采用HTTPS協(xié)議）。
②選擇網(wǎng)絡(luò)配置下的“數(shù)據(jù)接口”選項(xiàng)，兩塊網(wǎng)卡的“應(yīng)用模式”均選擇為“透明網(wǎng)橋”。
3.2 Panabit系統(tǒng)的流量控制策略的配置
（1）分配帶寬。
Panabit對帶寬的分配有三種模式：即帶寬限制，帶寬保證，帶寬預(yù)留。根據(jù)我院對網(wǎng)絡(luò)需求的實(shí)際情況，采用了帶寬保證模式。下面對帶寬保證模式進(jìn)行詳細(xì)的說明：首先，帶寬保證模式也具有帶寬預(yù)留模式的功能，即對特定IP組、特定協(xié)議預(yù)留出足夠的帶寬。例如教學(xué)、辦公I(xiàn)P組，教務(wù)系統(tǒng)的ITSP協(xié)議等。在此基礎(chǔ)上，帶寬保證在其預(yù)留的帶寬不能滿足應(yīng)用要求的時(shí)候，會(huì)從剩余的總帶寬里借用所需帶寬。例如每學(xué)期開學(xué)和學(xué)期末，學(xué)生大量選課，可以對選課系統(tǒng)的SSL等協(xié)議進(jìn)行帶寬保證設(shè)置。
（2）建立策略組。
可以根據(jù)數(shù)據(jù)包的源地址、目的地址、應(yīng)用協(xié)議等建立策略組。
3.3 系統(tǒng)測試與分析
4 結(jié)語
為了提高網(wǎng)絡(luò)帶寬的利用率，使高校校園網(wǎng)絡(luò)的使用更趨合理，網(wǎng)絡(luò)流量分析及控制勢在必行，同時(shí)也是非常有效的手段?；ヂ?lián)網(wǎng)飛速發(fā)展，網(wǎng)絡(luò)流量分析及控制也隨之快速發(fā)展，為高校的教學(xué)等工作提供了穩(wěn)定的網(wǎng)絡(luò)基礎(chǔ)，使教學(xué)信息管理系統(tǒng)和教學(xué)資源共享平臺的搭建更為安全、高效。為高校的信息化教學(xué)做出了貢獻(xiàn)。
參考文獻(xiàn)
[1] 劉劍鋒.部署運(yùn)維管理平臺提高校園網(wǎng)運(yùn)維水平[J].中國教育技術(shù)裝備，2011（10）.
【關(guān)鍵詞】綜合數(shù)據(jù)網(wǎng) 異常流量 支持向量機(jī)
1 某電網(wǎng)綜合數(shù)據(jù)網(wǎng)流量分析現(xiàn)狀
目前某電網(wǎng)公司綜合業(yè)務(wù)數(shù)據(jù)網(wǎng)以主數(shù)據(jù)中心和同城災(zāi)備中心為核心，與全省各地供電局的綜合數(shù)據(jù)網(wǎng)絡(luò)核心形成互聯(lián)，互聯(lián)鏈路采用萬兆以太網(wǎng)傳輸技術(shù)，形成一個(gè)電網(wǎng)綜合數(shù)據(jù)業(yè)務(wù)傳輸?shù)某休d網(wǎng)平臺。具體網(wǎng)絡(luò)拓?fù)淙缦滤荆?/p>
該電網(wǎng)公司綜合數(shù)據(jù)網(wǎng)絡(luò)核心日常數(shù)據(jù)流量已超過1GB，流量監(jiān)控使用ARBOR流量分析設(shè)備來完成，通過Netflow的方式監(jiān)測骨干層各中心匯聚設(shè)備連接到省中心的端口。
目前，該電網(wǎng)公司流量分析系統(tǒng)具備的主要功能包括：
（1）能夠得到端到端用戶體檢的量化數(shù)據(jù)，包括端到端的全過程響應(yīng)時(shí)間。
（2）能夠得到網(wǎng)絡(luò)傳輸時(shí)延的數(shù)據(jù)，并考慮到不同數(shù)據(jù)包大小情況的網(wǎng)絡(luò)傳輸時(shí)延。
（3）能夠得到應(yīng)用系統(tǒng)各個(gè)交互過程的響應(yīng)時(shí)間的數(shù)據(jù)。
（4）能夠根據(jù)時(shí)間迅速定位流量，并根據(jù)地址、端口等信息迅速將所需網(wǎng)絡(luò)流量數(shù)據(jù)包檢索并抽取出來進(jìn)行分析。
由以上功能點(diǎn)的統(tǒng)計(jì)分析，可以得知，目前該電網(wǎng)的流量分析系統(tǒng)能做到對網(wǎng)絡(luò)流量的統(tǒng)計(jì)及性能分析，但對網(wǎng)絡(luò)流量異常的做不到良好的預(yù)警。
2 流量異常檢測方法
自Denning研究異常檢測模型以來，網(wǎng)絡(luò)異常檢測方法的研究就一直受到學(xué)術(shù)界的極大關(guān)注。白玉峰研究致力于利用流量大?。ㄈ缌鲾?shù)、分組數(shù)或字節(jié)數(shù)）來檢測網(wǎng)絡(luò)異常并獲得巨大成功，但是這類方法面臨的問題是：并非所有的異常都會(huì)引起流量大小的顯著變化；此外，采用不同的流量測度可能會(huì)識別出不同的流量異常，因此僅僅采用一種流量測度并不能識別蘊(yùn)含在流量數(shù)據(jù)中的所有異常。
近年來的大量研究表明，不管是局域網(wǎng)還是廣域網(wǎng)，網(wǎng)絡(luò)流量都具有明顯的突發(fā)性和長相關(guān)性，而網(wǎng)絡(luò)的自相似性特性可以很好地描述流量這些特性，所以，自相似性已成為網(wǎng)絡(luò)流量的重要特性并以此作為流量異常檢測的基礎(chǔ)?，F(xiàn)今已有大量計(jì)算機(jī)學(xué)科領(lǐng)域的算法和模型被使用在網(wǎng)絡(luò)流量的異常檢測方面，文獻(xiàn)采用小波分析方法利用網(wǎng)絡(luò)流量在時(shí)間尺度上的多重分形，在小波域內(nèi)對網(wǎng)絡(luò)流量進(jìn)行分解，通過計(jì)算網(wǎng)絡(luò)流量的Hurst指數(shù)，根據(jù)正常與異常流量Hurst指數(shù)的偏差來檢測異常，但該方法Hurst指數(shù)與時(shí)間尺度緊密相關(guān)，只對突發(fā)性的流量具有較好的檢測效果；文獻(xiàn)[1]提出一種融合k-means的聚類檢測算法，該文增量地構(gòu)建流量矩陣，增量地使用PCA主成分進(jìn)行異常檢測，這些方法在全網(wǎng)流量異常時(shí)檢測效果非常明顯，但算法相對過于復(fù)雜使其在實(shí)時(shí)性上較差；文獻(xiàn)[2] 使用一種基于信息熵的特征選擇算法，降低了檢測數(shù)據(jù)的維數(shù)，但增量學(xué)習(xí)的限制條件比較多，增量學(xué)習(xí)效率較低。
3 綜合數(shù)據(jù)網(wǎng)流量異常檢測
通過上述分析可以看出，數(shù)據(jù)流五元組的熵值較為穩(wěn)定，可以通過熵值的變化情況來區(qū)分正常流量和異常流量。因此綜合數(shù)據(jù)網(wǎng)異常流量的檢測問題也就是通過對數(shù)據(jù)流量五元組熵值的分析來做出正?；虍惓５呐袛?。
3.1 異常流量檢測模型
針對上文中對流量特性的分析，綜合數(shù)據(jù)網(wǎng)異常流量的檢測問題可以理解為通過已有的流量特征據(jù)，將現(xiàn)有的流量分類為正常或異常。模式識別理論是利用已有的信息，按照某種特定的規(guī)則確定未知的樣本的類別屬性，模式識別往往被看作是分類問題，讓機(jī)器自身從環(huán)境中分離出某種模式并對未知樣本的歸類做出合理的判斷。因此，可以將模式識別應(yīng)用于綜合數(shù)據(jù)網(wǎng)的異常力量檢測，通過對己有的數(shù)據(jù)流量的熵值樣本進(jìn)行學(xué)習(xí)，建立規(guī)律模型，利用該模型對未知樣本進(jìn)行分類。
3.2 異常檢測算法
首先使用一定數(shù)量的正常流量和異常流量數(shù)據(jù)作為訓(xùn)練樣本輸入到支持向量機(jī)之中，根據(jù)這些訓(xùn)練數(shù)據(jù)輸出一個(gè)模型，這個(gè)模型實(shí)際上就是通過樣本構(gòu)造的決策函數(shù)。然后將測試數(shù)據(jù)輸入該模型進(jìn)行分類。
3.2.1 訓(xùn)練階段
根據(jù)信息熵的定義，對樣本流量的五元組分別求熵，建立樣本流量的五維熵值向量。使用核函數(shù)將向量從五維變換到高位，再將數(shù)據(jù)作為訓(xùn)練樣本輸入到支持向量機(jī)之中，根據(jù)這些訓(xùn)練數(shù)據(jù)構(gòu)造的一個(gè)決策函數(shù)。
3.2.2 檢測階段
將檢測流量輸入模型進(jìn)行檢測，分類結(jié)果為1則為正常流量，分類結(jié)果為-1即為異常流量。
4 結(jié)束語
本文通過對電力綜合數(shù)據(jù)網(wǎng)的流量數(shù)據(jù)結(jié)構(gòu)進(jìn)行分析，驗(yàn)證了電力綜合數(shù)據(jù)網(wǎng)正常數(shù)據(jù)符合重尾分布，且正常單位流量具有穩(wěn)定的信息熵。在此基礎(chǔ)，對綜合數(shù)據(jù)網(wǎng)流量結(jié)構(gòu)進(jìn)行建模，采用支持向量機(jī)的識別算法對異常流量進(jìn)行識別。實(shí)驗(yàn)結(jié)果表明，在異常流量比例大于5%的條件下，算法能夠檢測出網(wǎng)絡(luò)中的異常數(shù)據(jù)。
下一步的工作是深入研究電力綜合數(shù)據(jù)網(wǎng)異常流量的類型以及各種異常流量對流量結(jié)構(gòu)的影響，改進(jìn)檢測算法，進(jìn)一步提升算法的精度。
參考文獻(xiàn)
[1]DENNING D.An intrusion-detection model[J].IEEE Transactions on Software Engineering，1987，13（2）：222-232.
[2]TORRES R，HAJJAT M，RAO SG，et al.Inferring undesirable behavior from P2P traffic analysis[A].SIGMETRICS[C].USA，2009，231-242.
網(wǎng)絡(luò)流量性能測量與分析涉及許多關(guān)鍵技術(shù),如單向測量中的時(shí)鐘同步問題,主動(dòng)測量與被動(dòng)測量的抽樣算法研究,多種測量工具之間的協(xié)同工作,網(wǎng)絡(luò)測量體系結(jié)構(gòu)的搭建,性能指標(biāo)的量化,性能指標(biāo)的模型化分析,對網(wǎng)絡(luò)未來狀態(tài)進(jìn)行趨勢預(yù)測,對海量測量數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘或者利用已有的模型(petri網(wǎng)、自相似性、排隊(duì)論)研究其自相似特征,測量與分析結(jié)果的可視化,以及由測量所引起的安全性問題等等。
1.在IP網(wǎng)絡(luò)中采用網(wǎng)絡(luò)性能監(jiān)測技術(shù),可以實(shí)現(xiàn)
1.1 合理規(guī)劃和優(yōu)化網(wǎng)絡(luò)性能
為更好的管理和改善網(wǎng)絡(luò)的運(yùn)行,網(wǎng)絡(luò)管理者需要知道其網(wǎng)絡(luò)的流量情況和盡量多的流量信息。通過對網(wǎng)絡(luò)流量的監(jiān)測、數(shù)據(jù)采集和分析,給出詳細(xì)的鏈路和節(jié)點(diǎn)流量分析報(bào)告,獲得流量分布和流向分布、報(bào)文特性和協(xié)議分布特性,為網(wǎng)絡(luò)規(guī)劃、路由策略、資源和容量升級提供依據(jù)。
1.2 基于流量的計(jì)費(fèi)
現(xiàn)在lSP對網(wǎng)絡(luò)用戶提供服務(wù)絕大多數(shù)還是采用固定租費(fèi)的形式,這對一般用戶和ISP來說,都不是一個(gè)好的選擇。采用這一形式的很大原因就是網(wǎng)絡(luò)提供者不能夠統(tǒng)計(jì)全部用戶的準(zhǔn)確流量情況。這就需要有方便的手段對用戶的流量進(jìn)行檢測。通過對用戶上網(wǎng)時(shí)長、上網(wǎng)流量、網(wǎng)絡(luò)業(yè)務(wù)以及目的網(wǎng)站數(shù)據(jù)分析,擺脫目前單一的包月制,實(shí)現(xiàn)基于時(shí)間段、帶寬、應(yīng)用、服務(wù)質(zhì)量等更加靈活的交費(fèi)標(biāo)準(zhǔn)。
1.3 網(wǎng)絡(luò)應(yīng)用狀況監(jiān)測與分析
了解網(wǎng)絡(luò)的應(yīng)用狀況,對研究者和網(wǎng)絡(luò)提供者都很重要。通過網(wǎng)絡(luò)應(yīng)用監(jiān)測,可以了解網(wǎng)絡(luò)上各種協(xié)議的使用情況(如www,pop3,ftp,rtp等協(xié)議),以及網(wǎng)絡(luò)應(yīng)用的使用情況,研究者可以據(jù)此研究新的協(xié)議與應(yīng)用,網(wǎng)絡(luò)提供者也可以據(jù)此更好的規(guī)劃網(wǎng)絡(luò)。
1.4 實(shí)時(shí)監(jiān)測網(wǎng)絡(luò)狀況
針對網(wǎng)絡(luò)流量變化的突發(fā)性特性,通過實(shí)時(shí)監(jiān)測網(wǎng)絡(luò)狀況,能實(shí)時(shí)獲得網(wǎng)絡(luò)的當(dāng)前運(yùn)行狀況,減輕維護(hù)人員的工作負(fù)擔(dān)。能在網(wǎng)絡(luò)出現(xiàn)故障或擁塞時(shí)發(fā)出自動(dòng)告警,在網(wǎng)絡(luò)即將出現(xiàn)瓶頸前給出分析和預(yù)測?，F(xiàn)在隨著Internet網(wǎng)絡(luò)不斷擴(kuò)大,網(wǎng)絡(luò)中也經(jīng)常會(huì)出現(xiàn)黑客攻擊、病毒泛濫的情況。而這些網(wǎng)絡(luò)突發(fā)事件從設(shè)備和網(wǎng)管的角度看卻很難發(fā)現(xiàn),經(jīng)常讓網(wǎng)絡(luò)管理員感到棘手。因此,針對網(wǎng)絡(luò)中突發(fā)性的異常流量分析將有助于網(wǎng)絡(luò)管理員發(fā)現(xiàn)和解決問題。
1.5 網(wǎng)絡(luò)用戶行為監(jiān)測與分析
這對于網(wǎng)絡(luò)提供者來說非常重要,通過監(jiān)測訪問網(wǎng)絡(luò)的用戶的行為,可以了解到:
1)某一段時(shí)間有多少用戶在訪問我的網(wǎng)絡(luò)。
2)訪問我的網(wǎng)絡(luò)最多的用戶是哪些。
3)這些用戶停留了多長時(shí)間。
4)他們來自什么地方。
5)他們到過我的網(wǎng)絡(luò)的哪些部分。
通過這些信息,網(wǎng)絡(luò)提供者可以更好的為用戶提供服務(wù),從而也獲得更大的收益。
2.網(wǎng)絡(luò)流量測量有5個(gè)要素:
測量時(shí)間、測量對象、測量目的、測量位置和測量方法。網(wǎng)絡(luò)流量的測量實(shí)體,即性能指標(biāo)主要包括以下幾項(xiàng)。 2.1 連接性
連接性也稱可用性、連通性或可達(dá)性,嚴(yán)格說應(yīng)該是網(wǎng)絡(luò)的基本能力或?qū)傩?不能稱為性能,但I(xiàn)TU-T建議可以用一些方法進(jìn)行定量的測量。
2.2 延遲
對于單向延遲測量要求時(shí)鐘嚴(yán)格同步,這在實(shí)際的測量中很難做到,許多測量方案都采用往返延遲,以避開時(shí)鐘同步問題。
2.3 丟包率
為了評估網(wǎng)絡(luò)的丟包率,一般采用直接發(fā)送測量包來進(jìn)行測量。目前評估網(wǎng)絡(luò)丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4 帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當(dāng)一條路徑(通路)中沒有其他背景流量時(shí),網(wǎng)絡(luò)能夠提供的最大的吞吐量。
2.5 流量參數(shù)
ITU-T提出兩種流量參數(shù)作為參考:一種是以一段時(shí)間間隔內(nèi)在測量點(diǎn)上觀測到的所有傳輸成功的IP包數(shù)量除以時(shí)間間隔,即包吞吐量;另一種是基于字節(jié)吞吐量:用傳輸成功的IP包中總字節(jié)數(shù)除以時(shí)間間隔。
3.測量方法
Internet流量數(shù)據(jù)有三種形式:被動(dòng)數(shù)據(jù)(指定鏈路數(shù)據(jù))、主動(dòng)數(shù)據(jù)(端至端數(shù)據(jù))和BGP路由數(shù)據(jù),由此涉及兩種測量方法:被動(dòng)測量方法和主動(dòng)測量方法然而,近幾年來,主動(dòng)測量技術(shù)被網(wǎng)絡(luò)用戶或網(wǎng)絡(luò)研究人員用來分析指定網(wǎng)絡(luò)路徑的流量行為。
3.1 主動(dòng)測量
主動(dòng)測量的方法是指主動(dòng)發(fā)送數(shù)據(jù)包去探測被測量的對象。以被測對象的響應(yīng)作為性能評分的結(jié)果來分析。測量者一般采用模擬現(xiàn)實(shí)的流量(如Web Server的請求、FTP下載、DNS反應(yīng)時(shí)間等)來測量一個(gè)應(yīng)用的性能或者網(wǎng)絡(luò)的性能。由于測量點(diǎn)一般都靠近終究端,所以這種方法能夠代表從監(jiān)測者的角度反映的性能。
3.2 被動(dòng)測量
被動(dòng)測量是在網(wǎng)絡(luò)中的一點(diǎn)收集流量信息,如使用路由器或交換機(jī)收渠數(shù)據(jù)或者一個(gè)獨(dú)立的設(shè)備被動(dòng)地監(jiān)測網(wǎng)絡(luò)鏈路的流量。被動(dòng)測量可以完全取消附加流量和Heisenberg效應(yīng),這些優(yōu)點(diǎn)使人們更愿意使用被動(dòng)測量技術(shù)。有些測度使用被動(dòng)測量獲得相當(dāng)困難:如決定分縮手縮腳一所經(jīng)過的路由。但被動(dòng)測量的優(yōu)點(diǎn)使得決定測量之前應(yīng)該首先考慮被動(dòng)測量。被動(dòng)測量技術(shù)遇到的另一個(gè)重要問題是目前提出的要求確保隱私和安全問題。
3.3 網(wǎng)絡(luò)流量抽樣測量技術(shù)
選擇部分報(bào)文,當(dāng)采樣時(shí)間間隔較大時(shí),細(xì)微的網(wǎng)絡(luò)行為變化就無法精確探測到。反之,抽樣間隔過小時(shí),又會(huì)占用過多的帶寬及需要更大的存儲(chǔ)能力。采樣方法隨采樣策略的不同而不同,如系統(tǒng)采樣或隨機(jī)采樣;也隨觸發(fā)采樣事件的不同而不同。如由報(bào)文到達(dá)時(shí)間觸發(fā)(基于時(shí)間采樣),由報(bào)文在流中所處的位置觸發(fā)(基于數(shù)目采樣)或由報(bào)文的內(nèi)容觸發(fā)(基于內(nèi)容采樣)。為了在減少采樣樣本和獲取更精確的流量數(shù)據(jù)之間達(dá)到平衡。
網(wǎng)絡(luò)流量性能測量和分析涉及許多關(guān)鍵技術(shù)，如單向測量中的時(shí)鐘同步新問題，主動(dòng)測量和被動(dòng)測量的抽樣算法探究，多種測量工具之間的協(xié)同工作，網(wǎng)絡(luò)測量體系結(jié)構(gòu)的搭建，性能指標(biāo)的量化，性能指標(biāo)的模型化分析，對網(wǎng)絡(luò)未來狀態(tài)進(jìn)行趨向猜測，對海量測量數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘或者利用已有的模型（petri網(wǎng)、自相似性、排隊(duì)論）探究其自相似特征，測量和分析結(jié)果的可視化，以及由測量所引起的平安性新問題等等。
1.在IP網(wǎng)絡(luò)中采用網(wǎng)絡(luò)性能監(jiān)測技術(shù)，可以實(shí)現(xiàn)
1.1合理規(guī)劃和優(yōu)化網(wǎng)絡(luò)性能
為更好的管理和改善網(wǎng)絡(luò)的運(yùn)行，網(wǎng)絡(luò)管理者需要知道其網(wǎng)絡(luò)的流量情況和盡量多的流量信息。通過對網(wǎng)絡(luò)流量的監(jiān)測、數(shù)據(jù)采集和分析，給出具體的鏈路和節(jié)點(diǎn)流量分析報(bào)告，獲得流量分布和流向分布、報(bào)文特性和協(xié)議分布特性，為網(wǎng)絡(luò)規(guī)劃、路由策略、資源和容量升級提供依據(jù)。
1.2基于流量的計(jì)費(fèi)
現(xiàn)在lSP對網(wǎng)絡(luò)用戶提供服務(wù)絕大多數(shù)還是采用固定租費(fèi)的形式，這對一般用戶和ISP來說，都不是一個(gè)好的選擇。采用這一形式的很大原因就是網(wǎng)絡(luò)提供者不能夠統(tǒng)計(jì)全部用戶的準(zhǔn)確流量情況。這就需要有方便的手段對用戶的流量進(jìn)行檢測。通過對用戶上網(wǎng)時(shí)長、上網(wǎng)流量、網(wǎng)絡(luò)業(yè)務(wù)以及目的網(wǎng)站數(shù)據(jù)分析，擺脫目前單一的包月制，實(shí)現(xiàn)基于時(shí)間段、帶寬、應(yīng)用、服務(wù)質(zhì)量等更加靈活的交費(fèi)標(biāo)準(zhǔn)。
1.3網(wǎng)絡(luò)應(yīng)用狀況監(jiān)測和分析
了解網(wǎng)絡(luò)的應(yīng)用狀況，對探究者和網(wǎng)絡(luò)提供者都很重要。通過網(wǎng)絡(luò)應(yīng)用監(jiān)測，可以了解網(wǎng)絡(luò)上各種協(xié)議的使用情況（如www，pop3，ftp，rtp等協(xié)議），以及網(wǎng)絡(luò)應(yīng)用的使用情況，探究者可以據(jù)此探究新的協(xié)議和應(yīng)用，網(wǎng)絡(luò)提供者也可以據(jù)此更好的規(guī)劃網(wǎng)絡(luò)。
1.4實(shí)時(shí)監(jiān)測網(wǎng)絡(luò)狀況
針對網(wǎng)絡(luò)流量變化的突發(fā)性特性，通過實(shí)時(shí)監(jiān)測網(wǎng)絡(luò)狀況，能實(shí)時(shí)獲得網(wǎng)絡(luò)的當(dāng)前運(yùn)行狀況，減輕維護(hù)人員的工作負(fù)擔(dān)。能在網(wǎng)絡(luò)出現(xiàn)故障或擁塞時(shí)發(fā)出自動(dòng)告警，在網(wǎng)絡(luò)即將出現(xiàn)瓶頸前給出分析和猜測?，F(xiàn)在隨著Internet網(wǎng)絡(luò)不斷擴(kuò)大，網(wǎng)絡(luò)中也經(jīng)常會(huì)出現(xiàn)黑客攻擊、病毒泛濫的情況。而這些網(wǎng)絡(luò)突發(fā)事件從設(shè)備和網(wǎng)管的角度看卻很難發(fā)現(xiàn)，經(jīng)常讓網(wǎng)絡(luò)管理員感到棘手。因此，針對網(wǎng)絡(luò)中突發(fā)性的異常流量分析將有助于網(wǎng)絡(luò)管理員發(fā)現(xiàn)和解決新問題。
1.5網(wǎng)絡(luò)用戶行為監(jiān)測和分析
這對于網(wǎng)絡(luò)提供者來說非常重要，通過監(jiān)測訪問網(wǎng)絡(luò)的用戶的行為，可以了解到摘要：
1）某一段時(shí)間有多少用戶在訪問我的網(wǎng)絡(luò)。
2）訪問我的網(wǎng)絡(luò)最多的用戶是哪些。
3）這些用戶停留了多長時(shí)間。
4）他們來自什么地方。
5）他們到過我的網(wǎng)絡(luò)的哪些部分。
通過這些信息，網(wǎng)絡(luò)提供者可以更好的為用戶提供服務(wù)，從而也獲得更大的收益。
2.網(wǎng)絡(luò)流量測量有5個(gè)要素摘要：
測量時(shí)間、測量對象、測量目的、測量位置和測量方法。網(wǎng)絡(luò)流量的測量實(shí)體，即性能指標(biāo)主要包括以下幾項(xiàng)。2.1連接性
連接性也稱可用性、連通性或可達(dá)性，嚴(yán)格說應(yīng)該是網(wǎng)絡(luò)的基本能力或?qū)傩?，不能稱為性能，但I(xiàn)TU-T建議可以用一些方法進(jìn)行定量的測量。
2.2延遲
對于單向延遲測量要求時(shí)鐘嚴(yán)格同步，這在實(shí)際的測量中很難做到，許多測量方案都采用往返延遲，以避開時(shí)鐘同步新問題。
2.3丟包率
為了評估網(wǎng)絡(luò)的丟包率，一般采用直接發(fā)送測量包來進(jìn)行測量。目前評估網(wǎng)絡(luò)丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當(dāng)一條路徑（通路）中沒有其他背景流量時(shí)，網(wǎng)絡(luò)能夠提供的最大的吞吐量。
2.5流量參數(shù)
ITU－T提出兩種流量參數(shù)作為參考摘要：一種是以一段時(shí)間間隔內(nèi)在測量點(diǎn)上觀測到的所有傳輸成功的IP包數(shù)量除以時(shí)間間隔，即包吞吐量；另一種是基于字節(jié)吞吐量摘要：用傳輸成功的IP包中總字節(jié)數(shù)除以時(shí)間間隔。
3.測量方法
Internet流量數(shù)據(jù)有三種形式摘要：被動(dòng)數(shù)據(jù)（指定鏈路數(shù)據(jù)）、主動(dòng)數(shù)據(jù)（端至端數(shù)據(jù)）和BGP路由數(shù)據(jù)，由此涉及兩種測量方法摘要：被動(dòng)測量方法和主動(dòng)測量方法然而，近幾年來，主動(dòng)測量技術(shù)被網(wǎng)絡(luò)用戶或網(wǎng)絡(luò)探究人員用來分析指定網(wǎng)絡(luò)路徑的流量行為。
3.1主動(dòng)測量
主動(dòng)測量的方法是指主動(dòng)發(fā)送數(shù)據(jù)包去探測被測量的對象。以被測對象的響應(yīng)作為性能評分的結(jié)果來分析。測量者一般采用模擬現(xiàn)實(shí)的流量（如WebServer的請求、FTP下載、DNS反應(yīng)時(shí)間等）來測量一個(gè)應(yīng)用的性能或者網(wǎng)絡(luò)的性能。由于測量點(diǎn)一般都靠近終究端，所以這種方法能夠代表從監(jiān)測者的角度反映的性能。
3.2被動(dòng)測量
被動(dòng)測量是在網(wǎng)絡(luò)中的一點(diǎn)收集流量信息，如使用路由器或交換機(jī)收渠數(shù)據(jù)或者一個(gè)獨(dú)立的設(shè)備被動(dòng)地監(jiān)測網(wǎng)絡(luò)鏈路的流量。被動(dòng)測量可以完全取消附加流量和Heisenberg效應(yīng)，這些優(yōu)點(diǎn)使人們更愿意使用被動(dòng)測量技術(shù)。有些測度使用被動(dòng)測量獲得相當(dāng)困難摘要：如決定分縮手縮腳一所經(jīng)過的路由。但被動(dòng)測量的優(yōu)點(diǎn)使得決定測量之前應(yīng)該首先考慮被動(dòng)測量。被動(dòng)測量技術(shù)碰到的另一個(gè)重要新問題是目前提出的要求確保隱私和平安新問題。
3.3網(wǎng)絡(luò)流量抽樣測量技術(shù)
關(guān)鍵詞:DPI;智能流量管理系統(tǒng);管理策略
Campus Network Application Layer Traffic Monitoring and Flow Control Equipment to Study
TAO Wei-tian
(Network Management Center of Traditional Chinese Medicine in Gansu, Lanzhou 730000, China)
Abstract: With exports of campus network bandwidth increases and new applications development, the traditional port and IP-based traffic management difficult to meet the requirements, and has brought various problems. With quantitative analysis based on network planning and optimization is particularly important and urgent.
With the actual faces to the campus network, we should draw the network application-level monitoring technology, use-related flow control equipment, good flow control, only to allow the smooth operation of the dual network to educate the public, limited bandwidth, the effective application of resources, but also improve the network performance.
Key words: DPI; intelligent traffic management system; management strategy
隨著大學(xué)校園上網(wǎng)規(guī)模的增加,BT、P2P、視頻下載等應(yīng)用風(fēng)行,盡管已經(jīng)多次升級線路帶寬,卻發(fā)現(xiàn)上網(wǎng)還是卡,帶寬還是不夠用。各式病毒攻擊也伴隨而來,更是惱人的問題。使得校園網(wǎng)流量管理變得異常困難,大量帶寬被非核心業(yè)務(wù)占用,而傳統(tǒng)的基于端口和IP的流量管理難以滿足要求;面對眾多的用戶及復(fù)雜多元的網(wǎng)絡(luò)應(yīng)用,給校園網(wǎng)絡(luò)管理帶來很大的威脅,網(wǎng)絡(luò)管理人員經(jīng)常遭遇下列問題:網(wǎng)絡(luò)占用率較高不能查明原因、帶寬不足需優(yōu)化而缺乏統(tǒng)計(jì)數(shù)據(jù)、網(wǎng)絡(luò)突然中斷不能查明原因等、希望獲得詳細(xì)的網(wǎng)絡(luò)管理報(bào)表用來網(wǎng)絡(luò)優(yōu)化或升級需要而沒有現(xiàn)成資料。
針對上述校園網(wǎng)絡(luò)實(shí)際面臨到的問題,我認(rèn)為追根究底是要做好流量管控,使用應(yīng)用層流量分析管理技術(shù)和產(chǎn)品,即可實(shí)現(xiàn)這方面的管理效果,這就需要做到:1) 了解網(wǎng)絡(luò)應(yīng)用流量監(jiān)測技術(shù);2) 合理的使用流量管理產(chǎn)品。下面,分別就這兩方面做以闡述:
1 網(wǎng)絡(luò)應(yīng)用流量監(jiān)測原理及辦法
我們知道,傳統(tǒng)的流量和帶寬管理是基于OSI L2～L4層,通過IP包頭的五元組(源地址、目的地址、源端口、目的端口以及協(xié)議類型)信息進(jìn)行分析,通常我們稱此為“普通報(bào)文檢測”?！捌胀▓?bào)文檢測”僅分析IP包的4層以下的內(nèi)容,通過端口號來識別應(yīng)用類型。而當(dāng)前網(wǎng)絡(luò)上的一些應(yīng)用會(huì)采用隱藏或假冒端口號的方式躲避檢測和監(jiān)管,造成仿冒合法報(bào)文的數(shù)據(jù)流侵蝕著網(wǎng)絡(luò)(例如P2P下載軟件大多采用動(dòng)態(tài)協(xié)商端口機(jī)制),此時(shí)采用L2～L4層的傳統(tǒng)檢測方法就無能為力了。
為了識別諸如基于開放端口、隨機(jī)端口甚至采用加密方式等進(jìn)行傳輸?shù)膽?yīng)用類型,網(wǎng)絡(luò)流量應(yīng)用識別基本技術(shù)DPI、DFI技術(shù)應(yīng)運(yùn)而生。也有文獻(xiàn)稱之為業(yè)務(wù)識別技術(shù)。
1.1網(wǎng)絡(luò)流量應(yīng)用識別基本技術(shù)
1.1.1 DPI
DPI全稱為“Deep Packet Inspection”,稱為“深度包檢測”。DPI技術(shù)在分析包頭的基礎(chǔ)上,增加了對應(yīng)用層的分析,是一種基于應(yīng)用層的流量檢測和控制技術(shù)。當(dāng)IP數(shù)據(jù)包、TCP或UDP數(shù)據(jù)流經(jīng)過基于DPI技術(shù)的流量管理系統(tǒng)時(shí),該系統(tǒng)通過深入讀取IP包載荷的內(nèi)容,來對OSI 7層協(xié)議中的應(yīng)用層信息進(jìn)行重組,從而得到整個(gè)應(yīng)用程序的內(nèi)容,然后按照系統(tǒng)定義的管理策略對流量進(jìn)行整形操作。
DPI技術(shù)通常采用如下的數(shù)據(jù)包分析方法:
傳輸層端口分析。許多應(yīng)用使用默認(rèn)的傳輸層端口號,例如HTTP協(xié)議使用80端口。
特征字匹配分析。一些應(yīng)用在應(yīng)用層協(xié)議頭,或者應(yīng)用層負(fù)荷中的特定位置中包含特征字段,通過特征字段的識別實(shí)現(xiàn)數(shù)據(jù)包檢查、監(jiān)控和分析。
通信交互過程分析。對多個(gè)會(huì)話的事務(wù)交互過程進(jìn)行監(jiān)控分析,包括包長度、發(fā)送的包數(shù)目等,實(shí)現(xiàn)對網(wǎng)絡(luò)業(yè)務(wù)的檢查、監(jiān)控和分析。
DPI技術(shù)是達(dá)到應(yīng)用層流控目標(biāo)的基本方法,通過DPI技術(shù),把流細(xì)分為對應(yīng)具體的應(yīng)用流,在分離流量的基礎(chǔ)上,定義帶寬通道,從而使網(wǎng)絡(luò)中的流量根據(jù)應(yīng)用各行其道,優(yōu)化寬帶服務(wù),提高網(wǎng)絡(luò)運(yùn)行效率和服務(wù)品質(zhì),保障關(guān)鍵應(yīng)用,獲得更好的用戶體驗(yàn)。
DPI實(shí)現(xiàn)應(yīng)用粒度控制的流程是:識別分析控制報(bào)告,其中識別準(zhǔn)確度是關(guān)鍵,是評估流控產(chǎn)品的重要指標(biāo)。
1.1.2 DFI
DFI(Deep/Dynamic Flow Inspection,深度/動(dòng)態(tài)流檢測)與DPI進(jìn)行應(yīng)用層的載荷匹配不同,采用的是一種基于流量行為的應(yīng)用識別技術(shù),即不同的應(yīng)用類型體現(xiàn)在會(huì)話連接或數(shù)據(jù)流上的狀態(tài)各有不同。DFI更關(guān)注于網(wǎng)絡(luò)流量特征的通用性,因此,DFI技術(shù)并不對網(wǎng)絡(luò)流量進(jìn)行深度的報(bào)文檢測,而僅通過對網(wǎng)絡(luò)流量的狀態(tài)、網(wǎng)絡(luò)層和傳輸層信息、業(yè)務(wù)流持續(xù)時(shí)間、平均流速率、字節(jié)長度分布等參數(shù)的統(tǒng)計(jì)分析,來獲取業(yè)務(wù)類型、業(yè)務(wù)狀態(tài)。
2 網(wǎng)絡(luò)流量管理產(chǎn)品
2.1 智能管理
早期的網(wǎng)絡(luò)流量管理方式是在路由器、防火墻或局域網(wǎng)交換機(jī)上使用簡單的帶寬管理或QOS來實(shí)現(xiàn)(至今一些單位的簡易流控需求仍沿用這種方式),但這種控制方式需要人為干涉,操作復(fù)雜,無法做到智能管理,所以不能滿足網(wǎng)絡(luò)管理中復(fù)雜策略的精細(xì)程度和靈活程度需要。
智能流量管理系統(tǒng)是一款專業(yè)的L7應(yīng)用層流量管理產(chǎn)品,適用于大中型企業(yè)、校園網(wǎng)、城域網(wǎng)等流量大、應(yīng)用復(fù)雜的網(wǎng)絡(luò)化境;通過監(jiān)控網(wǎng)絡(luò)流量,分析流量行為,設(shè)置流控策略,分時(shí)段、按用戶、按應(yīng)用實(shí)現(xiàn)流量控制和帶寬保障,全面提升帶寬利用價(jià)值。智能流量管理系統(tǒng)融合了DPI和DFI兩種技術(shù),具有四個(gè)顯著特征。
1) 精確而廣泛的應(yīng)用識別能力:對應(yīng)用的識別是進(jìn)行流量控制的基礎(chǔ)。智能流量管理系統(tǒng)應(yīng)用識別庫能覆蓋各種主流應(yīng)用,特別是結(jié)合國內(nèi)網(wǎng)絡(luò)應(yīng)用的實(shí)際情況,提供對迅雷、QQ等本土應(yīng)用的識別。另外,智能流量管理系統(tǒng)能夠?qū)χT如QQ這種具有即時(shí)消息、文件傳輸、音頻視頻、游戲等多種子協(xié)議的網(wǎng)絡(luò)應(yīng)用,提供精細(xì)化的子應(yīng)用識別。
2) 優(yōu)異的產(chǎn)品性能及安全性保障:智能流量管理系統(tǒng)對用戶網(wǎng)絡(luò)中的所有流量進(jìn)行處理,能夠承受巨大的流量壓力,特別是在配置復(fù)雜策略情況下,不會(huì)造成設(shè)備性能的下降。另外,設(shè)備是以串接方式接入用戶網(wǎng)絡(luò),具有良好的安全性,在設(shè)備出現(xiàn)運(yùn)行斷電或異常情況時(shí),能夠保障用戶業(yè)務(wù)的暢通。
3) 強(qiáng)大的控制能力:智能流量管理系統(tǒng)能夠根據(jù)用戶的實(shí)際需求,提供強(qiáng)大而完善的控制手段。通過不同時(shí)間段、不同用戶、不同網(wǎng)絡(luò)應(yīng)用、不同控制動(dòng)作等條件,實(shí)現(xiàn)不同情景下的策略配置。我們知道任何網(wǎng)絡(luò)流量的使用都和人的因素密不可分,智能流量管理系統(tǒng)能夠?qū)τ脩暨M(jìn)行靈活的分類管理,從而使控制策略更加符合實(shí)際需要。
4) 清晰而全面的信息查詢:智能流量管理系統(tǒng)不僅能實(shí)現(xiàn)對網(wǎng)絡(luò)流量的控制,而且能幫助網(wǎng)絡(luò)管理者對異常問題進(jìn)行定位,以及通過網(wǎng)絡(luò)應(yīng)用現(xiàn)狀的分析實(shí)現(xiàn)對網(wǎng)絡(luò)的優(yōu)化。智能流量管理系統(tǒng)通過柱狀圖、餅狀圖、走勢圖等圖表,以及從不同的分析角度,可向用戶提供清晰而全面的實(shí)時(shí)信息查詢、歷史日志查詢、以及自動(dòng)生成報(bào)表等功能。
2.2 國內(nèi)外產(chǎn)品介紹
國外廠商,以Cisco SCE、Allot、Packteer、Sendvine、 ACENET、Maxnet。產(chǎn)品特性能好,解決方案和產(chǎn)品成熟,均有用戶管理系統(tǒng)(可能為動(dòng)態(tài)IP環(huán)境中使用,將用戶帳號和流量策略結(jié)合來控制流量),除ACENET外,其主流產(chǎn)品功能相對單一,但非常專業(yè)。
國內(nèi)廠商中,比較優(yōu)秀的有暢訊信通的QQSG、南京信風(fēng)、寬廣、華為SIG、金御等,國內(nèi)產(chǎn)品適合國情,國內(nèi)應(yīng)用的識別率相對國外產(chǎn)品高,存在問題是產(chǎn)品性能宣傳強(qiáng),但實(shí)際使用,尤其是在策略較多情況下性能差,個(gè)別產(chǎn)品有POS接口(適合部分國內(nèi)運(yùn)營商),價(jià)格較國外廠商有較大優(yōu)勢,功能較多,但在流量管理領(lǐng)域,屬于發(fā)展期,不夠成熟。
2.3 設(shè)備的選擇
2.3.1 硬件技術(shù)
流量管理設(shè)備硬件技術(shù)主要有三種:Intel X86架構(gòu)、ASIC技術(shù)和NP技術(shù),由于X86架構(gòu)處理速度相對較慢,單個(gè)芯片的可擴(kuò)展性較差,所以大部分廠家的低端產(chǎn)品采用X86架構(gòu),高端產(chǎn)品采用ASIC或NP技術(shù),以適用于不同的網(wǎng)絡(luò)環(huán)境需求。
2.3.2 工作模式
1) 路由模式:通過網(wǎng)關(guān)模式串接在用戶網(wǎng)絡(luò)鏈路中,所有流量都通過網(wǎng)關(guān)處理,對內(nèi)網(wǎng)用戶上網(wǎng)行為和數(shù)據(jù)包實(shí)施控制、攔截、流量管理等功能。若將設(shè)備作為Internet 出口網(wǎng)關(guān),設(shè)備的防火墻功能保障組織網(wǎng)絡(luò)安全,NAT功能內(nèi)網(wǎng)用戶上網(wǎng),實(shí)現(xiàn)基本的路由功能等。
2) 網(wǎng)橋模式:同樣串接在用戶網(wǎng)絡(luò)鏈路中,如同連接在出口網(wǎng)關(guān)和內(nèi)網(wǎng)交換機(jī)之間的“智能網(wǎng)線”,對流經(jīng)流控設(shè)備的所有數(shù)據(jù)流進(jìn)行控制、攔截、流量管理等操作。網(wǎng)橋模式主要適用于不希望更改網(wǎng)絡(luò)結(jié)構(gòu)、路由配置、IP 配置的用戶。
3) 旁路模式:即在出換機(jī)中配置鏡像端口,將流控設(shè)備的廣域網(wǎng)口同鏡像端口相連,實(shí)現(xiàn)對內(nèi)網(wǎng)數(shù)據(jù)包的監(jiān)聽。
采用旁路模式部署的流控設(shè)備,將與交換機(jī)的鏡像端口相連,部署實(shí)施簡單,完全不影響原有的網(wǎng)絡(luò)結(jié)構(gòu),降低了網(wǎng)絡(luò)單點(diǎn)故障的發(fā)生概率。
2.3.3 性能要求
1) 應(yīng)用協(xié)議的識別與分類(種類和準(zhǔn)確性),流控策略的普適性及長效性;
有些通過應(yīng)用層特征碼來控制P2P的流控策略,如果不能及時(shí)更新特征碼或特征碼變得不可知,就可能導(dǎo)致流控失敗,一個(gè)近期的例子:BT通訊協(xié)議加密及迅雷通訊協(xié)議發(fā)生變化導(dǎo)致專門的P2P流控設(shè)備失效。好的流控設(shè)備不依賴于應(yīng)用的特征碼,因此可以經(jīng)得起時(shí)間及應(yīng)用軟件協(xié)議變化的考驗(yàn)。
2) 流控策略的全面性
普通設(shè)備的只對P2P應(yīng)用做控制,好的設(shè)備對所有流量的帶寬、會(huì)話數(shù)、總流量和應(yīng)用做控制。由于流量的多樣性,單靠一兩種策略是不能管理好的,必須實(shí)行全面的流控策略才能達(dá)到流量管理的目的。
3) 看監(jiān)控對象及流控策略的精細(xì)度
好的設(shè)備既可以監(jiān)控出口網(wǎng)關(guān)處的流量又可以監(jiān)控來源網(wǎng)絡(luò)的流量分布;
普通設(shè)備的控制精度只能達(dá)到IP一級或網(wǎng)關(guān)一級,好的設(shè)備可以對每一源IP的不同應(yīng)用分別做帶寬及會(huì)話數(shù)的控制,而且只有這樣才能保障關(guān)鍵應(yīng)用及其它應(yīng)用的服務(wù)質(zhì)量以及相同等級用戶上網(wǎng)體驗(yàn)的一致性。
4) 看流量數(shù)據(jù)存儲(chǔ)及處理方式
好的設(shè)備可以將流量數(shù)據(jù)輸出到專門的流量分析工作站,將流量存儲(chǔ)、分析、統(tǒng)計(jì)、查詢功能和流量捕捉功能分開,保證了流量分析設(shè)備的運(yùn)行效率和流量數(shù)據(jù)存儲(chǔ)的可持續(xù)性。
5) 應(yīng)盡可能使用性能可靠、管理方便、特別是在有故障時(shí)能夠自動(dòng)旁路的設(shè)備,避免故障點(diǎn)的出現(xiàn)。
2.4 設(shè)備優(yōu)缺點(diǎn)
流控設(shè)備不是萬能的,還要了解其缺點(diǎn)。
首先,因?yàn)樗墓ぷ髟砗头啦《疽粯訉儆谑潞笃鹱饔?所以其優(yōu)點(diǎn)是精準(zhǔn),其缺點(diǎn)是:1) 總有部分(10～30%)流量不可識別,例如IP碎片、加密流量等;2) 性能會(huì)持續(xù)下降,當(dāng)特征碼越來越多時(shí),性能就會(huì)越來越低,這種趨勢發(fā)展到一定程度就會(huì)使流控設(shè)備成為網(wǎng)絡(luò)中新的性能瓶頸;3) 由于要頻繁更新特征碼,因此一、設(shè)備后期維護(hù)難度大,總體擁有成本高;二、對廠家的依賴程度高,廠家停產(chǎn)、倒閉等不可抗力因素使得購買其產(chǎn)品成為一種賭博行為。其次,要區(qū)別對待基于應(yīng)用層的帶寬分析技術(shù)和控制技術(shù),確定有未知流量的存在對于7層帶寬分析技術(shù)來說是一種間接的成果,但是對于基于其上的帶寬控制技術(shù)來說就是現(xiàn)實(shí)的噩夢,因?yàn)樗茸R別再做控制,所以這部分流量永遠(yuǎn)無法得到有效的控制,當(dāng)某種未知流量短期內(nèi)突然增大時(shí),流控措施就會(huì)馬上失效,例如,08年新版迅雷的快速普及就導(dǎo)致了不少流控設(shè)備失效,特別是一些國外的設(shè)備。
3 總結(jié)
綜上所述,只有做到網(wǎng)絡(luò)應(yīng)用流量監(jiān)測技術(shù)和網(wǎng)絡(luò)流量管理設(shè)備的深入了解,才能針對校園網(wǎng)所面臨的問題,選擇好適合自己需要的網(wǎng)絡(luò)流量管理設(shè)備,做到“心中有數(shù)、有的放矢”。
參考文獻(xiàn):
[1] 聶瑞華.基于DPI技術(shù)的校園網(wǎng)絡(luò)帶寬管理[J].計(jì)算機(jī)技術(shù)與發(fā)展,2009(4).
