首頁(yè) > 優(yōu)秀范文 > 網(wǎng)絡(luò)流量監(jiān)測(cè)
時(shí)間：2023-02-25 13:18:59
序論：速發(fā)表網(wǎng)結(jié)合其深厚的文秘經(jīng)驗(yàn)，特別為您篩選了11篇網(wǎng)絡(luò)流量監(jiān)測(cè)范文。如果您需要更多原創(chuàng)資料，歡迎隨時(shí)與我們的客服老師聯(lián)系，希望您能從中汲取靈感和知識(shí)！
中圖分類號(hào):TP
文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1672-3198(2010)17-0348-01
1 網(wǎng)絡(luò)流量的特征
1.1 數(shù)據(jù)流是雙向的,但通常是非對(duì)稱的
互聯(lián)網(wǎng)上大部分的應(yīng)用都是雙向交換數(shù)據(jù)的,因此網(wǎng)絡(luò)的流是雙向的。但是兩個(gè)方向上的數(shù)據(jù)率有很大的差異,這是因?yàn)閺木W(wǎng)站下載時(shí)會(huì)導(dǎo)致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個(gè)方向多。
1.2 大部分TCP會(huì)話是短期的
超過(guò)90%的TCP會(huì)話交換的數(shù)據(jù)量小于10K字節(jié),會(huì)話持續(xù)時(shí)間不超過(guò)幾秒。雖然文件傳輸和遠(yuǎn)程登陸這些TCP對(duì)話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節(jié),WWW的巨大增長(zhǎng)使其在這方面產(chǎn)生了決定性的影響。1.3 包的到達(dá)過(guò)程不是泊松過(guò)程
大部分傳統(tǒng)的排隊(duì)理論和通信網(wǎng)絡(luò)設(shè)計(jì)都假設(shè)包的到達(dá)過(guò)程是泊松過(guò)程,即包到達(dá)的間斷時(shí)間的分布是獨(dú)立的指數(shù)分布。簡(jiǎn)單的說(shuō),泊松到達(dá)過(guò)程就是事件(例如地震,交通事故,電話等)按照一定的概率獨(dú)立的發(fā)生。泊松模型因?yàn)橹笖?shù)分布的無(wú)記憶性也就是事件之間的非相關(guān)性而使其在應(yīng)用上要比其他模型更加簡(jiǎn)單。然而,近年來(lái)對(duì)互聯(lián)網(wǎng)絡(luò)通信量的測(cè)量顯示包到達(dá)的過(guò)程不是泊松過(guò)程。包到達(dá)的間斷時(shí)間不僅不服從指數(shù)分布,而且不是獨(dú)立分布的。大部分時(shí)候是多個(gè)包連續(xù)到達(dá),即包的到達(dá)是有突發(fā)性的。很明顯,泊松過(guò)程不足以精確地描述包的到達(dá)過(guò)程。造成這種非泊松結(jié)構(gòu)的部分原因是數(shù)據(jù)傳輸所使用的協(xié)議。非泊松過(guò)程的現(xiàn)象迫使人們懷疑使用簡(jiǎn)單的泊松模型研究網(wǎng)絡(luò)的可靠性,從而促進(jìn)了網(wǎng)絡(luò)通信量模型的研究。
1.4 網(wǎng)絡(luò)通信量具有局域性
互聯(lián)網(wǎng)流量的局域性包括時(shí)間局域性和空間局域性。用戶在應(yīng)用層對(duì)互聯(lián)網(wǎng)的訪問(wèn)反映在包的時(shí)間和目的地址上,從而顯示出基于時(shí)間的相關(guān)(時(shí)間局域性)和基于空間的相關(guān)(空間局域性)。
2 網(wǎng)絡(luò)流量的測(cè)量
網(wǎng)絡(luò)流量的測(cè)量是人們研究互聯(lián)網(wǎng)絡(luò)的一個(gè)工具,通過(guò)采集和分析互聯(lián)網(wǎng)的數(shù)據(jù)流,我們可以設(shè)計(jì)出更加符合實(shí)際的網(wǎng)絡(luò)設(shè)備和更加合理的網(wǎng)絡(luò)協(xié)議。計(jì)算機(jī)網(wǎng)絡(luò)不是永遠(yuǎn)不會(huì)出錯(cuò)的,設(shè)備的一小點(diǎn)故障都有可能使整個(gè)網(wǎng)絡(luò)癱瘓,或者使網(wǎng)絡(luò)性能明顯下降。例如廣播風(fēng)暴、非法包長(zhǎng)、錯(cuò)誤地址、安全攻擊等。對(duì)互聯(lián)網(wǎng)流量的測(cè)量可以為網(wǎng)絡(luò)管理者提供詳細(xì)的信息以幫助發(fā)現(xiàn)和解決問(wèn)題。互聯(lián)網(wǎng)流量的測(cè)量從不同的方面可以分為:
2.1 基于硬件的測(cè)量和基于軟件的測(cè)量
基于硬件的測(cè)量通常指使用為采集和分析網(wǎng)絡(luò)數(shù)據(jù)而特別設(shè)計(jì)的專用硬件設(shè)備進(jìn)行網(wǎng)絡(luò)流的測(cè)量,這些設(shè)備一般都比較昂貴,而且受網(wǎng)絡(luò)接口數(shù)量,網(wǎng)絡(luò)插件的類型,存儲(chǔ)能力和協(xié)議分析能力等諸多因素的限制?；谲浖臏y(cè)量通常依靠修改工作站的內(nèi)核中的網(wǎng)絡(luò)接口部分,使其具備捕獲網(wǎng)絡(luò)數(shù)據(jù)包的功能。與基于硬件的方法比較,其費(fèi)用比較低廉,但是性能比不上專用的網(wǎng)絡(luò)流量分析器。
2.2 主動(dòng)測(cè)量和被動(dòng)測(cè)量
被動(dòng)測(cè)量只是記錄網(wǎng)絡(luò)的數(shù)據(jù)流,不向網(wǎng)絡(luò)流中注入任何數(shù)據(jù)。大部分網(wǎng)絡(luò)流量測(cè)量都是被動(dòng)的測(cè)量。主動(dòng)測(cè)量使用由測(cè)量設(shè)備產(chǎn)生的數(shù)據(jù)流來(lái)探測(cè)網(wǎng)絡(luò)而獲知網(wǎng)絡(luò)的信息。例如使用ping來(lái)估計(jì)到某個(gè)目的地址的網(wǎng)絡(luò)延時(shí)。
2.3 在線分析和離線分析
有的網(wǎng)絡(luò)流量分析器支持實(shí)時(shí)地收集和分析網(wǎng)絡(luò)數(shù)據(jù),使用可視化手段在線顯示流量數(shù)據(jù)和分析結(jié)果,大部分基于硬件的網(wǎng)絡(luò)分析器都具有這個(gè)能力。離線分析只是在線地收集網(wǎng)絡(luò)數(shù)據(jù),把數(shù)據(jù)存儲(chǔ)下來(lái),并不對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析。
2.4 協(xié)議級(jí)分類
對(duì)于不同的協(xié)議,例如以太網(wǎng)(Ethernet)、幀中繼(Frame Relay)、異步傳輸模式(Asynchronous Transfer Mode),需要使用不同的網(wǎng)絡(luò)插件來(lái)收集網(wǎng)絡(luò)數(shù)據(jù),因此也就有了不同的通信量測(cè)試方法。
3 網(wǎng)絡(luò)流量的監(jiān)測(cè)技術(shù)
根據(jù)對(duì)網(wǎng)絡(luò)流量的采集方式可將網(wǎng)絡(luò)流量監(jiān)測(cè)技術(shù)分為:基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測(cè)技術(shù)、基于SNMP的監(jiān)測(cè)技術(shù)和基于Netflow的監(jiān)測(cè)技術(shù)三種常用技術(shù)。
3.1 基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測(cè)技術(shù)
網(wǎng)絡(luò)流量全鏡像采集是目前IDS主要采用的網(wǎng)絡(luò)流量采集模式。其原理是通過(guò)交換機(jī)等網(wǎng)絡(luò)設(shè)備的端口鏡像或者通過(guò)分光器、網(wǎng)絡(luò)探針等附加設(shè)備,實(shí)現(xiàn)網(wǎng)絡(luò)流量的無(wú)損復(fù)制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點(diǎn)是能夠提供豐富的應(yīng)用層信息。
3.2 基于Netflow的流量監(jiān)測(cè)技術(shù)
Netflow流量信息采集是基于網(wǎng)絡(luò)設(shè)備提供的Netflow機(jī)制實(shí)現(xiàn)的網(wǎng)絡(luò)流量信息采集。
中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9599 （2012） 17-0000-02
隨著網(wǎng)絡(luò)規(guī)模的日益擴(kuò)大和網(wǎng)絡(luò)結(jié)構(gòu)的日益復(fù)雜，導(dǎo)致計(jì)算機(jī)網(wǎng)絡(luò)管理的難度越來(lái)越大，相應(yīng)的要求也變得越來(lái)越高。各種網(wǎng)絡(luò)活動(dòng)都離不開(kāi)網(wǎng)絡(luò)流量，網(wǎng)絡(luò)流量作為網(wǎng)絡(luò)用戶活動(dòng)的主要載體，發(fā)揮著較為重要的作用。通過(guò)監(jiān)測(cè)分析網(wǎng)絡(luò)流量，可以完成容量規(guī)劃、鏈路狀態(tài)監(jiān)測(cè)、異常監(jiān)測(cè)、網(wǎng)絡(luò)性能分析等，對(duì)于計(jì)算機(jī)網(wǎng)絡(luò)的維護(hù)和運(yùn)行都能夠發(fā)揮重要作用。如netcounter是一款簡(jiǎn)單易用的網(wǎng)絡(luò)流量監(jiān)控軟件。它可以分別顯示手機(jī)網(wǎng)絡(luò)和wifi當(dāng)天、本周、本月和所有時(shí)間的流量統(tǒng)計(jì)。本文就計(jì)算機(jī)網(wǎng)絡(luò)管理中網(wǎng)絡(luò)流量監(jiān)測(cè)進(jìn)行研究。
1 網(wǎng)絡(luò)流量的特征
1.1 大部分TCP會(huì)話是短期的。對(duì)于TCP會(huì)話而言，超過(guò)90%的會(huì)話時(shí)間都不會(huì)超過(guò)幾秒，交換數(shù)據(jù)量一般都在5-10K字節(jié)，很少有能夠10K字節(jié)的。雖然遠(yuǎn)程登陸和文件傳輸之類的TCP會(huì)話是長(zhǎng)期的，但是百分之八十多的WWW文檔傳輸大小都是小于10K字節(jié)，而目前這種WWW文檔傳輸大幅度增加，從而導(dǎo)致大部分TCP會(huì)話是短期的。
1.2 數(shù)據(jù)流是雙向的，但通常是非對(duì)稱的。對(duì)于計(jì)算機(jī)網(wǎng)絡(luò)而言，大部分互聯(lián)網(wǎng)應(yīng)用都不采用單向交換，而是雙向交換數(shù)據(jù)，所以，網(wǎng)絡(luò)流量也自然都是雙向的。但通常這兩個(gè)方向的數(shù)據(jù)率存在很大的差異，主要原因就在于：網(wǎng)站到客戶端的數(shù)據(jù)量會(huì)由于網(wǎng)站下載而比客戶端到網(wǎng)站的數(shù)據(jù)量多。
1.3 網(wǎng)絡(luò)通信量具有局域性。對(duì)于網(wǎng)絡(luò)流量而言，一般都包括兩種局域性，分別是空間局域性和時(shí)間局域性。用戶通過(guò)互聯(lián)網(wǎng)應(yīng)用層來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行訪問(wèn)，主要是在包的目的地址和時(shí)間上進(jìn)行體現(xiàn)，從而顯示出空間局域性（基于空間相關(guān)）和時(shí)間局域性（基于時(shí)間相關(guān)）。
1.4 包的到達(dá)過(guò)程不是泊松過(guò)程。按照傳統(tǒng)的通信網(wǎng)絡(luò)設(shè)計(jì)和排隊(duì)理論都假設(shè)泊松過(guò)程就是包的到達(dá)過(guò)程，也就是說(shuō)，包到達(dá)的間斷時(shí)間的分布是獨(dú)立的指數(shù)分布。
例如電話、交通事故、地震等事件都是獨(dú)立地、按照一定的概率來(lái)發(fā)生的，這也就是泊松到達(dá)過(guò)程。但是根據(jù)近年來(lái)測(cè)量互聯(lián)網(wǎng)絡(luò)通信量的顯示結(jié)果表明，泊松過(guò)程已經(jīng)不再是包到達(dá)的過(guò)程。包的到達(dá)具有有突發(fā)性，在很多時(shí)候都會(huì)有多個(gè)包連續(xù)到達(dá)，包到達(dá)的間斷時(shí)間不是獨(dú)立分布的，同時(shí)也不服從指數(shù)分布。包的到達(dá)過(guò)程已經(jīng)不能被泊松過(guò)程來(lái)精確描述。造成這樣的原因部分在于數(shù)據(jù)傳輸所使用的協(xié)議。這種非泊松結(jié)構(gòu)使得人們?cè)谘芯烤W(wǎng)絡(luò)的可靠性時(shí)不再采用簡(jiǎn)單的泊松模型，從而使得網(wǎng)絡(luò)通信量模型的研究大大促進(jìn)。
2 計(jì)算機(jī)網(wǎng)絡(luò)管理中網(wǎng)絡(luò)流量監(jiān)測(cè)的方法
在深入了解互聯(lián)網(wǎng)通信特性之后，我們?cè)诒O(jiān)測(cè)網(wǎng)絡(luò)流量的時(shí)候就可以采取相應(yīng)的技術(shù)措施。從目前的實(shí)踐經(jīng)驗(yàn)來(lái)看，計(jì)算機(jī)網(wǎng)絡(luò)管理中網(wǎng)絡(luò)流量監(jiān)測(cè)的方法主要有兩種，分別是被動(dòng)測(cè)量和主動(dòng)測(cè)量。
2.1 主動(dòng)測(cè)量。主動(dòng)測(cè)量的工作原理就是通過(guò)測(cè)量設(shè)備來(lái)測(cè)量端到端的網(wǎng)絡(luò)流量和網(wǎng)絡(luò)特征，進(jìn)而了解被測(cè)網(wǎng)絡(luò)當(dāng)前提供數(shù)據(jù)傳輸?shù)哪芰途唧w的運(yùn)行狀態(tài)。在主動(dòng)測(cè)量網(wǎng)絡(luò)流量的過(guò)程中，網(wǎng)絡(luò)測(cè)量系統(tǒng)應(yīng)當(dāng)由四個(gè)部分構(gòu)成，分別是分析服務(wù)器、中心數(shù)據(jù)庫(kù)、中心服務(wù)器、測(cè)量節(jié)點(diǎn)。
主動(dòng)測(cè)量網(wǎng)絡(luò)流量的最大優(yōu)點(diǎn)就在于三個(gè)方面，分別是靈活性、可控性、主動(dòng)性都較好，而且還能夠直觀地統(tǒng)計(jì)端到端的性能。但是主動(dòng)測(cè)量網(wǎng)絡(luò)流量的方法也存在著不足之處，那就是實(shí)際情況與我們所獲得的結(jié)果存在著一定的偏差，主要原因在于主動(dòng)測(cè)量是主動(dòng)對(duì)網(wǎng)絡(luò)注入流量。
2.2 被動(dòng)監(jiān)測(cè)。被動(dòng)測(cè)量其監(jiān)測(cè)原理是通過(guò)部署一定的網(wǎng)絡(luò)設(shè)備和監(jiān)測(cè)點(diǎn)來(lái)被動(dòng)地獲取網(wǎng)絡(luò)流量的數(shù)據(jù)和相關(guān)信息，這是一種典型的分布式網(wǎng)絡(luò)監(jiān)測(cè)技術(shù)。被動(dòng)監(jiān)測(cè)恰恰彌補(bǔ)了主動(dòng)監(jiān)測(cè)的缺點(diǎn)和不足，它不會(huì)對(duì)原有網(wǎng)絡(luò)流量進(jìn)行改變，自然也就不會(huì)如主動(dòng)監(jiān)測(cè)一樣造成這樣大的偏差，實(shí)踐也證明了這一點(diǎn)。但是被動(dòng)監(jiān)測(cè)也存在著自身的不足，主要就是它采集數(shù)據(jù)和相關(guān)信息是從單個(gè)點(diǎn)或設(shè)備進(jìn)行的，這種實(shí)時(shí)采集的方式很有可能會(huì)泄露數(shù)據(jù)，也很難有效分析網(wǎng)絡(luò)端對(duì)端的性能看，采集信息數(shù)據(jù)量過(guò)大，但是總的來(lái)說(shuō)，被動(dòng)測(cè)量的優(yōu)點(diǎn)是占主導(dǎo)地位的，所以被動(dòng)測(cè)量比主動(dòng)測(cè)量應(yīng)用更為廣泛，正在被大量地應(yīng)用在對(duì)網(wǎng)絡(luò)流量分布進(jìn)行分析和測(cè)量中。
3 網(wǎng)絡(luò)流量監(jiān)測(cè)技術(shù)的具體應(yīng)用
3.1 為網(wǎng)絡(luò)出口互聯(lián)鏈路的設(shè)置提供決策支持。通過(guò)有效地分析網(wǎng)絡(luò)出口流向和流量，能夠有效地掌握網(wǎng)絡(luò)內(nèi)部用戶對(duì)于網(wǎng)絡(luò)的訪問(wèn)情況，從而可以有效的決策，減少互聯(lián)鏈路中的浪費(fèi)現(xiàn)象，有效地節(jié)約開(kāi)支。同時(shí)，通過(guò)網(wǎng)絡(luò)流量監(jiān)測(cè)與分析，能夠?yàn)楦鞣N網(wǎng)絡(luò)優(yōu)化措施，如路由選擇、重要鏈路帶寬設(shè)置、多出口流量負(fù)載均衡等提供正確的數(shù)據(jù)依據(jù)。
3.2 網(wǎng)絡(luò)流量監(jiān)測(cè)可以對(duì)網(wǎng)絡(luò)運(yùn)行商提供大客戶統(tǒng)計(jì)分析和重要應(yīng)用的統(tǒng)計(jì)分析。通過(guò)對(duì)這些流量進(jìn)行統(tǒng)計(jì)分析，可以有效地分析網(wǎng)絡(luò)帶寬成本，有助于在網(wǎng)絡(luò)成本和網(wǎng)絡(luò)服務(wù)質(zhì)量二者之間取得最佳平衡點(diǎn)，既讓大客戶滿意，又能夠讓網(wǎng)絡(luò)運(yùn)行商有較好的盈利。同時(shí)，通過(guò)監(jiān)控分析大客戶接入電路上的流量，能夠有效地統(tǒng)計(jì)出通信數(shù)據(jù)量、通信時(shí)間、服務(wù)等級(jí)、業(yè)務(wù)類型等多個(gè)參數(shù)，為基于服務(wù)等級(jí)協(xié)議（SLA）和IP的計(jì)費(fèi)應(yīng)用的校驗(yàn)服務(wù)提供正確的數(shù)據(jù)依據(jù)。
3.3 通過(guò)對(duì)各個(gè)分支網(wǎng)絡(luò)出入流量的監(jiān)控，分析流量的大小、方向及內(nèi)容組成，了解各分支網(wǎng)絡(luò)占用帶寬的情況，從而反映其占用的網(wǎng)絡(luò)成本，作出價(jià)值評(píng)估。
3.4 掌握網(wǎng)絡(luò)內(nèi)部用戶對(duì)其他運(yùn)營(yíng)商的網(wǎng)絡(luò)訪問(wèn)情況。通過(guò)監(jiān)控網(wǎng)絡(luò)內(nèi)部用戶對(duì)其他運(yùn)營(yíng)商的網(wǎng)絡(luò)訪問(wèn)情況，可以有效地掌握用戶對(duì)于那些網(wǎng)站有興趣，也可以準(zhǔn)確地分析網(wǎng)絡(luò)內(nèi)部用戶訪問(wèn)外網(wǎng)主要流量方向及業(yè)務(wù)特點(diǎn)，根據(jù)分析結(jié)果來(lái)有的放矢，找到廣大網(wǎng)絡(luò)用戶感興趣的熱點(diǎn)信息，然后對(duì)自己的網(wǎng)絡(luò)內(nèi)容進(jìn)行相應(yīng)的補(bǔ)充和建設(shè)，減輕用戶流失。同時(shí)，長(zhǎng)期監(jiān)控一些特定網(wǎng)絡(luò)流量，有助于網(wǎng)絡(luò)流量模型被網(wǎng)絡(luò)管理人員所了解、所掌握，網(wǎng)絡(luò)管理人員可以通過(guò)所掌握的基準(zhǔn)數(shù)據(jù)來(lái)對(duì)網(wǎng)絡(luò)使用狀況進(jìn)行正確的分析，在網(wǎng)絡(luò)安全存在隱患的時(shí)候就能夠及時(shí)異常警訊，采取相應(yīng)的防御措施，從而使得整個(gè)網(wǎng)絡(luò)的整體效能和整體質(zhì)量都得到大幅度的提升。
4 結(jié)語(yǔ)
中圖分類號(hào)：TN914 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416(2012)07-0026-02
P2P技術(shù)利用客戶端的處理能力，實(shí)現(xiàn)了點(diǎn)到點(diǎn)的通信，可最大限度的共享P2P網(wǎng)絡(luò)中的軟硬件資源，極大的提高了用戶獲取網(wǎng)絡(luò)資源的效率。然而，P2P技術(shù)和應(yīng)用的無(wú)序性，對(duì)網(wǎng)絡(luò)帶寬占用的無(wú)度性，又缺乏有效監(jiān)管與控制，使網(wǎng)絡(luò)關(guān)鍵鏈路常處于擁塞狀態(tài)，導(dǎo)致Web瀏覽、Email等基本網(wǎng)絡(luò)業(yè)務(wù)，以及有關(guān)工作流程的關(guān)鍵網(wǎng)絡(luò)業(yè)務(wù)無(wú)法正常使用。尤其是校園網(wǎng)用戶多、應(yīng)用廣、學(xué)生用戶思想活躍喜歡嘗試各種P2P應(yīng)用，即使不斷增加出口帶寬，升級(jí)設(shè)備，也無(wú)法應(yīng)對(duì)P2P對(duì)帶寬無(wú)休止的搶占。如何實(shí)現(xiàn)對(duì)P2P網(wǎng)絡(luò)流量的有效監(jiān)測(cè)與控制，保障校園網(wǎng)有限帶寬合理使用，已成為校園網(wǎng)管理中必須要解決的問(wèn)題。
1、P2P網(wǎng)絡(luò)流量對(duì)校園網(wǎng)的影響
鑒于P2P技術(shù)自身“非中心化”、高速、海量、擴(kuò)展性強(qiáng)、穿透性強(qiáng)、上下行流量對(duì)稱等特性，P2P技術(shù)已應(yīng)用到資源共享、文件下載、對(duì)等計(jì)算、即時(shí)通訊、流媒體、搜索引擎等方方面面。如能科學(xué)合理的運(yùn)用P2P技術(shù)，必將為廣大師生的學(xué)習(xí)、生活和工作提供更豐富的信息化手段。如對(duì)P2P技術(shù)不能進(jìn)行有效的監(jiān)測(cè)與控制，也正是由于P2P技術(shù)同樣的特性，必將對(duì)校園網(wǎng)有限的帶寬造成巨大的消耗，帶來(lái)一系列負(fù)面的影響。
1.1 吞噬網(wǎng)絡(luò)帶寬
如圖1所示為學(xué)院校園網(wǎng)在實(shí)施P2P網(wǎng)絡(luò)流量控制前，其中70%的校園網(wǎng)網(wǎng)絡(luò)帶寬被P2P下裁、NetTV、Stream等P2P應(yīng)用所吐噬，再加上網(wǎng)絡(luò)蠕蟲(chóng)、病毒泛濫，Http、Emil以及有關(guān)工作流程的業(yè)務(wù)應(yīng)用能正常使用的帶寬就所剩無(wú)幾了，造成網(wǎng)絡(luò)運(yùn)行速度變慢或時(shí)斷時(shí)續(xù)，同時(shí)，網(wǎng)絡(luò)帶寬不足反過(guò)來(lái)也會(huì)影響P2P應(yīng)用。
1.2 阻礙網(wǎng)站訪問(wèn)
因?yàn)镻2P應(yīng)用具上下行流量對(duì)稱的特性，必將占用大量校園網(wǎng)上行流量，從而影響校園網(wǎng)對(duì)外服務(wù)，造成校外用戶瀏覽學(xué)院網(wǎng)站變慢，或根本打不開(kāi)，校內(nèi)電子郵箱收不到校外郵件，進(jìn)而影響學(xué)校對(duì)外宣傳和交流。
1.3 增加安全隱患
P2P網(wǎng)絡(luò)各節(jié)點(diǎn)可直接訪問(wèn)，資源共享，并且P2P應(yīng)用還可穿透防火墻。從而更容易造成蠕蟲(chóng)、病毒相互傳染、快速傳播。P2P應(yīng)用給用戶帶來(lái)更多的安全隱患。
2、P2P網(wǎng)絡(luò)流量監(jiān)測(cè)技術(shù)
2.1 關(guān)鍵節(jié)點(diǎn)監(jiān)測(cè)
基于關(guān)鍵節(jié)點(diǎn)的P2P監(jiān)測(cè)是一種傳統(tǒng)報(bào)文監(jiān)測(cè)手段。P2P網(wǎng)絡(luò)中的關(guān)鍵節(jié)點(diǎn)就是在維護(hù)P2P網(wǎng)絡(luò)健壯性、擴(kuò)展性和連通性等方面具有重要作用的節(jié)點(diǎn)[2]。
由于所有的P2P用戶都存在與關(guān)鍵節(jié)點(diǎn)的交互，因此監(jiān)測(cè)關(guān)鍵節(jié)點(diǎn)，就能對(duì)該P(yáng)2P應(yīng)用進(jìn)行監(jiān)測(cè)。早期P2P網(wǎng)絡(luò)中的關(guān)鍵節(jié)點(diǎn)相對(duì)固定和集中，但越來(lái)越多的P2P應(yīng)用“泛化”關(guān)鍵節(jié)點(diǎn)，使得基于關(guān)鍵節(jié)點(diǎn)的監(jiān)測(cè)方法越來(lái)越難以實(shí)現(xiàn)。
2.2 端口監(jiān)測(cè)
基于協(xié)議端口的P2P監(jiān)測(cè)也是一種傳統(tǒng)報(bào)文監(jiān)測(cè)手段。早期的P2P應(yīng)用大多采用缺省協(xié)議端口實(shí)現(xiàn)P2P節(jié)點(diǎn)之間的通信。基于缺省協(xié)議端口就可監(jiān)測(cè)到P2P應(yīng)用中所有用戶和節(jié)點(diǎn)之間交互過(guò)程。這種監(jiān)測(cè)方式利用現(xiàn)有網(wǎng)絡(luò)條件就可實(shí)現(xiàn)，不需要增加什么投資成本，對(duì)早期P2P應(yīng)用的監(jiān)控較為有效。
但是，越來(lái)越多的P2P應(yīng)用采用隨機(jī)生成端口號(hào)，或手工設(shè)定端口號(hào)，或自動(dòng)改變端口號(hào)的方法，基于協(xié)議端口的P2P監(jiān)測(cè)就無(wú)法實(shí)現(xiàn)了。
2.3 DPI技術(shù)監(jiān)測(cè)
深度報(bào)文檢測(cè)（Deep Packet Inspection,DPI）技術(shù)是相對(duì)于傳統(tǒng)報(bào)文檢測(cè)技術(shù)而提出的一種典型應(yīng)用檢測(cè)技術(shù)。DPI技術(shù)目前并沒(méi)有一個(gè)較明確的定義，但普遍認(rèn)為， DPI除了具備對(duì)報(bào)文頭部信息、源/目的IP地址、源/目的協(xié)議端口和協(xié)議類型等進(jìn)行監(jiān)測(cè)分析等普通報(bào)文監(jiān)測(cè)分析能力外，還可結(jié)合報(bào)文凈荷（payload）及報(bào)文之間的關(guān)聯(lián)性等因素進(jìn)行監(jiān)測(cè)，實(shí)現(xiàn)報(bào)文的“深度”識(shí)別[2]。
2.4 DFI技術(shù)監(jiān)測(cè)
深度流行為檢測(cè)（Deep Flow Inspection,DFI）技術(shù)也是一種典型應(yīng)用檢測(cè)技術(shù)。DFI主要是通過(guò)對(duì)網(wǎng)絡(luò)流量狀態(tài)、持續(xù)時(shí)間、流量速率、字節(jié)長(zhǎng)度等參數(shù)分析統(tǒng)計(jì)來(lái)監(jiān)測(cè)P2P應(yīng)用類型和狀態(tài)的。相對(duì)DPI技術(shù)，DFI可監(jiān)測(cè)到未知的P2P流量，但監(jiān)測(cè)精度沒(méi)DPI高，容易出現(xiàn)誤判。所以，DFI適合快速監(jiān)測(cè)，DPI適合精確監(jiān)測(cè)，各有千秋，在高端流量控制設(shè)備中一般都集成DFI和DPI兩種監(jiān)測(cè)技術(shù)，取長(zhǎng)補(bǔ)短。
3、P2P網(wǎng)絡(luò)流量監(jiān)測(cè)控制實(shí)現(xiàn)
3.1 實(shí)現(xiàn)方式
全球規(guī)模最大的寬帶互聯(lián)網(wǎng)就是China Net，擁有超過(guò)40Tbit/s的骨干網(wǎng)流量，互聯(lián)網(wǎng)每年都以60%速度增長(zhǎng)，越來(lái)越重視互聯(lián)網(wǎng)安全問(wèn)題，逐漸凸顯惡意流量網(wǎng)絡(luò)安全問(wèn)題，2013年，持續(xù)增加移動(dòng)互聯(lián)網(wǎng)惡意程序，傳播惡意程序的互聯(lián)網(wǎng)已經(jīng)達(dá)到1296萬(wàn)次，互聯(lián)網(wǎng)環(huán)境逐漸惡化，不完善的審核機(jī)制和能力差的檢測(cè)技術(shù)，使惡意程序擴(kuò)散，導(dǎo)致污染移動(dòng)互聯(lián)網(wǎng)上游環(huán)節(jié)，加速惡意程序發(fā)展速度，為了有效解決上述問(wèn)題，本文主要分析了網(wǎng)絡(luò)惡意流量檢測(cè)技術(shù)。
1互聯(lián)網(wǎng)惡意流量安全檢測(cè)技術(shù)研究
1.1高效“僵木蠕”流量高速識(shí)別技術(shù)
1.1.1提取文件特征
分析的基本案例就是Android程序，一般來(lái)說(shuō)，會(huì)對(duì)Android程序內(nèi)部權(quán)限構(gòu)成文件的特征向量進(jìn)行提取，如，應(yīng)用Android程序權(quán)限的時(shí)候，主要就是依據(jù)Android程序提出了134個(gè)劃分權(quán)限列表特征，例如，讀取手機(jī)短信、手機(jī)狀態(tài)、讀取通訊錄、讀取地理位置、讀取通話記錄、攔截普通短信、發(fā)送短信、修改系統(tǒng)設(shè)置、訪問(wèn)網(wǎng)絡(luò)、結(jié)束后臺(tái)程序、獲得IMEI密碼等。
1.1.2構(gòu)造特征向量空間
構(gòu)造特征向量空間的時(shí)候，可以把特征提出的Android程序描述串合理變?yōu)閧0，1）取值向量。計(jì)算特征向量的時(shí)候，因?yàn)闀?huì)占據(jù)很大空間，主要應(yīng)用的形式是索引向量，如，依據(jù)特征索引方式來(lái)合理提取高危權(quán)限網(wǎng)絡(luò)惡意程序特征。假設(shè)已知樣本A，B以及病毒X提出特征數(shù)據(jù)結(jié)果分別是文件帶有病毒X的提出特征描述串：
{READ_SMS，ACCESS_NETWORK_STATE，READ_CONTACTS，CALL_PHONE，WRITE_SMS）：
提出B文件樣本特征描述串：
{WRITE_EXTERNAL_STORAGE，READ_MSM，ACCESS_NETWORK_STATE，READ_CONTACTS，CALL_PHONE，WRITE_SMS）；
提出A文件樣本特征描述串：
{READ_PHONE_STATE，SEND_SMS，WRITE_EXTERNAL_STORAGE，READ_MSM，，WRITE_SMS）。病毒X和樣本A，B向量基本形式為X00011111，B00111111，A11110001。病毒X以及樣本A，B索引基本形式是X{3，4，5，6，7}，B{2，3，4，5，6，7），A{0，1，2，3，7}。
1.1.3快速聚類分析
最鄰近樣本特征向量以及每個(gè)樣本特征向量之間具備比較大概率的同類文件，所以，需要在已知聚類樣本中對(duì)新增樣本鄰近查詢，合理計(jì)算最近鄰近樣本和新增樣本之間距離，如果具備超過(guò)定閥值的最短距離會(huì)在鄰近聚類中歸納新增樣本，反之就建立新聚類。構(gòu)造特征向量空間的時(shí)候，一般都是對(duì)原始向量取值為{0，1），所以，建立快速聚類分析的時(shí)候主要應(yīng)用臭氧散列函數(shù)，是隨機(jī)選擇的一組D維向量特征中K維自向量，依據(jù)實(shí)際索引情況進(jìn)行適當(dāng)索引，原始向量對(duì)應(yīng)的結(jié)果中適當(dāng)選取0或1，形成子向量。每次計(jì)算一種隨機(jī)向量結(jié)果的時(shí)候，就會(huì)出現(xiàn)與之對(duì)應(yīng)的子向量K，如果具備相同的2個(gè)向量結(jié)果，屬于同一聚類。依據(jù)上述實(shí)際情況對(duì)病毒X和樣本A，B隨機(jī)選擇L為4的索引作為子向量，索引{4，5，7，8}，可以得到向量子集X是1111，向量子集B是1111，向量子集A是1001，可以發(fā)現(xiàn)X的最鄰近是B，而不是A。因此，不再檢測(cè)正常A文件，二次確認(rèn)檢查疑似惡意程序的B樣本。
1.2自適應(yīng)動(dòng)態(tài)沙箱智能研判技術(shù)
國(guó)內(nèi)外運(yùn)行商首先提出處理網(wǎng)絡(luò)疑似病毒的模型基于平行沙箱的智能研判模型，可以在一定程度上安全檢測(cè)流量環(huán)境中的程序應(yīng)用情況。基于此模型，建立了自然對(duì)數(shù)危險(xiǎn)函數(shù)序列的深度等級(jí)量化智能研判技術(shù)，也就是說(shuō)可以對(duì)安全等級(jí)進(jìn)行判斷，智能化分析未知惡意程序，計(jì)算未知惡意程序等級(jí)基本公式為：
K=Roundl{In[d×eα+w×eβ+j×eγ+a×eδ+m×eε]）
其中，α是多維度特征運(yùn)算掃描結(jié)果，γ是自適應(yīng)動(dòng)態(tài)沙箱運(yùn)算結(jié)果；β是掃描未知病毒結(jié)果，ε是掃描敏感字結(jié)果，δ是動(dòng)態(tài)沙箱Android運(yùn)算結(jié)果。上述值都屬于[0，10]，四舍五入處理是Round{），保留1位小數(shù)。特征庫(kù)映射以及計(jì)算惡意程危險(xiǎn)函數(shù)序列之間關(guān)系如表1所示。
2互聯(lián)網(wǎng)惡意流量安全檢測(cè)技術(shù)應(yīng)用
2.1系統(tǒng)設(shè)計(jì)架構(gòu)
網(wǎng)絡(luò)惡意流量檢測(cè)系統(tǒng)包括集中管理模塊、惡意程序處置模塊、惡意程序分析模塊、流量采集模塊。設(shè)計(jì)系統(tǒng)結(jié)構(gòu)的基本理念就是依據(jù)監(jiān)測(cè)惡意程序引擎的方式來(lái)適當(dāng)監(jiān)測(cè)網(wǎng)絡(luò)惡意流量，并以智能方式多重過(guò)濾和研究檢測(cè)引擎依據(jù)上報(bào)惡意未知程序，健全網(wǎng)絡(luò)流量惡意程序特征庫(kù)，依據(jù)特征庫(kù)實(shí)際情況建立惡意程序處理模塊，CE路由器網(wǎng)絡(luò)需要主動(dòng)攔截以及預(yù)防惡意程序，系統(tǒng)可以研制和捕獲典型網(wǎng)絡(luò)惡意程序，統(tǒng)一和管理封堵，集中角度封堵資源等。設(shè)計(jì)此系統(tǒng)的時(shí)候，采集原始流量利用PI口，訪問(wèn)鏡像用戶互聯(lián)網(wǎng)和流量數(shù)據(jù)的還原文件、重組報(bào)文等，檢測(cè)惡意程序的時(shí)候合理應(yīng)用惡意程序搜索引擎，對(duì)集中管理模塊提供檢測(cè)結(jié)果，系統(tǒng)核心就是集中管理模塊，可以達(dá)到運(yùn)行管理、惡意URL管理、警告管理、報(bào)表展示、管理特征庫(kù)等功能，并且對(duì)處置模塊輸送合理的封堵策略。
2.2流量采集模塊
流量采集模塊根本作用就是可以收集網(wǎng)絡(luò)中類似惡意程序的軟件樣本、傳播地址源、行為特征以及受害用戶信息，可以分析惡意軟件。流量采集模塊可以存在多種實(shí)現(xiàn)形式，包括檢測(cè)業(yè)務(wù)平臺(tái)異動(dòng)方式、檢測(cè)蜜罐被動(dòng)方式、光路器選擇方式、鏡像方式、分光方式等。
2.3惡意程序分析模塊
惡意程序分析模塊應(yīng)用根本作用實(shí)際上就是可以對(duì)鏡像用戶網(wǎng)絡(luò)流量進(jìn)行流量分析，獲得RADIUS流量數(shù)據(jù)以及訪問(wèn)網(wǎng)絡(luò)數(shù)據(jù)，合理連接集中管理模塊，可以對(duì)結(jié)果進(jìn)行上報(bào)，并且集中分配管理配置策略。
2.4惡意程序處置模塊
惡意程序處置模塊根本作用就是能夠達(dá)到處置惡意程序的目的，依據(jù)查殺惡意執(zhí)行程序的軟件、阻斷網(wǎng)絡(luò)惡意軟件傳播源等方式阻斷網(wǎng)絡(luò)惡意傳播行為和上下行流量網(wǎng)絡(luò)惡意程序。處置惡意程序的時(shí)候需要單獨(dú)應(yīng)用物理接口，可以對(duì)管理信息進(jìn)行傳遞。
2.5集中管理模塊
【 中圖分類號(hào) 】 TP309.05 【 文獻(xiàn)標(biāo)識(shí)碼 】 A
1 引言
IP網(wǎng)絡(luò)具有體系架構(gòu)開(kāi)放、信息共享靈活等優(yōu)點(diǎn)，但是因其系統(tǒng)開(kāi)放也極易遭受各種網(wǎng)絡(luò)攻擊的入侵。網(wǎng)絡(luò)異常流量檢測(cè)屬于入侵檢測(cè)方法的一種，它通過(guò)統(tǒng)計(jì)發(fā)現(xiàn)網(wǎng)絡(luò)流量偏離正常行為的情形，及時(shí)檢測(cè)發(fā)現(xiàn)網(wǎng)絡(luò)中出現(xiàn)的攻擊行為，為網(wǎng)絡(luò)安全防護(hù)提供保障。在網(wǎng)絡(luò)異常流量檢測(cè)方法中，基于統(tǒng)計(jì)分析的檢測(cè)方法通過(guò)分析網(wǎng)絡(luò)參數(shù)生成網(wǎng)絡(luò)正常行為輪廓，然后度量比較網(wǎng)絡(luò)當(dāng)前主體行為與正常行為輪廓的偏離程度，根據(jù)決策規(guī)則判定網(wǎng)絡(luò)中是否存在異常流量，具有統(tǒng)計(jì)合理全面、檢測(cè)準(zhǔn)確率高等優(yōu)點(diǎn)。基于相對(duì)熵的異常檢測(cè)方法屬于非參數(shù)統(tǒng)計(jì)分析方法，在檢測(cè)過(guò)程中無(wú)須數(shù)據(jù)源的先驗(yàn)知識(shí)，可對(duì)樣本分布特征進(jìn)行假設(shè)檢驗(yàn)，可在缺乏歷史流量數(shù)據(jù)的情況下實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)異常行為的檢測(cè)與發(fā)現(xiàn)。本文系統(tǒng)研究了模糊相對(duì)熵理論在網(wǎng)絡(luò)異常流量檢測(cè)中的應(yīng)用，并搭建模擬實(shí)驗(yàn)環(huán)境對(duì)基于模糊相對(duì)熵的網(wǎng)絡(luò)異常流量檢測(cè)方法進(jìn)行了測(cè)試驗(yàn)證。
2 基于模糊相對(duì)熵的多測(cè)度網(wǎng)絡(luò)異常流量檢測(cè)方法
2.1 模糊相對(duì)熵的概念
相對(duì)熵（Relative Entropy）又稱為K-L距離（Kullback-Leibler divergence），常被用作網(wǎng)絡(luò)異常流量的檢測(cè)方法。本文引入模糊相對(duì)熵的概念，假定可用來(lái)度量?jī)蓚€(gè)概率分布P={p1，p2，...，...，pn}和Q={q1，q2，...，...，qn}的差別，其中，P、Q是描述同一隨機(jī)過(guò)程的兩個(gè)過(guò)程分布，P、Q的模糊相對(duì)熵定義為：
S（P，Q）=[Pi ln+（1-pi）ln] （1）
上式中qi可以接近0或1，這會(huì)造成部分分式分母為零，因此對(duì)（1）式重新定義：
S'（P，Q）=[Pi ln+（1-pi）ln]（2）
模糊相對(duì)熵為兩種模糊概率分布的偏差提供判斷依據(jù)，值越小說(shuō)明越一致，反之亦然。
2.2 多測(cè)度網(wǎng)絡(luò)異常流量檢測(cè)方法流程
基于模糊相對(duì)熵理論的多測(cè)度網(wǎng)絡(luò)異常檢測(cè)具體實(shí)施分為系統(tǒng)訓(xùn)練和實(shí)際檢測(cè)兩個(gè)階段。系統(tǒng)訓(xùn)練階段通過(guò)樣本數(shù)據(jù)或監(jiān)測(cè)網(wǎng)絡(luò)正常狀態(tài)流量獲取測(cè)度的經(jīng)驗(yàn)分布，實(shí)際檢測(cè)階段將實(shí)測(cè)數(shù)據(jù)獲取的測(cè)度分布與正常測(cè)度分布計(jì)算模糊相對(duì)熵，并計(jì)算多個(gè)測(cè)度的加權(quán)模糊相對(duì)熵，根據(jù)閾值判定網(wǎng)絡(luò)異常情況，方法流程如下：
Step1：獲取網(wǎng)絡(luò)特征正常流量的參數(shù)分布。通過(guò)樣本數(shù)據(jù)或監(jiān)測(cè)網(wǎng)絡(luò)正常狀態(tài)流量獲取各測(cè)度的經(jīng)驗(yàn)分布。
Step2：獲取網(wǎng)絡(luò)特征異常常流量的參數(shù)分布。對(duì)選取網(wǎng)絡(luò)特征參數(shù)異常流量進(jìn)行檢測(cè)獲取各種測(cè)度的概率分布。
Step3：依據(jù)公式（2）計(jì)算單測(cè)度正常流量和異常流量間模糊相對(duì)熵Si。
Step4：計(jì)算多測(cè)度加權(quán)模糊相對(duì)熵S。
S=α1S1+α2S2+…+αkSk （3）
式中αk表示第k個(gè)測(cè)度的權(quán)重系數(shù)，由測(cè)評(píng)數(shù)據(jù)集統(tǒng)計(jì)分析獲得。
最終，根據(jù)S建立不同的等級(jí)閾值來(lái)表征網(wǎng)絡(luò)異常情況。S越大，表示網(wǎng)絡(luò)流量特征參數(shù)分布偏離正常狀態(tài)越多，網(wǎng)絡(luò)中出現(xiàn)異常流量的概率越大；S越小，表示網(wǎng)絡(luò)流量特征參數(shù)分布與正常狀態(tài)吻合度越好，網(wǎng)絡(luò)中出現(xiàn)異常流量的概率越小。
3 測(cè)試驗(yàn)證
為測(cè)試方法的有效性，搭建如圖1所示的實(shí)驗(yàn)環(huán)境，模擬接入層網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、流量類型和流量負(fù)載情況。測(cè)試環(huán)境流量按業(yè)務(wù)域類型分類，主要分為視頻、語(yǔ)音、數(shù)據(jù)三種業(yè)務(wù)域，按每個(gè)業(yè)務(wù)單路帶寬需求計(jì)算，總帶寬需求約為2368kbps～3200kbps。
（1）檢測(cè)系統(tǒng)接入交換機(jī)鏡像端口，系統(tǒng)部署環(huán)境。
①硬件環(huán)境：Intel（R） Core（TM） 2 Duo CPU 2.00GHz，2.0G內(nèi)存；②操作系統(tǒng)環(huán)境：Windows XP，.NET Framework 3.5；③數(shù)據(jù)庫(kù)系統(tǒng)：Microsoft SQL Server 2005 9.00.1399.06 （Build 2600： Service Pack 3）。
測(cè)試環(huán)境交換機(jī)采用華為S3050C，用戶主機(jī)接入點(diǎn)配置如表1所示。
測(cè)試網(wǎng)絡(luò)正常流量狀態(tài)方案配置。
①1號(hào)主機(jī)架設(shè)視頻服務(wù)器模擬視頻業(yè)務(wù)域，單路平均帶寬需求2.59Mbps；②2、3號(hào)主機(jī)架設(shè)音頻服務(wù)器模擬語(yǔ)音業(yè)務(wù)域，單路平均帶寬需求128kbps；③4、5、6號(hào)主機(jī)采用應(yīng)用層專用協(xié)議和傳輸U(kuò)DP協(xié)議模擬發(fā)包程序模擬數(shù)據(jù)業(yè)務(wù)域，單路平均帶寬需求64kbps。
按上述方案配置網(wǎng)絡(luò)環(huán)境，交換機(jī)網(wǎng)絡(luò)流量負(fù)載約為2.996Mbps。
3.1 測(cè)試用例設(shè)計(jì)
網(wǎng)絡(luò)中的異常行為主要包括非法網(wǎng)絡(luò)接入、合法用戶的違規(guī)通信行為、網(wǎng)絡(luò)攻擊及未知的異常流量類型等，系統(tǒng)將其定義為四類：帶寬占用、非法IP地址、非法IP會(huì)話、模糊相對(duì)熵異常四類異常事件，其中模糊相對(duì)熵異?？筛鶕?jù)經(jīng)驗(yàn)數(shù)據(jù)設(shè)定多個(gè)閾值等級(jí)。測(cè)試用例以網(wǎng)絡(luò)正常流量為背景流量，根據(jù)測(cè)試目的添加異常流量事件。測(cè)試用例設(shè)計(jì)及實(shí)驗(yàn)測(cè)試過(guò)程如表2所示。
3.2 結(jié)果分析
測(cè)試用例持續(xù)監(jiān)測(cè)網(wǎng)絡(luò)兩小時(shí)。根據(jù)模糊相對(duì)熵?cái)?shù)據(jù)輸出，繪制ROC曲線，檢測(cè)率與誤警率的關(guān)系如圖2所示。通過(guò)ROC曲線，能夠準(zhǔn)確反映模糊相對(duì)熵異常流量檢測(cè)方法檢測(cè)率與誤警率的關(guān)系。權(quán)衡檢測(cè)率與誤警率，選擇合適的閾值。當(dāng)模糊相對(duì)熵閾值設(shè)定為39.6時(shí)，系統(tǒng)檢測(cè)率為84.36%，誤警率為3.86%，表明檢測(cè)系統(tǒng)對(duì)未知異常流量具有較好的檢測(cè)效果。
4 結(jié)束語(yǔ)
基于模糊相對(duì)熵的網(wǎng)絡(luò)異常流量檢測(cè)方法可以在不具備網(wǎng)絡(luò)歷史流量信息的情況下，通過(guò)對(duì)網(wǎng)絡(luò)流量特征進(jìn)行假設(shè)檢驗(yàn)，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)異常行為的檢測(cè)發(fā)現(xiàn)。實(shí)驗(yàn)測(cè)試結(jié)果表明，設(shè)定合理的模糊相對(duì)熵閾值，該方法的檢測(cè)率可達(dá)84.36%。在下一步的工作中，將研究自學(xué)習(xí)式閾值設(shè)定方法，以及對(duì)模糊相對(duì)熵方法進(jìn)一步優(yōu)化，提升方法的準(zhǔn)確性和效率。
參考文獻(xiàn)
[1] 蔣建春，馮登國(guó)等.網(wǎng)絡(luò)入侵檢測(cè)原理與技術(shù)[M].北京： 國(guó)防工業(yè)出版社，2001.
[2] 蔡明，嵇海進(jìn).基于ISP網(wǎng)絡(luò)的DDoS攻擊防御方法研究[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008， 29（7）：1644-1646.
[3] Francois Bavaud. Relative Entropy and Statistics[EB/OL].http：//unil.ch/webdav/site/imm/users/ fbavaud/private/IT_statistics_bavaud.pdf.，2011-05-16.
[4] 張亞玲，韓照國(guó)，任姣霞.基于相對(duì)熵理論的多測(cè)度網(wǎng)絡(luò)異常檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用，2010， 30（7）：1771-1774.
[5] 李涵秋，馬艷，雷磊.基于相對(duì)熵理論的網(wǎng)絡(luò)Dos攻擊檢測(cè)方法[J].電訊技術(shù)， 2011， 51（3）：89-92.
[6] 張登銀，廖建飛.基于相對(duì)熵理論網(wǎng)絡(luò)流量異常檢測(cè)方法[J].南京郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2012， 32（5）：26-31.
[7] 胡為，胡靜濤.加權(quán)模糊相對(duì)熵在電機(jī)轉(zhuǎn)子故障模糊識(shí)別中的應(yīng)用[J].信息與控制，2009， 38（3）：326-331.
作者簡(jiǎn)介：
中圖分類號(hào)： TN915.07?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）07?0085?03
Network traffic anomaly detection based on time series analysis
LI Yan
（School of Information and Engineering， Jingdezhen Ceramic Institute， Jingdezhen 333403， China）
Abstract： A network traffic anomaly detection model based on time series analysis is proposed to detect the network traffic anomaly accurately and ensure the network normal operation. The wavelet analysis is used to decompose the network traffic according to the similarity of the network traffic data， so as to divide it into the components with smaller scale. And then the gray model and Markov model of the time series analysis method are used to perform the network traffic anomaly detection for the high?frequency component and low frequency component respectively， their results are fused with the wavelet analysis， and analyzed with the simulation experiment of the network traffic anomaly. The results show that the time series analysis model has simple working process， increased the detection rate of the network traffic anomaly， its false alarm rate is lower than that of other network traffic anomaly detection models， and can obtain better real?time performance of the network traffic anomaly detection.
Keywords： network system； traffic anomaly detection； gray model； wavelet analysis
0 引 言
隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展和成熟，網(wǎng)絡(luò)上的業(yè)務(wù)種類越來(lái)越多，如視頻，圖像等，網(wǎng)絡(luò)成為了一種主要的通信載體[1]。由于數(shù)據(jù)的龐大性，對(duì)網(wǎng)絡(luò)帶寬和通信質(zhì)量要求更高，網(wǎng)絡(luò)受到木馬、蠕蟲(chóng)、病毒等影響，網(wǎng)絡(luò)安全問(wèn)題越來(lái)越嚴(yán)重。當(dāng)網(wǎng)絡(luò)中出現(xiàn)不安全因素時(shí)，網(wǎng)絡(luò)流量會(huì)發(fā)生相應(yīng)的變化，出現(xiàn)異常現(xiàn)象，因此如何對(duì)網(wǎng)絡(luò)流量異常進(jìn)行準(zhǔn)確檢測(cè)，并做出相應(yīng)的應(yīng)對(duì)措施，對(duì)保證網(wǎng)絡(luò)正常運(yùn)行具有重要意義[2?3]。
最原始的網(wǎng)絡(luò)流量異常檢測(cè)是通過(guò)對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分析，將網(wǎng)絡(luò)流量特征分為基本特征和組合特征，基本特征主要指網(wǎng)絡(luò)流量大小，數(shù)據(jù)包長(zhǎng)度等；組合特征主要指平均包長(zhǎng)、SYN包的個(gè)數(shù)，通常情況下，對(duì)網(wǎng)絡(luò)流量基本特征進(jìn)行訓(xùn)練，建立網(wǎng)絡(luò)流量異常檢測(cè)模型，將數(shù)據(jù)劃分為正常或者異常，以應(yīng)對(duì)網(wǎng)絡(luò)上的各種攻擊行為，該方法對(duì)小規(guī)模、簡(jiǎn)單網(wǎng)絡(luò)流量異常檢測(cè)效果好[4?5]。隨著網(wǎng)絡(luò)規(guī)模的增大，網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜，網(wǎng)絡(luò)不安全概率增加，網(wǎng)絡(luò)流量異常發(fā)生頻繁，原始網(wǎng)絡(luò)流量異常檢測(cè)技術(shù)不能適應(yīng)現(xiàn)代網(wǎng)絡(luò)發(fā)展的要求[6]。為了適應(yīng)現(xiàn)代網(wǎng)絡(luò)發(fā)展的要求，克服原始檢測(cè)技術(shù)的不足，近些年有學(xué)者提出基于現(xiàn)代統(tǒng)計(jì)學(xué)理論的網(wǎng)絡(luò)流量異常檢測(cè)模型[7]，如采用信號(hào)處理與統(tǒng)計(jì)學(xué)理論相結(jié)合的異常行為檢測(cè)[8]，有學(xué)者提出基于數(shù)據(jù)挖掘技術(shù)的網(wǎng)絡(luò)流量異常檢測(cè)模型，從網(wǎng)絡(luò)流量數(shù)據(jù)中發(fā)現(xiàn)異常行為[9]。并出現(xiàn)基于BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量異常檢測(cè)模型，獲得了較好的檢測(cè)結(jié)果[10]。
為了準(zhǔn)確檢測(cè)出網(wǎng)絡(luò)流量中的異常現(xiàn)象，提出基于時(shí)間序列分析的網(wǎng)絡(luò)流量異常檢測(cè)模型。首先采用小波分析[11]將網(wǎng)絡(luò)流量劃分為更小尺度的分量，然后采用灰色模型和自回歸模型分別對(duì)高頻分量和低頻分量進(jìn)行網(wǎng)絡(luò)流量異常檢測(cè)，并采用小波分析對(duì)它們的檢測(cè)結(jié)果進(jìn)行融合，最后仿真實(shí)驗(yàn)的結(jié)果表明，本文模型是一種網(wǎng)絡(luò)流量異常檢測(cè)率高的模型，具有較高的實(shí)際應(yīng)用價(jià)值。
1 時(shí)間序列分析方法
1.1 灰色模型
灰色模型是一種經(jīng)典的時(shí)間序列分析方法，它將所要解決的問(wèn)題當(dāng)作一個(gè)黑箱，根據(jù)灰色理論進(jìn)行建模，具體為：
（1） 收集網(wǎng)絡(luò)流量異常檢測(cè)的原始數(shù)據(jù)，它們組合在一起形成一個(gè)序列：
[X（0）=x（0）（1），x（0）（2），…，x（0）（n）]
（2） 為了發(fā)現(xiàn)原始數(shù)據(jù)中隱藏的變化特點(diǎn)，對(duì)它們進(jìn)行累加操作，得到：[X（1）=x（1）（1），x（1）（2），…，x（1）（n）]，且有[X（1）（t）=][k=1tx（0）（k）]。
（3） 建立網(wǎng)絡(luò)流量異常檢測(cè)的矩陣[B]與向量[Yn，]即有：
[B=-x（0）（2）+x（0）（1）21 -x（0）（3）+x（0）（2）21 ? ? -x（0）（n）+x（0）（n-1）2 1 ] [Yn=x（0）（2），x（0）（3），…，x（0）（n）]
（4） 根據(jù)最小二乘算法對(duì)系數(shù)[a]進(jìn)行計(jì)算，設(shè)白化方程為：[dx（1）dk+ax（1）=b]，參數(shù)向量可以表示為：[a=ab]，那么系數(shù)[a]的解為：[a=BTB-1BT?Yn]。
（5） 網(wǎng)絡(luò)流量異常檢測(cè)的響應(yīng)函數(shù)為：
[x（1）（k+1）=x（0）（1）-ba?e-ak+ba] （1）
（6） 對(duì)[x（1）（k+1）]進(jìn)行“累減”逆運(yùn)算得到：
[x（0）（k+1）=x（1）（k+1）-x（1）（k）] （2）
1.2 馬爾科夫模型
設(shè)[t=k]時(shí)刻的狀態(tài)為[x（k），]那下一時(shí)刻的狀態(tài)為：
[x（k+1）=x（k）?R（1）] （3）
式中[R（1）]為轉(zhuǎn)移概率矩陣。
馬爾科夫模型的工作過(guò)程為：
（1） 根據(jù)灰色模型可以得到網(wǎng)絡(luò)流量的估計(jì)值為：
[x（0）（k+1）=x（1）（k+1）-x（1）（k）] （4）
（2） 對(duì)于期望值和估計(jì)值之間的相似性，將它們的比值[f]劃分一些狀態(tài)區(qū)間，即有：
[f=x（0）（k）x（0）（k）] （5）
[Fi=Fi1，F(xiàn)i2， i=1，2，…，M] （6）
式中：[Fi1]和[Fi2]分別表示狀態(tài)區(qū)間[i]內(nèi)的最小值和最大值。
（3） 根據(jù)式（6）計(jì)算下一個(gè)狀態(tài)的轉(zhuǎn)移概率。
[pij（k）=nij（k）ni（k）] （7）
式中：[nij（k）]為狀態(tài)[i]到[j]的次數(shù)；[ni（k）]表示狀態(tài)轉(zhuǎn)移的總次數(shù)。
（4） [S]是[f]的全部狀態(tài)集合，若[S]的條件概率[pij（k）]與時(shí)刻[k]不相關(guān)，則表示該馬爾科夫鏈為齊次的，齊次的[n]步轉(zhuǎn)移概率矩陣[R（n）]的計(jì)算公式為：[R（n）=pn00 pn01…pn0lpn10 pn11…pn1l ????pnl0 pnl1…pnll] （8）
（5） 計(jì)算實(shí)測(cè)值與估計(jì)值的偏差[εi=xi-xi，]采用平均偏差[ε=1ni=1nε（i）]對(duì)結(jié)果進(jìn)行修正。
（6） 后驗(yàn)差比值[C]和小誤差概率[P]的計(jì)算公式為：
[C=S1S0] （9）
[P=ε（i）-εx（0）1
式中：[S0=i=1nx（0）（i）-x（0）2n；][ S1=i=1nε（i）-ε2n。]
2 基于時(shí)間序列分析的網(wǎng)絡(luò)流量異常
2.1 小波分析
網(wǎng)絡(luò)流量的數(shù)據(jù)為[X（t），][t=0，1，2，…，N-1，]對(duì)其進(jìn)行小波分解，得到高頻分量為：
[cj+1（t）=l=-∞+∞h（l）cj（t+2jl）] （11）
式中[h]表示低通濾波器。
網(wǎng)絡(luò)流量的低頻分量[dj]為：
[dj+1（l）=cj（t）-cj+1（t）] （12）
網(wǎng)絡(luò)流量的[L]尺度小波分析結(jié)果為：
[D={d1，d2，…，dL，cL}] （13）
對(duì)低頻分量和高頻分量的重構(gòu)結(jié)果為：
[X（t）=c0（t）=cL（t）+j=1Ldj（t）] （14）
2.2 時(shí)間序列分析的網(wǎng)絡(luò)流量異常檢測(cè)步驟
（1） 收集網(wǎng)絡(luò)流量異常檢測(cè)的歷史數(shù)據(jù)，并剔除一些無(wú)用數(shù)據(jù)。
（2） 采用小波分析對(duì)網(wǎng)絡(luò)流量異常數(shù)據(jù)進(jìn)行分解。
（3） 采用灰色模型和馬爾可夫模型對(duì)高頻和低頻分量進(jìn)行建模。
（4） 采用小波重構(gòu)對(duì)灰色模型和馬爾可夫模型的結(jié)果進(jìn)行融合，得到網(wǎng)絡(luò)流量異常的檢測(cè)結(jié)果。
本文模型的工作流程如圖1所示。
3 結(jié)果與分析
收集大量網(wǎng)絡(luò)流量數(shù)據(jù)如圖2所示，為了加快網(wǎng)絡(luò)流量異常檢測(cè)的速度，對(duì)原始數(shù)據(jù)歸一化處理，即：
[x（i）=x（i）-Exσx] （15）
式中：[Ex]和[σx]分別為均值和標(biāo)準(zhǔn)差。
采用小波分析對(duì)圖2的數(shù)據(jù)進(jìn)行多尺度分解，得到低頻分量和和高頻分量如圖3所示，并采用灰色模型和馬爾可夫模型對(duì)高頻和低頻分量進(jìn)行建模，得到相應(yīng)的檢測(cè)值。
采用小波重構(gòu)對(duì)灰色模型和馬爾可夫模型的結(jié)果進(jìn)行融合，得到網(wǎng)絡(luò)流量異常的檢測(cè)結(jié)果如圖4所示。
榱私一步評(píng)價(jià)本文模型的網(wǎng)絡(luò)異常流量檢測(cè)結(jié)果的優(yōu)越性，選擇與當(dāng)前經(jīng)典網(wǎng)絡(luò)異常流量檢測(cè)模型[9?10]進(jìn)行對(duì)比實(shí)驗(yàn)，統(tǒng)計(jì)它們的檢測(cè)率和誤檢率，具體見(jiàn)表1。從表1可知，本文模型提高了網(wǎng)絡(luò)流量異常檢測(cè)率，誤檢率小于對(duì)比模型，能夠更好地保證網(wǎng)絡(luò)安全，具有顯著的優(yōu)越性。
4 結(jié) 語(yǔ)
網(wǎng)絡(luò)流量異常檢測(cè)一直是通信領(lǐng)域研究的熱點(diǎn)，針對(duì)當(dāng)前網(wǎng)絡(luò)流量異常檢測(cè)的局限性，提出基于時(shí)間序列分析的網(wǎng)絡(luò)流量異常檢測(cè)模型。通過(guò)仿真實(shí)驗(yàn)可知，通過(guò)小波分析對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行預(yù)處理，從中發(fā)現(xiàn)變化規(guī)律，有利于后續(xù)的網(wǎng)絡(luò)流量異常檢測(cè)建模，采用灰色模型和馬爾可夫模型對(duì)網(wǎng)絡(luò)流量異常行為進(jìn)行檢測(cè)，獲得較優(yōu)的網(wǎng)絡(luò)流量異常檢測(cè)結(jié)果，而且檢測(cè)結(jié)果要明顯于其他模型，在網(wǎng)絡(luò)安全領(lǐng)域具有廣泛的應(yīng)用前景。
參考文獻(xiàn)
[1] KIM S S， REDDY A L N， VANNUCCI M. Detecting traffic anomalies through aggregate analysis of packet header data [C]// Proceedings of 2004 International Conference on Research on Networking. Berlin： Springer， 2004： 1047?1059.
[2] 孫知信，唐益慰，程媛.基于改進(jìn)CUSUM算法的路由器異常流量檢測(cè)[J].軟件學(xué)報(bào)，2005，16（12）：2117?2123.
[3] 鄧緋.基于瞬時(shí)頻率快速算法的網(wǎng)絡(luò)流量異常檢測(cè)[J].科技通報(bào)，2013，29（7）：170?173.
[4] 鄭黎明，鄒鵬，賈焰，等.網(wǎng)絡(luò)流量異常檢測(cè)中分類器的提取與訓(xùn)練方法研究[J].計(jì)算機(jī)學(xué)報(bào)，2012，35（4）：719?729.
[5] 王欣，方濱興.Hurst參數(shù)變化在網(wǎng)絡(luò)流量異常檢測(cè)中的應(yīng)用[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2005，37（8）：1046?1049.
[6] 溫祥西，孟相如，馬志強(qiáng)，等.基于局部投影降噪和FSVDD的網(wǎng)絡(luò)流量異常檢測(cè)[J].計(jì)算機(jī)應(yīng)用研究，2013，30（5）：1523?1526.
[7] 曹敏，程?hào)|年，張建輝，等.基于自適應(yīng)閃值的網(wǎng)絡(luò)流量異常檢測(cè)算法[J].計(jì)算機(jī)工程，2009，35（19）：164?166.
[8] 鄒柏賢.一種網(wǎng)絡(luò)異常實(shí)時(shí)檢測(cè)方法[J].計(jì)算機(jī)學(xué)報(bào)，2003，26（8）：940?947.
[9] 顏若愚，鄭慶華，牛國(guó)林.自適應(yīng)濾波實(shí)時(shí)網(wǎng)絡(luò)流量異常檢測(cè)方法[J].西安交通大學(xué)學(xué)報(bào)，2009，43（2）：1?5.
中圖分類號(hào)：TP393文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044(2008)30-0576-02
Abnormal Network Traffic Detection based on Identification Mark of IP Packet
ZHOU Ming1, XU Yan2
(1.Anhui Electric Power, Hefei 230061, China ; 2.Mechanical & Electrical Department, Suzhou Institute of Trade & Commerce, Suzhou 215031, China)
Abstract: A new method of abnormal network traffic based on the distribution of IP packets' Identification is proposed in this paper because many of abnormal network traffics are generated by special mechanisms, which are different from the ordinary traffics created on the basic network protocols. The correctness of this method is proved by the results of IP packets detect with different time on CERNET.
Key words: identification mark; binomial distribution; abnormal traffic detection
1 引言
隨著Internet的發(fā)展，網(wǎng)絡(luò)流量急劇增長(zhǎng)，由于網(wǎng)絡(luò)的發(fā)展具有一定的規(guī)律性，可以通過(guò)對(duì)網(wǎng)絡(luò)協(xié)議的分析和網(wǎng)絡(luò)流量的預(yù)測(cè)定義網(wǎng)絡(luò)流量的正常行為，當(dāng)觀測(cè)所得的流量行為偏離正常時(shí)，對(duì)網(wǎng)絡(luò)流量的進(jìn)一步分析可能發(fā)現(xiàn)異常的原因。目前基于網(wǎng)絡(luò)主干和邊界的異常流量檢測(cè)研究主要集中在流矩陣，報(bào)文分析等方面，但由于基于網(wǎng)絡(luò)的探測(cè)，入侵和攻擊行為也變得越來(lái)越普遍和復(fù)雜，這些方法在測(cè)量規(guī)模和粒度上不能達(dá)到很好平衡。本文提出了一種基于IP報(bào)文Identification標(biāo)識(shí)字段分布的異常流量識(shí)別方法，可以以較小的代價(jià)有效地識(shí)別網(wǎng)絡(luò)中的
流量異常，適用于主干網(wǎng)絡(luò)和邊界網(wǎng)絡(luò)，并通過(guò)實(shí)驗(yàn)驗(yàn)證了其可行性。
2 問(wèn)題提出
目前Internet絕大部分使用TCP/IP協(xié)議簇進(jìn)行網(wǎng)絡(luò)傳輸，而IP協(xié)議是其中最重要也是最基本的協(xié)議。位于應(yīng)用層的協(xié)議通過(guò)將服務(wù)內(nèi)容切割成分片（fragment）的形式傳遞給TCP層協(xié)議，在TCP層加上相應(yīng)的頭部信息又傳遞給IP層。由于在接受端需要對(duì)分片進(jìn)行重組獲得完整的服務(wù)內(nèi)容，而網(wǎng)絡(luò)的延時(shí)、擁塞和報(bào)文本身的傳輸方式都可能導(dǎo)致分片的亂序，所以需要對(duì)IP報(bào)文進(jìn)行標(biāo)識(shí)。在IP協(xié)議[1]中Identification字段用于標(biāo)識(shí)該報(bào)文而區(qū)別于來(lái)自相同源宿地址對(duì)使用同一個(gè)協(xié)議的其他報(bào)文。由于該字段被定義為16bit長(zhǎng)，也就是說(shuō)它所能表示最大數(shù)目為216即65536。為保證服務(wù)的正常，網(wǎng)絡(luò)中必須確保來(lái)自同一IP地址使用相同協(xié)議的報(bào)文應(yīng)當(dāng)有其唯一的Identification標(biāo)識(shí)（該標(biāo)識(shí)值位于0-65535之間）。
在文獻(xiàn)[1]中并沒(méi)有給出Identification標(biāo)識(shí)的具體取值方式，但由于規(guī)定了其取值范圍，采用不同取值方式的主機(jī)所選取的初始Identification應(yīng)當(dāng)是一個(gè)位于0-65535之間的隨機(jī)數(shù)且取值相互獨(dú)立，而大部分服務(wù)被分解為若干個(gè)IP報(bào)文進(jìn)行傳送，在每個(gè)主機(jī)中都維護(hù)一個(gè)計(jì)數(shù)器（Counter），每發(fā)送一個(gè)IP報(bào)文該計(jì)數(shù)器加1?？梢宰龀鲆韵录僭O(shè)：
假設(shè)1 在較大規(guī)模網(wǎng)絡(luò)中，從宏觀的角度分析Identification標(biāo)識(shí)的取值是近似均勻分布的。
經(jīng)過(guò)大量實(shí)驗(yàn)證明，在絕大多數(shù)情況下，Identification標(biāo)識(shí)是近似均勻分布的，有關(guān)實(shí)驗(yàn)的驗(yàn)證將在下節(jié)中具體介紹。在假設(shè)1的基礎(chǔ)上，根據(jù)Identification標(biāo)識(shí)的選取方式可以做出相關(guān)結(jié)論如下：
引理1 在較大規(guī)模的網(wǎng)絡(luò)中用于正常服務(wù)的IP報(bào)文的Identification標(biāo)識(shí)是近似服從參數(shù)為n，p的二項(xiàng)分布，其中n為65536，p為0.5。
證明：由于每個(gè)源主機(jī)所發(fā)送的Identification標(biāo)識(shí)是隨機(jī)或者采用一定的機(jī)制選取的，而每個(gè)源主機(jī)選取的方式是相互獨(dú)立的。設(shè)每個(gè)IP報(bào)文所對(duì)應(yīng)的Identification為隨機(jī)取以下值之一：X1＝0，X2＝1，…，Xn＝n－1（n為65536），它們的取值服從同一（0-1）分布，其分布率為：
已知X1+X2+……+Xn服從二項(xiàng)分布，那么比較容易證明X是近似服從參數(shù)為n，p的二項(xiàng)分布。
分異常IP報(bào)文，它們的主要來(lái)源之一是人為構(gòu)造的攻擊報(bào)文。這些異常IP報(bào)文和正常IP報(bào)文共同構(gòu)成了網(wǎng)絡(luò)中存在的IP報(bào)文。
引理2 在網(wǎng)絡(luò)中實(shí)際觀測(cè)到的IP報(bào)文Identification標(biāo)識(shí)的分布應(yīng)當(dāng)是正常IP報(bào)文分布和異常IP報(bào)文分布的疊加。
因此，可以通過(guò)區(qū)分這兩部分分布，有效地識(shí)別網(wǎng)絡(luò)中可能存在的流量異常，為其他檢測(cè)方法（如報(bào)文分析）提供預(yù)警，從而為網(wǎng)絡(luò)行為分析、入侵檢測(cè)等提供必要的依據(jù)。
3 基于標(biāo)識(shí)字段的異常檢測(cè)方法
本文基于IP報(bào)文Identification標(biāo)識(shí)的角度將IP報(bào)文分為正常IP報(bào)文和異常IP報(bào)文，整個(gè)網(wǎng)絡(luò)的流量也是由其分別對(duì)應(yīng)的正常流量和異常流量構(gòu)成的。從較大規(guī)模網(wǎng)絡(luò)（主干網(wǎng)絡(luò)和部分局域網(wǎng)）的角度分析，正常IP報(bào)文Identification標(biāo)識(shí)的分布規(guī)律由引理1可知近似為二項(xiàng)分布，而異常報(bào)文的分布具有隨機(jī)性和多樣性，也就導(dǎo)致了其的不可預(yù)測(cè)性。但是根據(jù)引理2，可以通過(guò)繪制網(wǎng)絡(luò)流量曲線并從中分離出正常流量，就可以得到目前網(wǎng)絡(luò)中異常流量的曲線，然后對(duì)這些流量的進(jìn)一步分析就可以獲得或部分獲得流量異常的原因。
將獲取的所有IP報(bào)文不同Identification標(biāo)識(shí)數(shù)量的非空有限集合定義為P， 則根據(jù)IP協(xié)議的定義可知：，其中隸屬于正常IP報(bào)文的集合定義為 ，異常IP報(bào)文的集合為Pb，P＝PaUPb。
根據(jù)引理1可知，在集合Pa中j應(yīng)服從參數(shù)為（na，0.5）的二項(xiàng)分布，則集合中的元素pa（x）的值應(yīng)當(dāng)基本等于其均值。采用報(bào)文總數(shù)n乘以一個(gè)預(yù)定義的比例r來(lái)估計(jì)正常IP報(bào)文的數(shù)量，由于在非極端情況下，正常IP報(bào)文數(shù)量占報(bào)文總數(shù)量的絕大多數(shù)，所以r值的估計(jì)偏差比較小，還可以根據(jù)網(wǎng)絡(luò)當(dāng)前的狀況動(dòng)態(tài)地調(diào)整r的取值。這樣就可以從IP報(bào)文集合里分離出正常IP報(bào)文集合，從而獲得異常IP報(bào)文結(jié)合，然后根據(jù)異常IP報(bào)文集合中元素的分布狀況給進(jìn)一步分析提供依據(jù)。
對(duì)異常IP報(bào)文的分析，主要通過(guò)定義一個(gè)閾值（Fthreshold）來(lái)將可能存在的網(wǎng)絡(luò)異常流量從其他原因所引起的噪聲區(qū)別出來(lái)，這個(gè)閾值可以設(shè)定初始值然后根據(jù)識(shí)別結(jié)果動(dòng)態(tài)修正。
基于IP報(bào)文Identification標(biāo)識(shí)的異常流量發(fā)現(xiàn)算法
通過(guò)大量的實(shí)驗(yàn)證明，在一般情況下，異常IP報(bào)文的Identification集中在0附近，有時(shí)還出現(xiàn)個(gè)別標(biāo)識(shí)的報(bào)文數(shù)量偏移平均值較遠(yuǎn)。
4 流量行為的實(shí)例分析
針對(duì)CERNET主干網(wǎng)絡(luò)的長(zhǎng)期觀測(cè)結(jié)果顯示，在大多數(shù)情況下，Identification標(biāo)識(shí)的分布是十分均勻的，具有某個(gè)特定Identification值的IP報(bào)文數(shù)量均在基于標(biāo)識(shí)的平均報(bào)文數(shù)量附近。從整個(gè)分布曲線來(lái)看，IP報(bào)文數(shù)是圍繞平均值作平穩(wěn)的小幅振動(dòng)，這也證實(shí)了第2節(jié)所提出的假設(shè)1。
觀測(cè)結(jié)果還發(fā)現(xiàn)，在所有觀測(cè)時(shí)段中，Identification標(biāo)識(shí)為0的IP報(bào)文數(shù)量遠(yuǎn)遠(yuǎn)高于平均值，這與文獻(xiàn)[2]中實(shí)驗(yàn)觀察結(jié)果相一致，這不符合正常IP報(bào)文均勻分布這個(gè)論斷，所以在標(biāo)識(shí)為0的IP報(bào)文中有可能大量存在非正常報(bào)文。對(duì)Identification標(biāo)識(shí)為0的IP報(bào)文進(jìn)行分析發(fā)現(xiàn)，有大量相同源宿IP和相同端口的IP報(bào)文在短時(shí)間內(nèi)重復(fù)出現(xiàn)，所以導(dǎo)致了標(biāo)識(shí)為0的IP報(bào)文數(shù)量大大超過(guò)平均值，在剔除了這些異常報(bào)文之后，所剩的IP報(bào)文數(shù)量非常接近于平均值。由此可見(jiàn)，標(biāo)識(shí)為0的IP報(bào)文數(shù)量異常的主要原因是因?yàn)榇罅看嬖谶@些異常IP報(bào)文。對(duì)實(shí)驗(yàn)觀測(cè)所得的其他標(biāo)識(shí)的IP報(bào)文數(shù)量異常進(jìn)行進(jìn)一步分析，發(fā)現(xiàn)結(jié)果與此相類似。在實(shí)驗(yàn)中還發(fā)現(xiàn)相當(dāng)數(shù)量的來(lái)自同一源IP和源端口對(duì)應(yīng)不同宿IP的相同宿端口的IP報(bào)文，這是典型的掃描攻擊的表現(xiàn)。
本文對(duì)不同時(shí)段在CERNET主干網(wǎng)采集的IP報(bào)文進(jìn)行分析（每個(gè)時(shí)段持續(xù)10分鐘），分析所得報(bào)文分布曲線如圖1所示。
選取參數(shù)r＝0.98， 獲得各個(gè)時(shí)段對(duì)應(yīng)正常報(bào)文集合Pa，并從總體IP報(bào)文集合中去除正常IP報(bào)文集合獲得異常報(bào)文數(shù)量分布曲線如圖2所示。
采用初始閥值Fthreshold＝1，除去了可能存在的網(wǎng)絡(luò)其他噪聲后，可以得到在Identification標(biāo)識(shí)為若干特定值的IP報(bào)文中可能存在相當(dāng)數(shù)量的異常報(bào)文，從而為進(jìn)一步的報(bào)文分析提供預(yù)警。實(shí)驗(yàn)數(shù)據(jù)顯示，在2007年8月17日01:00和2007年8月21日22:00在網(wǎng)絡(luò)中存在一定的流量異常。
5 結(jié)束語(yǔ)
本文提出了一種新型的基于IP報(bào)文Identification字段進(jìn)行網(wǎng)絡(luò)異常流量發(fā)現(xiàn)和分析方法，該方法的主要優(yōu)點(diǎn)在于算法簡(jiǎn)單，所占用的系統(tǒng)資源較小，誤報(bào)率低，可以較方便地嵌入到目前流量檢測(cè)工具中和其他報(bào)文分析方法及工具結(jié)合使用等等。但是由于其觀測(cè)的對(duì)象所限，該方法并不能有效地發(fā)現(xiàn)偽裝成正常IP報(bào)文的異常流量，它必須和其他報(bào)文分析工具配合使用才能達(dá)到最佳的效果。
參考文獻(xiàn)：
[1] DARPA Internet Program Protocol Specification.Internet Protocol. Information Sciences Institute University of Southern California.1981(RFC791).
[2] 程光.大規(guī)模高速IP網(wǎng)絡(luò)流量抽樣測(cè)量及行為分析研究[D],東南大學(xué)博士論文,2003(1):41-44.
[3] 程光,龔儉,丁偉.基于抽樣測(cè)量的高速網(wǎng)絡(luò)實(shí)時(shí)異常檢測(cè)模型[J],軟件學(xué)報(bào),2003,14(3):594-599.
[4] 鄒柏賢.一種網(wǎng)絡(luò)異常實(shí)時(shí)檢測(cè)方法[J],計(jì)算機(jī)學(xué)報(bào),2003,26(8):940-947.
中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1007-2683（2017）01-0086-05
0 引言
目前，火焰檢測(cè)大多是通過(guò)使用點(diǎn)式光電感煙探測(cè)技術(shù)來(lái)執(zhí)行的。這些方法在大的，開(kāi)放空間和有固定延時(shí)的情況下檢測(cè)效果不好，這是因?yàn)槿紵Ｗ铀竭_(dá)傳感器所用時(shí)間的影響。文僅使用像素的顏色信息最為特征來(lái)檢測(cè)。文中的檢測(cè)方法使用傅里葉描述符來(lái)描述火焰的邊界。在文中，使用小波分析來(lái)解決FFT執(zhí)行時(shí)窗口的選擇問(wèn)題。這種方法依賴于小波能量，尋找小波能量最低且對(duì)噪聲是敏感的點(diǎn)。文中，作者提出一種系統(tǒng)，這種系統(tǒng)建?；鹧嫦袼刈鳛橐环N固定空間像素小波系數(shù)的隱馬爾科夫模型，這種固定空間像素是在三中狀態(tài)之間變化的變量。此外，他們使用邊界區(qū)域光滑作為分類變量。這兩個(gè)屬性相結(jié)合作為一個(gè)弱分類器。在文中非煙區(qū)域使用背景估計(jì)和顏色信息進(jìn)行濾波。然后，計(jì)算Lucas-Ka-nade光流并且使用流的統(tǒng)計(jì)信息來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
這些方法有一個(gè)共同點(diǎn)，就是不試圖區(qū)分類獨(dú)立的像素。本文為了檢測(cè)火焰和煙霧，同樣不去使用獨(dú)立的像素，以利于與火焰、火災(zāi)煙霧顏色相近的實(shí)物的區(qū)分。基于該主要研究目的，提出了基于最優(yōu)質(zhì)量傳輸光流法的檢測(cè)算法，并結(jié)合神經(jīng)網(wǎng)絡(luò)，對(duì)火焰和煙霧進(jìn)行檢測(cè)。
1 分類器特征選擇
目前大多數(shù)的檢測(cè)方法都是基于啟發(fā)式模型，這種模型描繪火或者煙的大約特征，但這往往不是最優(yōu)的。一個(gè)最基本的方法是從描述煙或者火的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)，訓(xùn)練一個(gè)分類器如神經(jīng)網(wǎng)絡(luò)等。訓(xùn)練和測(cè)試的原理如圖1所示。
計(jì)算一個(gè)圖像序列的光流，而不是簡(jiǎn)單的幀差，這允許考慮成像過(guò)程所期望的屬性；接下來(lái)會(huì)討論原因，基于最優(yōu)質(zhì)量傳輸?shù)墓饬鞅挥?jì)算用于火的分類，Horn-Schunck光流用于煙霧區(qū)域的分類。
圖1（a）通過(guò)人工標(biāo)記樣本圖像序列創(chuàng)建訓(xùn)練數(shù)據(jù)。樣本含有時(shí)空像素鄰域，這個(gè)鄰域被標(biāo)記是否含有火，煙或者二者都沒(méi)有。通過(guò)系數(shù)矩陣有限差分求解器來(lái)計(jì)算最優(yōu)質(zhì)量傳輸光流。特征矢量是由含有R、G、B顏色通道和光流速度形成的，且特征矢量通過(guò)一個(gè)反向傳播神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行分類處理。
圖1（b）在一個(gè)新的視頻幀中使用訓(xùn)練的分類器權(quán)重為每個(gè)像素鄰域創(chuàng)建特征適量測(cè)試分類器。最終的輸出含有每個(gè)像素類成員的概率（煙、火都沒(méi)有）。
1.1 最優(yōu)質(zhì)量傳輸
最優(yōu)質(zhì)量傳輸問(wèn)題起初是由Gaspar Monge在1781年提出的，且關(guān)注尋找將一堆土從一個(gè)地點(diǎn)移動(dòng)到另一個(gè)地點(diǎn)最優(yōu)的方式，其意義在于最小化傳輸成本。這個(gè)問(wèn)題在Kantorovich研究中被給出一種數(shù)學(xué)構(gòu)造，這就是熟知的Monge-Kantorovich問(wèn)題。
我們現(xiàn)在給出Monge-Kantorovich問(wèn)題的構(gòu)造。令Ω0和Ω1是Rd的兩個(gè)子域，擁有光滑的邊界，每個(gè)有一個(gè)正的密度函數(shù)，分別是μ0和μ1。我們假設(shè)
這項(xiàng)總的相同質(zhì)量是與Ω0和Ω1有關(guān)的。我們認(rèn)為微分同胚映射u是從（Ω0，μ0）到（Ω1，μ1），微分同胚映射的意義是映射一個(gè)密度到其他的密度
（1）
也許有許多這樣的映射，并且從某種意義上來(lái)說(shuō)我們想要選擇一種最優(yōu)的。因此，定義LPKantorovich-Wasserstein度量標(biāo)準(zhǔn)如下：
（2）
（3）式中|Hω|表示ω的海森行列式。
因此，Kantorovich-Wasserstein度量定義兩個(gè)質(zhì)量密度的距離，通過(guò)考慮式（2）給出的公式計(jì)算從一個(gè)域到另一個(gè)域最便宜的方式，最優(yōu)傳輸映射在p=2是情況下，是某一種函數(shù)的梯度。這個(gè)結(jié)果的新穎之處在于，它像平面上的Riemann映射理論，這個(gè)過(guò)程指出一個(gè)特定的偏愛(ài)幾何學(xué)的映射。
1.2 光流法
光流是一種計(jì)算方法來(lái)計(jì)算在很短時(shí)間差內(nèi)一組圖像間運(yùn)動(dòng)。主要的思想是每個(gè)圖像的灰度值在兩幀圖像間是不變的。這導(dǎo)出光流約束方程
（4）
（5）
注意方程（5）的一個(gè)潛在的假設(shè)是亮度恒定。在這種假設(shè)下，一個(gè)物體的亮度從一幀到另一幀是恒定的。這個(gè)假設(shè)適用于一個(gè)朗伯表面剛性物體但不是用于氣體和液體材料。在計(jì)算機(jī)視覺(jué)中，這些通過(guò)所謂的動(dòng)態(tài)紋理建模。煙和火的典型的動(dòng)態(tài)紋理具有內(nèi)在動(dòng)態(tài)，所以不能通過(guò)標(biāo)準(zhǔn)光流方法來(lái)進(jìn)行捕獲。同時(shí)，煙/火區(qū)域流的速度比周圍地區(qū)的速度快的多，通過(guò)公式（5）給出的模型可能又會(huì)產(chǎn)生很多錯(cuò)誤結(jié)果。
這篇文章的目聳腔竦酶好的光流場(chǎng)模型用于火和煙霧檢測(cè)。這樣做的一個(gè)方法是基于在這些過(guò)程中物理屬性的光流。一個(gè)簡(jiǎn)單的屬性是火和煙大約使亮度守恒作為一個(gè)廣義質(zhì)量并且以文中的最優(yōu)方法進(jìn)行移動(dòng)。因此，一個(gè)恰當(dāng)?shù)臄?shù)學(xué)上的光約束不是強(qiáng)度守恒而且質(zhì)量守恒或者亮度守恒。這個(gè)模型被寫為
（6）
理由如下：
這意味著區(qū)域強(qiáng)度的總的變化率僅通過(guò)一個(gè)光流表示（邊界上進(jìn)入或者出去的）。這是一個(gè)守恒定律。但是通過(guò)散度定理
這是一個(gè)精確無(wú)窮小亮度（質(zhì)量）守恒條件。
下面是前面部分的解釋，本文提出了用于動(dòng)態(tài)紋理分割的光流：
第一項(xiàng)是優(yōu)化問(wèn)題，代表移動(dòng)圖像的總質(zhì)量，第二項(xiàng)是質(zhì)量守恒光流方程。
2 神經(jīng)網(wǎng)絡(luò)分類分類器
煙霧檢測(cè)可以抽象為兩種模型，其檢測(cè)結(jié)果由給定的像素決定屬于有煙的情況或是無(wú)煙的情況。神經(jīng)網(wǎng)絡(luò)的最小二乘計(jì)算模型滿足貝葉斯判別式。輸出的結(jié)果是關(guān)于一個(gè)像素屬于某一特定類的概率，因此決定像素屬于有煙情況或是無(wú)煙情況的閾值是使用者根據(jù)其期望設(shè)定的。根據(jù)貝葉斯定理，多個(gè)事件的后驗(yàn)概率公式可以寫成如下形式：
（8）
上式中的x由Ck類滿足判別式y(tǒng)k（x，w）具有最大值時(shí)確定。如果x屬于Ck則目標(biāo)值tk（x）=l，否則都為零。神經(jīng)網(wǎng)絡(luò)每次輸出的誤差如下式所示：
（9）
當(dāng)樣本數(shù)量趨近無(wú)限大時(shí)，在文中可以看出，反向傳播算法最小化下面的式（10）來(lái)縮小由神經(jīng)網(wǎng)絡(luò)來(lái)產(chǎn)生的誤差
（10）式中的n代表類的數(shù)量。上式表明當(dāng)數(shù)據(jù)點(diǎn)的數(shù)量趨近與無(wú)窮時(shí)，輸出的結(jié)果的判別式等價(jià)于后驗(yàn)概率中）yk（x，ω）≈P（Ck|x）。因此，把x指定給類Ck，也就是映射具有最大值的判別式函數(shù)，相當(dāng)于把x指定為具有最大后驗(yàn)概率的這個(gè)類。
根據(jù)貝葉斯原理，確定判別式的形式。后驗(yàn)概率如下式：
（11）
將文中ak=ln（p（x|Ck）p（Ck））的替換，式（11）也稱為softmax函數(shù)。此式恰恰是神經(jīng)網(wǎng)絡(luò)使用的激勵(lì)函數(shù)。
假設(shè)類的條件概率密度p（x|Ck）屬于分布的限制指數(shù)族，則采用下面的形式：
（12）
將上式的密度代入式（11），得到的等式是關(guān)于ak（x）與x成線性關(guān)系：
（13）
因此，判別式采用激勵(lì)函數(shù)的形式，當(dāng)非線性函數(shù)φ（x）的線性組合為變量時(shí)如下：
（14）式中f（?）為激勵(lì)函數(shù)。
在神經(jīng)網(wǎng)絡(luò)中的非線性函數(shù)組成了隱藏單元，這些非線性函數(shù)是根據(jù)具體情況選擇的，而且它們是關(guān)于輸入的線性組合的函數(shù)。
（15）其中h（?）是一個(gè)柔性最大值（softmax）函數(shù)。本文所使用的神經(jīng)網(wǎng)絡(luò)是完全被連接的，并且由一個(gè)含有20個(gè)隱藏單元的單隱層構(gòu)成的，這個(gè)隱藏單元在隱藏層和輸出使用softmax非線性。
3 實(shí)驗(yàn)結(jié)果
為了獲得如下結(jié)果，只需要6幀圖片來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器。包括手動(dòng)描繪的有火、無(wú)火、有煙和無(wú)煙的區(qū)域。樣本的數(shù)量要小并且出自同一視頻中。通過(guò)提供更多明顯的樣本，例如來(lái)自不同的視頻資源的有用和沒(méi)用的數(shù)據(jù)樣本?？梢允狗诸惼鳈z測(cè)更多的視頻。
神經(jīng)網(wǎng)絡(luò)分類器的輸出結(jié)果為每個(gè)像素的后驗(yàn)概率p（Ck|x），這里的類Ck指的是有火或煙和無(wú)火或煙，x是給定像素的特征向量，圖2中顯示了分類器的一個(gè)樣本輸出中一幀圖像的所有像素。根據(jù)閾值可以選擇像素的類，圖2顯示的是煙，圖3顯示的是火。
對(duì)圖2所示的圖片進(jìn)行特征向量提取和相鄰時(shí)空像素最優(yōu)質(zhì)量傳輸光流速度值計(jì)算，并提供給神經(jīng)網(wǎng)絡(luò)分類器。輸出的每個(gè)像素的概率屬于煙的類。如圖2（b）所示，這種選擇是根據(jù)閾值概率做出的。可見(jiàn)白煙是從白墻中區(qū)分出來(lái)的。
中圖分類號(hào):TP393 文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1007-9599 (2010) 05-0000-02
Network Server Traffic Analysis
Zhu Ye
(TravelSky Technology Limited,Beijing100029,China)
Abstract:This article analyzes the current status of the network server traffic analysis.discusses the significance of monitoring and analysis on the server traffic and summarizes main content.Then,the article provides solutions on the server traffic based on the agreement of Net flow v9、IPFIX and PSAM.At last,proposes software framework design pattern.
KeyWord:Network Server;Server Traffic Analysis;Server Traffic Control
一、前言
今天的數(shù)據(jù)網(wǎng)絡(luò)給我們的生活、工作和人與人之間的溝通帶來(lái)了極大的方便,網(wǎng)絡(luò)業(yè)務(wù)日趨豐富,網(wǎng)絡(luò)流量高速增長(zhǎng)。同時(shí),網(wǎng)絡(luò)運(yùn)營(yíng)商之間的競(jìng)爭(zhēng)也逐漸激烈,以高投資為特征,追求簡(jiǎn)單規(guī)模擴(kuò)張的粗放型競(jìng)爭(zhēng)模式已經(jīng)不適應(yīng)當(dāng)前的形式。挖掘現(xiàn)有網(wǎng)絡(luò)資源潛力,控制網(wǎng)絡(luò)互聯(lián)成本,提供有吸引力的增值業(yè)務(wù),提高網(wǎng)絡(luò)運(yùn)維水平成為在激烈競(jìng)爭(zhēng)中的制勝策而要實(shí)現(xiàn)這些,都離不開(kāi)可靠、有效的網(wǎng)絡(luò)流量監(jiān)控的有力支撐。
二、網(wǎng)絡(luò)流量監(jiān)控和分析的意義
用戶現(xiàn)有的網(wǎng)絡(luò)管理系統(tǒng)在長(zhǎng)期的網(wǎng)絡(luò)流量分析方面存在不足。主要表現(xiàn)在如下方面:
(一)長(zhǎng)期的網(wǎng)絡(luò)和應(yīng)用問(wèn)題分析能力不足
現(xiàn)有的網(wǎng)絡(luò)管理系統(tǒng)無(wú)法長(zhǎng)期的紀(jì)錄網(wǎng)絡(luò)和應(yīng)用的運(yùn)行狀態(tài),無(wú)法長(zhǎng)期的保存網(wǎng)絡(luò)流量信息,在出現(xiàn)網(wǎng)絡(luò)或應(yīng)用問(wèn)題時(shí),不能為網(wǎng)絡(luò)技術(shù)人員提供有效的信息依據(jù),問(wèn)題往往是依靠網(wǎng)絡(luò)技術(shù)人員通過(guò)推斷來(lái)分析,這樣網(wǎng)絡(luò)問(wèn)題的分析效率很低,同時(shí)很難得到確實(shí)的分析結(jié)論。
(二)缺乏對(duì)網(wǎng)絡(luò)和應(yīng)用間歇性問(wèn)題的分析能力
網(wǎng)絡(luò)或應(yīng)用可能出現(xiàn)間歇性故障,這種故障的出現(xiàn)一般很難判斷,在出現(xiàn)后很難分析其產(chǎn)生原因,而再次出現(xiàn)的時(shí)間無(wú)法確定,因此難以解決,好像網(wǎng)絡(luò)中存在一個(gè)不定時(shí)的炸彈,使用戶網(wǎng)絡(luò)和應(yīng)用時(shí)刻處于危險(xiǎn)之中。
(三)對(duì)網(wǎng)絡(luò)安全問(wèn)題的分析能力不足
在發(fā)生網(wǎng)絡(luò)安全問(wèn)題時(shí),缺乏有效的監(jiān)控分析手段,導(dǎo)致網(wǎng)絡(luò)的安全性降低,例如蠕蟲(chóng)病毒的爆發(fā),應(yīng)該能夠?qū)θ湎x(chóng)病毒的傳播情況進(jìn)行有效的分析。
三、網(wǎng)絡(luò)流量分析內(nèi)容
流量分析系統(tǒng)主要從帶寬的網(wǎng)絡(luò)流量分析、網(wǎng)絡(luò)協(xié)議流量分析、基于網(wǎng)段的業(yè)務(wù)流量分析、網(wǎng)絡(luò)異常流量分析、應(yīng)用服務(wù)異常流量分析等五個(gè)方面對(duì)網(wǎng)絡(luò)系統(tǒng)進(jìn)行綜合流量分析。
(一)帶寬的網(wǎng)絡(luò)流量分析
復(fù)雜的網(wǎng)絡(luò)系統(tǒng)上面,不同的應(yīng)用占用不同的帶寬,重要的應(yīng)用是否得到了最佳的帶寬?它占的比例是多少?隊(duì)列設(shè)置和網(wǎng)絡(luò)優(yōu)化是否生效?通過(guò)基于帶寬的網(wǎng)絡(luò)流量分析會(huì)使其更加明確。工具主要有MRTG等,它是一個(gè)監(jiān)控網(wǎng)絡(luò)鏈路流量負(fù)載的工具軟件, 它通過(guò)snmp協(xié)議從設(shè)備得到設(shè)備的流量信息,并將流量負(fù)載以包含PNG格式的圖形的HTML 文檔方式顯示給用戶,以非常直觀的形式顯示流量負(fù)載。
(二)網(wǎng)絡(luò)協(xié)議流量分析
對(duì)網(wǎng)絡(luò)流量進(jìn)行協(xié)議劃分,真對(duì)不同的協(xié)議我們進(jìn)行流量監(jiān)控和分析,如果某一個(gè)協(xié)議在一個(gè)時(shí)間段內(nèi)出現(xiàn)超常暴漲,就有可能是攻擊流量或蠕蟲(chóng)病毒出現(xiàn)。Cisco NetFlow V5可以根據(jù)不同的協(xié)議對(duì)網(wǎng)絡(luò)流量進(jìn)行劃分,對(duì)不同協(xié)議流量進(jìn)行分別匯總。
(三)基于網(wǎng)段的業(yè)務(wù)流量分析
流量分析系統(tǒng)可以針對(duì)不同的VLAN來(lái)進(jìn)行網(wǎng)絡(luò)流量監(jiān)控,大多數(shù)組織,都是不同的業(yè)務(wù)系統(tǒng)通過(guò)VLAN來(lái)進(jìn)行邏輯隔離的,所以可以通過(guò)流量分析系統(tǒng)針對(duì)不同的VLAN 來(lái)對(duì)不同的業(yè)務(wù)系統(tǒng)的業(yè)務(wù)流量進(jìn)行監(jiān)控。Cisco NetFlow V5可以針對(duì)不同的VLAN進(jìn)行流量監(jiān)控。
(四)網(wǎng)絡(luò)異常流量分析
異常流量分析系統(tǒng),支持異常流量發(fā)現(xiàn)和報(bào)警,能夠通過(guò)對(duì)一個(gè)時(shí)間窗內(nèi)歷史數(shù)據(jù)的自動(dòng)學(xué)習(xí),獲取包括總體網(wǎng)絡(luò)流量水平、流量波動(dòng)、流量跳變等在內(nèi)的多種網(wǎng)絡(luò)流量測(cè)度,并自動(dòng)建立當(dāng)前流量的置信度區(qū)間作為流量異常監(jiān)測(cè)的基礎(chǔ)。能把焦點(diǎn)放在組織的核心業(yè)務(wù)上。通過(guò)積極主動(dòng)鑒定和防止針對(duì)網(wǎng)絡(luò)的安全威脅,保證了服務(wù)水平協(xié)議(SLA)并且改進(jìn)顧客服務(wù), 從而為組織節(jié)約成本。異常流量分析工具主要有Arbor公司的 PeakFlow DoS安全管理平臺(tái)、PeakFlow Traffic流量管理平臺(tái)等。
(五)應(yīng)用服務(wù)異常流量分析
當(dāng)應(yīng)用層出現(xiàn)異常流量時(shí),通過(guò)IDS&IPS的協(xié)議分析、協(xié)議識(shí)別技術(shù)可以對(duì)應(yīng)用層進(jìn)行深層的流量分析,并通過(guò)IPS的安全防護(hù)技術(shù)進(jìn)行反擊。
四、網(wǎng)絡(luò)流量控制解決方案建議
對(duì)于目前運(yùn)營(yíng)商對(duì)網(wǎng)絡(luò)流量控制的需要,論文推薦的流量控制解決方案構(gòu)架是:全網(wǎng)集中監(jiān)視+重點(diǎn)控制。全網(wǎng)集中監(jiān)視反映的是對(duì)整個(gè)網(wǎng)絡(luò)的性能監(jiān)視和分析。重點(diǎn)控制是在網(wǎng)絡(luò)中的關(guān)鍵位置部署監(jiān)控探針,在網(wǎng)絡(luò)中心設(shè)置管理系統(tǒng),以實(shí)現(xiàn)運(yùn)營(yíng)商在遠(yuǎn)程對(duì)重點(diǎn)地區(qū)進(jìn)行更加細(xì)致的監(jiān)視和控制作用。
(一)監(jiān)控探針的放置點(diǎn)建議
國(guó)際出口、網(wǎng)絡(luò)互聯(lián)端口、骨干網(wǎng)的重要中繼、重要城市的城域網(wǎng)出口等位置。
(二)全網(wǎng)集中監(jiān)視主要實(shí)現(xiàn)的功能
實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)狀況。能實(shí)時(shí)獲得網(wǎng)絡(luò)的當(dāng)前運(yùn)行狀況,減輕運(yùn)維人員工作負(fù)擔(dān)。能在網(wǎng)絡(luò)出現(xiàn)故障或擁塞時(shí)自動(dòng)告警,在網(wǎng)絡(luò)即將出現(xiàn)瓶頸前給出分析和預(yù)測(cè)。
合理規(guī)劃和優(yōu)化網(wǎng)絡(luò)。通過(guò)對(duì)網(wǎng)絡(luò)流量的監(jiān)視、數(shù)據(jù)采集和分析,給出詳細(xì)的鏈路和節(jié)點(diǎn)流量分析報(bào)告,獲得流量分布和流向分布、報(bào)文特性和協(xié)議協(xié)分布特性,為網(wǎng)絡(luò)規(guī)劃、路由策略、資源和容量升級(jí)提供依據(jù)。
引導(dǎo)提供網(wǎng)絡(luò)增值業(yè)務(wù)。通過(guò)對(duì)業(yè)務(wù)占用帶寬的分布、業(yè)務(wù)會(huì)話的統(tǒng)計(jì)分析,能夠了解和分析網(wǎng)絡(luò)特性和用戶使用偏好,引導(dǎo)開(kāi)發(fā)和規(guī)劃新的網(wǎng)絡(luò)應(yīng)用和業(yè)務(wù)平臺(tái),進(jìn)行增值業(yè)務(wù)的拓展和市場(chǎng)宣傳,引導(dǎo)用戶需求。
靈活的資費(fèi)標(biāo)準(zhǔn)。通過(guò)對(duì)用戶上網(wǎng)時(shí)長(zhǎng)、上網(wǎng)流量、網(wǎng)絡(luò)業(yè)務(wù)以及目的網(wǎng)站的數(shù)據(jù)分析,擺脫目前單一的包月制,實(shí)現(xiàn)基于時(shí)間段、帶寬、應(yīng)用、服務(wù)質(zhì)量等更加靈活的資費(fèi)標(biāo)準(zhǔn)。
(三)重點(diǎn)控制實(shí)現(xiàn)的功能包括
提供主動(dòng)的控制功能。不僅僅局限于對(duì)網(wǎng)絡(luò)流量狀況的獲得,還能夠提供基于網(wǎng)絡(luò)流量監(jiān)測(cè)系統(tǒng)GATE 1000硬件平臺(tái)和業(yè)界領(lǐng)先算法的流量控制功能,主動(dòng)改進(jìn)網(wǎng)絡(luò)服務(wù)。
滿足重點(diǎn)監(jiān)控需要?？梢蕴峁┴S富的監(jiān)控特征參數(shù),可以進(jìn)行靈活的復(fù)合設(shè)定,全面滿足運(yùn)營(yíng)商需要,也可以通過(guò)定制來(lái)實(shí)現(xiàn)特定要求。
降低互聯(lián)互通成本。獲得重點(diǎn)出口中繼鏈路的利用率、用戶和協(xié)議分布、源和目的網(wǎng)段間的流量分布和趨勢(shì),提供運(yùn)營(yíng)和互聯(lián)成本分析。為網(wǎng)絡(luò)互通、租用中繼以及選擇商業(yè)戰(zhàn)略伙伴決策時(shí)提供科學(xué)依據(jù),降低成本。
實(shí)現(xiàn)區(qū)分服務(wù),保證服務(wù)質(zhì)量。流量監(jiān)控獲得的數(shù)據(jù),可進(jìn)行高低優(yōu)先級(jí)客戶的網(wǎng)絡(luò)資源占用率分析、服務(wù)質(zhì)量的監(jiān)測(cè)。通過(guò)資費(fèi)政策的調(diào)節(jié)、業(yè)務(wù)等級(jí)的區(qū)分、在中繼線路上實(shí)施流量控制,優(yōu)先保證高優(yōu)先客戶的服務(wù)質(zhì)量。
網(wǎng)絡(luò)安全和抵御DOS攻擊。通過(guò)連接會(huì)話數(shù)的跟蹤,源目的地址對(duì)的分析,TCP流的分析,能夠及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)中的異常流量和異常連接,偵測(cè)和定位網(wǎng)絡(luò)潛在的安全問(wèn)題和攻擊行為,保障網(wǎng)絡(luò)安全。
五、IPFIX與PSAMP標(biāo)準(zhǔn)
IPFIX(IP Flow Information Export,IP流動(dòng)信息輸出)是IETF的技術(shù)人員2004年才制訂的一項(xiàng)規(guī)范,使得網(wǎng)絡(luò)中流量統(tǒng)計(jì)信息的格式趨于標(biāo)準(zhǔn)化。該協(xié)議工作于任何廠商的路由器和管理系統(tǒng)平臺(tái)之上,并用于輸出基于路由器的流量統(tǒng)計(jì)信息。
IPFIX定義的格式為Cisco的NetFlow Version 9數(shù)據(jù)輸出格式作為基礎(chǔ),可使IP流量信息從一個(gè)輸出器(路由器或交換機(jī))傳送到另一個(gè)收集器。因?yàn)镮PFIX具有很強(qiáng)的可擴(kuò)展性,因此網(wǎng)絡(luò)管理員們可以自由地添加或更改域(特定的參數(shù)和協(xié)議),以便更方便地監(jiān)控IP流量信息。使用模板的方便之處在于網(wǎng)管和廠商不必為了用戶能夠查看流量統(tǒng)計(jì)信息,而每次都要更換軟件
為了完整地輸出數(shù)據(jù),路由器一般以七個(gè)關(guān)鍵域來(lái)表示每股網(wǎng)絡(luò)流量:源IP地址、目的地IP地址、源端口、目的端口、三層協(xié)議類型、服務(wù)類型字節(jié)、輸入邏輯接口。如果不同的包中所有的七個(gè)關(guān)鍵域都匹配,那么所有這些包都將被視為屬于同一股流量。此外,一些系統(tǒng)中還有為了網(wǎng)絡(luò)統(tǒng)計(jì)進(jìn)行跟蹤而附加的非關(guān)鍵域,包括源IP掩碼、目的地IP掩碼、源地址自治系統(tǒng)(autonomous system)、目的地自治系統(tǒng)、TCP flag、目的地接口以及IP next-hop等。按照IPFIX標(biāo)準(zhǔn),如果網(wǎng)絡(luò)操作人員想以附加的非關(guān)鍵域來(lái)描述包,那么基于模板的格式會(huì)在輸出包的報(bào)頭之后插入一個(gè)新域,并新增新的模板記錄。
六、網(wǎng)絡(luò)監(jiān)測(cè)系統(tǒng)框架
采用不同的檢測(cè)方法,通過(guò)分布式監(jiān)測(cè)方式對(duì)通過(guò)高速IP網(wǎng)絡(luò)的數(shù)據(jù)包進(jìn)行統(tǒng)計(jì)和分析。采集服務(wù)器搜集的數(shù)據(jù)包及統(tǒng)計(jì)數(shù)據(jù)被傳送到綜合服務(wù)器,經(jīng)合并處理后存入數(shù)據(jù)庫(kù),并進(jìn)行進(jìn)一步的分析處理。在這個(gè)過(guò)程中,可應(yīng)用Netflow v9、IPFIX以及PSAMP等標(biāo)準(zhǔn)和協(xié)議,實(shí)現(xiàn)對(duì)采集數(shù)據(jù)的編碼與傳輸。與通常的SNMP、Netflow及其它網(wǎng)管標(biāo)準(zhǔn)不同的是,該框架采取了PSAMP標(biāo)準(zhǔn)及技術(shù),在不降低監(jiān)測(cè)與分析效果的情況下,盡量減少檢測(cè)數(shù)據(jù)量。
整個(gè)框架從總體看,可分為網(wǎng)絡(luò)流量數(shù)據(jù)采集和網(wǎng)絡(luò)數(shù)據(jù)分析兩大部分。
網(wǎng)絡(luò)流量數(shù)據(jù)采集:為適應(yīng)不斷發(fā)展的高速網(wǎng)絡(luò)應(yīng)用,框架中采用了分布式網(wǎng)絡(luò)流量數(shù)據(jù)采集方案,IP流數(shù)據(jù)可從不同的設(shè)備以不同的方法來(lái)獲取。利用路由器/交換機(jī)的數(shù)據(jù)流量采集功能或是從其他IPFIX/PSAMP數(shù)據(jù)采集設(shè)備,也可直接從網(wǎng)絡(luò)接口卡等網(wǎng)絡(luò)數(shù)據(jù)包攝入設(shè)備來(lái)得到網(wǎng)絡(luò)數(shù)據(jù),然后再以不同的標(biāo)準(zhǔn),最終由網(wǎng)絡(luò)流量數(shù)據(jù)采集服務(wù)器將所有傳來(lái)的不同格式的數(shù)據(jù)集中。
為體現(xiàn)現(xiàn)代計(jì)算機(jī)應(yīng)用中的兼容性,框架中對(duì)網(wǎng)絡(luò)硬件接口的應(yīng)用方面,突出了其應(yīng)用多樣性。這樣,在原有硬件設(shè)備的基礎(chǔ)上,如普通的網(wǎng)卡(NIC)、基于硬件時(shí)間戳的Endace DAG卡或者其它的專用FPGA網(wǎng)絡(luò)接口設(shè)備,都可以在libpcap、winpcap等庫(kù)的支持下,由BPF虛擬處理器作為缺省的包捕獲工具。在包捕獲的軟件實(shí)現(xiàn)上,采用了多線程機(jī)制,使用不同形式的數(shù)據(jù)隊(duì)列和數(shù)據(jù)緩沖設(shè)備,以應(yīng)對(duì)突發(fā)的大量數(shù)據(jù)包。
接下來(lái)對(duì)捕獲的數(shù)據(jù)包,分別交由兩種方法和途徑進(jìn)行處理:在Netflow標(biāo)準(zhǔn)支持下,同步完成記帳業(yè)務(wù)。在這種操作模式下,傳送的總的數(shù)據(jù)量可以被統(tǒng)計(jì)下來(lái)。數(shù)據(jù)分析模塊利用PSAMP協(xié)議,根據(jù)不同的具體需求采取不同的取樣算法,對(duì)數(shù)據(jù)包進(jìn)行過(guò)濾和抽取以進(jìn)行分析處理。這樣就可以根據(jù)實(shí)際的需要來(lái)進(jìn)行選擇,以減少傳輸和分析處理的數(shù)據(jù)量。
網(wǎng)絡(luò)數(shù)據(jù)分析:對(duì)采集來(lái)的網(wǎng)絡(luò)流量數(shù)據(jù),根據(jù)不用的應(yīng)用要進(jìn)行詳細(xì)的分析處理?？蚣苤羞@個(gè)部分的設(shè)計(jì)采用以SQL數(shù)據(jù)庫(kù)為中心的分布式數(shù)據(jù)集中和分析的方法。
以DBMS為中心的操作可以獲得更好的分析樣本以及統(tǒng)計(jì)粒度。此外,為便于網(wǎng)絡(luò)管理人員的操作,框架中應(yīng)用基于Web的直觀的、圖形化的管理界面,所有數(shù)據(jù)輸出都以腳本語(yǔ)言(XML)的形式,直接在Web頁(yè)面中顯示。管理人員可以實(shí)時(shí)觀察網(wǎng)絡(luò)運(yùn)行狀況,還可以對(duì)歷史數(shù)據(jù)進(jìn)行瀏覽、分析,同時(shí)還可這些實(shí)時(shí)數(shù)據(jù)傳送到其他應(yīng)用系統(tǒng),如分布式入侵檢測(cè)系統(tǒng)、網(wǎng)絡(luò)跟蹤等。
七、結(jié)束語(yǔ)
總的來(lái)說(shuō),在網(wǎng)絡(luò)設(shè)備上配置網(wǎng)絡(luò)流量監(jiān)控系統(tǒng),對(duì)網(wǎng)絡(luò)流量進(jìn)行分析和監(jiān)控,好處還是顯而易見(jiàn)的。特別是對(duì)于網(wǎng)絡(luò)流量負(fù)荷比較大的網(wǎng)絡(luò)?？梢杂行У墓?jié)省網(wǎng)絡(luò)帶寬和處理資源。也可以作為計(jì)費(fèi)或者流量控制或者網(wǎng)絡(luò)規(guī)劃的參考。
參考文獻(xiàn)
一、引言
隨著配電網(wǎng)生產(chǎn)、管理及營(yíng)銷的信息集成度越來(lái)越高，眾多相互關(guān)聯(lián)的因素都會(huì)影響到業(yè)務(wù)的質(zhì)量，任何一個(gè)環(huán)境都可能造成業(yè)務(wù)質(zhì)量的下降，孤立的去監(jiān)控某個(gè)元素?zé)o法保證整個(gè)端到端的傳輸質(zhì)量。因此我們需要從網(wǎng)絡(luò)的角度，實(shí)時(shí)監(jiān)控、分析整個(gè)業(yè)務(wù)的流程，及時(shí)把握實(shí)際環(huán)境中各因素對(duì)業(yè)務(wù)質(zhì)量的影響，從科學(xué)的角度去規(guī)劃、優(yōu)化網(wǎng)絡(luò)與業(yè)務(wù)系統(tǒng)。網(wǎng)絡(luò)流量監(jiān)測(cè)是網(wǎng)絡(luò)管理的基礎(chǔ)，如何在高速網(wǎng)絡(luò)中完整、準(zhǔn)確、實(shí)時(shí)地采集和處理網(wǎng)絡(luò)流量數(shù)據(jù)是流量監(jiān)測(cè)研究的重點(diǎn)課題。
二、電力網(wǎng)j監(jiān)測(cè)系統(tǒng)現(xiàn)狀分析
通過(guò)對(duì)全國(guó)大部分省市的監(jiān)測(cè)系統(tǒng)進(jìn)行調(diào)研發(fā)現(xiàn)，目前大部分省市采用的監(jiān)測(cè)系統(tǒng)存在以下問(wèn)題：
2.1故障定位與分析困難
當(dāng)網(wǎng)絡(luò)故障發(fā)生后，管理員通常只能單純根據(jù)網(wǎng)絡(luò)故障的表面現(xiàn)象，憑借現(xiàn)有的工具和個(gè)人的經(jīng)驗(yàn)，通過(guò)不斷的嘗試對(duì)問(wèn)題作出判斷，由于缺乏有力的信息支撐，往往在網(wǎng)絡(luò)故障產(chǎn)生后很難迅速定位網(wǎng)絡(luò)故障點(diǎn)，解決網(wǎng)絡(luò)故障耗時(shí)耗力，效率低。
2.2網(wǎng)絡(luò)應(yīng)用流量成分分析不深入
雖然借助當(dāng)前的網(wǎng)絡(luò)工具能夠獲得某個(gè)交換機(jī)端口的網(wǎng)絡(luò)流量類型數(shù)據(jù)，但無(wú)法掌握長(zhǎng)期的網(wǎng)絡(luò)應(yīng)用流量成份數(shù)據(jù)，并且無(wú)法對(duì)發(fā)生在過(guò)去的未定義應(yīng)用進(jìn)行分析，特別是在未知流量與異常流量發(fā)生后，難以追蹤造成流量異常的IP主機(jī)與應(yīng)用端口。
2.3缺乏對(duì)對(duì)網(wǎng)絡(luò)與應(yīng)用性能的整體監(jiān)測(cè)手段
當(dāng)終端用戶訪問(wèn)業(yè)務(wù)系統(tǒng)的應(yīng)用時(shí)延增大，網(wǎng)管人員需要了解具體響應(yīng)時(shí)延的數(shù)據(jù)，根據(jù)歷史數(shù)據(jù)進(jìn)行分析判斷是否與網(wǎng)絡(luò)因素有關(guān)，還是與業(yè)務(wù)的應(yīng)用系統(tǒng)的性能有關(guān)，進(jìn)而采取相應(yīng)措施，而目前大部分電力網(wǎng)絡(luò)監(jiān)測(cè)系統(tǒng)缺乏對(duì)對(duì)網(wǎng)絡(luò)與應(yīng)用性能的整體監(jiān)測(cè)手段。
為了解決上述問(wèn)題，我們需要研制一套監(jiān)測(cè)方案，能夠?qū)Ω鞴?jié)點(diǎn)的各種網(wǎng)絡(luò)設(shè)備和重要鏈路進(jìn)行實(shí)時(shí)和長(zhǎng)期的監(jiān)控，以便進(jìn)行故障預(yù)防和故障排除，并且為網(wǎng)絡(luò)規(guī)劃和網(wǎng)絡(luò)運(yùn)行管理提供依據(jù)。
三、網(wǎng)絡(luò)流量監(jiān)測(cè)分類及關(guān)鍵技術(shù)
網(wǎng)絡(luò)流量監(jiān)測(cè)主要是為了對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行連續(xù)采集，通過(guò)對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行連續(xù)采集，獲得并存儲(chǔ)網(wǎng)絡(luò)及其主要成分的性能指標(biāo)。下面重點(diǎn)介紹幾種重要的網(wǎng)絡(luò)流量監(jiān)測(cè)技術(shù)。
3.1基于流量鏡像協(xié)議分析
流量鏡像協(xié)議分析方式是把網(wǎng)絡(luò)設(shè)備的某個(gè)端口（鏈路）流量鏡像給協(xié)議分析儀，通過(guò)7層協(xié)議解碼對(duì)網(wǎng)絡(luò)流量進(jìn)行監(jiān)測(cè)，缺點(diǎn)是流量鏡像（在線TAP）協(xié)議分析方式只針對(duì)單條鏈路，不適合全網(wǎng)監(jiān)測(cè)。
3.2基于SNMP/RMON的流量監(jiān)測(cè)技術(shù)
SNMP，是基于TCP/IP協(xié)議的各種互聯(lián)網(wǎng)絡(luò)的管理協(xié)議，提供從網(wǎng)絡(luò)設(shè)備收集網(wǎng)絡(luò)管理信息的方法，并為設(shè)備提供了向網(wǎng)絡(luò)管理站報(bào)告故障和錯(cuò)誤的途徑。
此類檢測(cè)技術(shù)的優(yōu)點(diǎn)是具有普遍適應(yīng)性。一般而言，所有的網(wǎng)絡(luò)設(shè)備都提供標(biāo)準(zhǔn)的SNMP功能，能夠滿足一般的端口鏈路流量監(jiān)視的要求；不足是功能單一，信息量少，不支持歷史數(shù)據(jù)的存儲(chǔ)，實(shí)時(shí)流量的分析性能差，不能進(jìn)行故障分析、網(wǎng)絡(luò)協(xié)議解碼等功能的實(shí)現(xiàn)。
3.3基于NetFlow/sFlow流量監(jiān)測(cè)技術(shù)
NetFlow集成在Cisco的各類路由器和交換機(jī)內(nèi)，是Cisco公司開(kāi)發(fā)的專用流交換技術(shù)，同時(shí)也可用于記錄流量統(tǒng)計(jì)信息。sFlow也是一種嵌入在路由器或交換機(jī)內(nèi)的基于抽樣的流量監(jiān)測(cè)技術(shù)，sFlow的目標(biāo)是實(shí)現(xiàn)高速網(wǎng)絡(luò)中多設(shè)備、多端口的基于應(yīng)用的流量測(cè)量。主要缺點(diǎn)是：特定于廠商的設(shè)備、價(jià)格昂貴、實(shí)時(shí)性較差等。
3.4基于數(shù)據(jù)采集探針的監(jiān)測(cè)技術(shù)
數(shù)據(jù)采集探針是專門用于獲取網(wǎng)絡(luò)鏈路流量數(shù)據(jù)的硬件設(shè)備。使用時(shí)將它串接在需要捕捉流量的鏈路中，通過(guò)分流鏈路上的數(shù)字信號(hào)而獲取流量信息，一個(gè)硬件探針監(jiān)視一個(gè)子網(wǎng)（通常是一條鏈路）的流量信息。全網(wǎng)流量的監(jiān)測(cè)需要采用分布式方案，在每條鏈路部署一個(gè)探針，再通過(guò)后臺(tái)服務(wù)器和數(shù)據(jù)庫(kù)，收集所有探針的數(shù)據(jù)，做全網(wǎng)的流量分析和長(zhǎng)期報(bào)告?；谟布结樀淖畲筇攸c(diǎn)就是能夠提供豐富的從物理層到應(yīng)用層的詳細(xì)信息，但是部署相對(duì)復(fù)雜，費(fèi)用也較高。
綜上所述，四種監(jiān)測(cè)技術(shù)各有優(yōu)缺點(diǎn)，其中基于數(shù)據(jù)采集探針的監(jiān)測(cè)技術(shù)，可以獲得詳細(xì)信息，可為故障分析、網(wǎng)絡(luò)優(yōu)化、網(wǎng)絡(luò)規(guī)劃提供實(shí)時(shí)的、歷史的重要數(shù)據(jù)。但是部署相對(duì)復(fù)雜，下文將具體細(xì)述部署方案。
四、系統(tǒng)部署方案
下文以某市電網(wǎng)系統(tǒng)為原型介紹部署方案。
4.1部署千兆硬件探針
部署硬件探針是為了實(shí)現(xiàn)對(duì)訪問(wèn)IDC服務(wù)器群的流量以及關(guān)鍵業(yè)務(wù)系統(tǒng)間的交互的流量進(jìn)行網(wǎng)絡(luò)與應(yīng)用性能分析。
下表是各網(wǎng)絡(luò)層級(jí)對(duì)應(yīng)的數(shù)據(jù)源、需求、網(wǎng)絡(luò)性能參數(shù)：
在IDC中心機(jī)房的核心交換機(jī)上連接一臺(tái)硬件探針，在核心交換機(jī)上配置端口鏡像，將訪問(wèn)“服務(wù)器群區(qū)”、及“關(guān)鍵業(yè)務(wù)系統(tǒng)間交互數(shù)據(jù)”的流量鏡像到所連接的端口。
千兆硬件設(shè)備采用雙進(jìn)程體系結(jié)構(gòu)：Probe實(shí)時(shí)分析進(jìn)程和流量記錄與分析進(jìn)程。
4.2部署管理服務(wù)器
部署管理服務(wù)器，對(duì)探針進(jìn)行遠(yuǎn)程管理，并存放探針的分析統(tǒng)計(jì)結(jié)果，提供實(shí)時(shí)監(jiān)控分析、數(shù)據(jù)包捕獲解碼、自動(dòng)報(bào)告生成和集中告警功能。管理服務(wù)器同時(shí)能夠獲取路由器與交換機(jī)的SNMP MIB數(shù)據(jù)，對(duì)網(wǎng)絡(luò)設(shè)備各端口的流量大小進(jìn)行長(zhǎng)期監(jiān)控并生成所有鏈路的流量基準(zhǔn)。
五、系統(tǒng)功能設(shè)計(jì)
基于硬件探針的電力綜合數(shù)據(jù)網(wǎng)監(jiān)測(cè)系統(tǒng)可實(shí)現(xiàn)下列九大功能：
網(wǎng)絡(luò)性能分析和優(yōu)化
問(wèn)題分析和主動(dòng)管理
報(bào)表系統(tǒng)
異常流量分析
響應(yīng)時(shí)間監(jiān)控
數(shù)據(jù)捕獲和協(xié)議分析
鏈路監(jiān)控分析
網(wǎng)絡(luò)監(jiān)控分析
應(yīng)用監(jiān)控分析
六、結(jié)論
本文對(duì)電力系統(tǒng)的綜合數(shù)據(jù)網(wǎng)監(jiān)測(cè)方案進(jìn)行分析，提出了一種基于網(wǎng)絡(luò)探針的檢測(cè)管理系統(tǒng)，通過(guò)對(duì)該系統(tǒng)的總體構(gòu)架和關(guān)鍵技術(shù)進(jìn)行研究，實(shí)現(xiàn)并部署了一套系統(tǒng)在廣東電網(wǎng)某供電局成功使用，效果良好。
網(wǎng)絡(luò)流量性能測(cè)量與分析涉及許多關(guān)鍵技術(shù),如單向測(cè)量中的時(shí)鐘同步問(wèn)題,主動(dòng)測(cè)量與被動(dòng)測(cè)量的抽樣算法研究,多種測(cè)量工具之間的協(xié)同工作,網(wǎng)絡(luò)測(cè)量體系結(jié)構(gòu)的搭建,性能指標(biāo)的量化,性能指標(biāo)的模型化分析,對(duì)網(wǎng)絡(luò)未來(lái)狀態(tài)進(jìn)行趨勢(shì)預(yù)測(cè),對(duì)海量測(cè)量數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘或者利用已有的模型(petri網(wǎng)、自相似性、排隊(duì)論)研究其自相似特征,測(cè)量與分析結(jié)果的可視化,以及由測(cè)量所引起的安全性問(wèn)題等等。
1.在IP網(wǎng)絡(luò)中采用網(wǎng)絡(luò)性能監(jiān)測(cè)技術(shù),可以實(shí)現(xiàn)
1.1 合理規(guī)劃和優(yōu)化網(wǎng)絡(luò)性能
為更好的管理和改善網(wǎng)絡(luò)的運(yùn)行,網(wǎng)絡(luò)管理者需要知道其網(wǎng)絡(luò)的流量情況和盡量多的流量信息。通過(guò)對(duì)網(wǎng)絡(luò)流量的監(jiān)測(cè)、數(shù)據(jù)采集和分析,給出詳細(xì)的鏈路和節(jié)點(diǎn)流量分析報(bào)告,獲得流量分布和流向分布、報(bào)文特性和協(xié)議分布特性,為網(wǎng)絡(luò)規(guī)劃、路由策略、資源和容量升級(jí)提供依據(jù)。
1.2 基于流量的計(jì)費(fèi)
現(xiàn)在lSP對(duì)網(wǎng)絡(luò)用戶提供服務(wù)絕大多數(shù)還是采用固定租費(fèi)的形式,這對(duì)一般用戶和ISP來(lái)說(shuō),都不是一個(gè)好的選擇。采用這一形式的很大原因就是網(wǎng)絡(luò)提供者不能夠統(tǒng)計(jì)全部用戶的準(zhǔn)確流量情況。這就需要有方便的手段對(duì)用戶的流量進(jìn)行檢測(cè)。通過(guò)對(duì)用戶上網(wǎng)時(shí)長(zhǎng)、上網(wǎng)流量、網(wǎng)絡(luò)業(yè)務(wù)以及目的網(wǎng)站數(shù)據(jù)分析,擺脫目前單一的包月制,實(shí)現(xiàn)基于時(shí)間段、帶寬、應(yīng)用、服務(wù)質(zhì)量等更加靈活的交費(fèi)標(biāo)準(zhǔn)。
1.3 網(wǎng)絡(luò)應(yīng)用狀況監(jiān)測(cè)與分析
了解網(wǎng)絡(luò)的應(yīng)用狀況,對(duì)研究者和網(wǎng)絡(luò)提供者都很重要。通過(guò)網(wǎng)絡(luò)應(yīng)用監(jiān)測(cè),可以了解網(wǎng)絡(luò)上各種協(xié)議的使用情況(如www,pop3,ftp,rtp等協(xié)議),以及網(wǎng)絡(luò)應(yīng)用的使用情況,研究者可以據(jù)此研究新的協(xié)議與應(yīng)用,網(wǎng)絡(luò)提供者也可以據(jù)此更好的規(guī)劃網(wǎng)絡(luò)。
1.4 實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)狀況
針對(duì)網(wǎng)絡(luò)流量變化的突發(fā)性特性,通過(guò)實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)狀況,能實(shí)時(shí)獲得網(wǎng)絡(luò)的當(dāng)前運(yùn)行狀況,減輕維護(hù)人員的工作負(fù)擔(dān)。能在網(wǎng)絡(luò)出現(xiàn)故障或擁塞時(shí)發(fā)出自動(dòng)告警,在網(wǎng)絡(luò)即將出現(xiàn)瓶頸前給出分析和預(yù)測(cè)?，F(xiàn)在隨著Internet網(wǎng)絡(luò)不斷擴(kuò)大,網(wǎng)絡(luò)中也經(jīng)常會(huì)出現(xiàn)黑客攻擊、病毒泛濫的情況。而這些網(wǎng)絡(luò)突發(fā)事件從設(shè)備和網(wǎng)管的角度看卻很難發(fā)現(xiàn),經(jīng)常讓網(wǎng)絡(luò)管理員感到棘手。因此,針對(duì)網(wǎng)絡(luò)中突發(fā)性的異常流量分析將有助于網(wǎng)絡(luò)管理員發(fā)現(xiàn)和解決問(wèn)題。
1.5 網(wǎng)絡(luò)用戶行為監(jiān)測(cè)與分析
這對(duì)于網(wǎng)絡(luò)提供者來(lái)說(shuō)非常重要,通過(guò)監(jiān)測(cè)訪問(wèn)網(wǎng)絡(luò)的用戶的行為,可以了解到:
1)某一段時(shí)間有多少用戶在訪問(wèn)我的網(wǎng)絡(luò)。
2)訪問(wèn)我的網(wǎng)絡(luò)最多的用戶是哪些。
3)這些用戶停留了多長(zhǎng)時(shí)間。
4)他們來(lái)自什么地方。
5)他們到過(guò)我的網(wǎng)絡(luò)的哪些部分。
通過(guò)這些信息,網(wǎng)絡(luò)提供者可以更好的為用戶提供服務(wù),從而也獲得更大的收益。
2.網(wǎng)絡(luò)流量測(cè)量有5個(gè)要素:
測(cè)量時(shí)間、測(cè)量對(duì)象、測(cè)量目的、測(cè)量位置和測(cè)量方法。網(wǎng)絡(luò)流量的測(cè)量實(shí)體,即性能指標(biāo)主要包括以下幾項(xiàng)。
2.1 連接性
連接性也稱可用性、連通性或可達(dá)性,嚴(yán)格說(shuō)應(yīng)該是網(wǎng)絡(luò)的基本能力或?qū)傩?不能稱為性能,但I(xiàn)TU-T建議可以用一些方法進(jìn)行定量的測(cè)量。
2.2 延遲
對(duì)于單向延遲測(cè)量要求時(shí)鐘嚴(yán)格同步,這在實(shí)際的測(cè)量中很難做到,許多測(cè)量方案都采用往返延遲,以避開(kāi)時(shí)鐘同步問(wèn)題。
2.3 丟包率
為了評(píng)估網(wǎng)絡(luò)的丟包率,一般采用直接發(fā)送測(cè)量包來(lái)進(jìn)行測(cè)量。目前評(píng)估網(wǎng)絡(luò)丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4 帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當(dāng)一條路徑(通路)中沒(méi)有其他背景流量時(shí),網(wǎng)絡(luò)能夠提供的最大的吞吐量。
2.5 流量參數(shù)
ITU-T提出兩種流量參數(shù)作為參考:一種是以一段時(shí)間間隔內(nèi)在測(cè)量點(diǎn)上觀測(cè)到的所有傳輸成功的IP包數(shù)量除以時(shí)間間隔,即包吞吐量;另一種是基于字節(jié)吞吐量:用傳輸成功的IP包中總字節(jié)數(shù)除以時(shí)間間隔。
3.測(cè)量方法
Internet流量數(shù)據(jù)有三種形式:被動(dòng)數(shù)據(jù)(指定鏈路數(shù)據(jù))、主動(dòng)數(shù)據(jù)(端至端數(shù)據(jù))和BGP路由數(shù)據(jù),由此涉及兩種測(cè)量方法:被動(dòng)測(cè)量方法和主動(dòng)測(cè)量方法然而,近幾年來(lái),主動(dòng)測(cè)量技術(shù)被網(wǎng)絡(luò)用戶或網(wǎng)絡(luò)研究人員用來(lái)分析指定網(wǎng)絡(luò)路徑的流量行為。
3.1 主動(dòng)測(cè)量
主動(dòng)測(cè)量的方法是指主動(dòng)發(fā)送數(shù)據(jù)包去探測(cè)被測(cè)量的對(duì)象。以被測(cè)對(duì)象的響應(yīng)作為性能評(píng)分的結(jié)果來(lái)分析。測(cè)量者一般采用模擬現(xiàn)實(shí)的流量(如Web Server的請(qǐng)求、FTP下載、DNS反應(yīng)時(shí)間等)來(lái)測(cè)量一個(gè)應(yīng)用的性能或者網(wǎng)絡(luò)的性能。由于測(cè)量點(diǎn)一般都靠近終究端,所以這種方法能夠代表從監(jiān)測(cè)者的角度反映的性能。
3.2 被動(dòng)測(cè)量
被動(dòng)測(cè)量是在網(wǎng)絡(luò)中的一點(diǎn)收集流量信息,如使用路由器或交換機(jī)收渠數(shù)據(jù)或者一個(gè)獨(dú)立的設(shè)備被動(dòng)地監(jiān)測(cè)網(wǎng)絡(luò)鏈路的流量。被動(dòng)測(cè)量可以完全取消附加流量和Heisenberg效應(yīng),這些優(yōu)點(diǎn)使人們更愿意使用被動(dòng)測(cè)量技術(shù)。有些測(cè)度使用被動(dòng)測(cè)量獲得相當(dāng)困難:如決定分縮手縮腳一所經(jīng)過(guò)的路由。但被動(dòng)測(cè)量的優(yōu)點(diǎn)使得決定測(cè)量之前應(yīng)該首先考慮被動(dòng)測(cè)量。被動(dòng)測(cè)量技術(shù)遇到的另一個(gè)重要問(wèn)題是目前提出的要求確保隱私和安全問(wèn)題。
3.3 網(wǎng)絡(luò)流量抽樣測(cè)量技術(shù)
