首頁 > 優(yōu)秀范文 > 數(shù)據(jù)分析方法
時(shí)間：2023-06-21 08:44:01
序論：速發(fā)表網(wǎng)結(jié)合其深厚的文秘經(jīng)驗(yàn)，特別為您篩選了11篇數(shù)據(jù)分析方法范文。如果您需要更多原創(chuàng)資料，歡迎隨時(shí)與我們的客服老師聯(lián)系，希望您能從中汲取靈感和知識(shí)！
中圖分類號(hào)：TN916 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2014）11（a）-0060-02
隨著本地網(wǎng)全網(wǎng)智能化、長途局、關(guān)口局撤并的實(shí)施，獨(dú)匯局承擔(dān)了長途、關(guān)口、匯接的功能，原來在長途局、關(guān)口局實(shí)現(xiàn)的數(shù)據(jù)需要在獨(dú)匯局上實(shí)現(xiàn)。
1 17909數(shù)據(jù)現(xiàn)狀分析
1.1 17909相關(guān)數(shù)據(jù)現(xiàn)狀
17909有直撥業(yè)務(wù)和卡類業(yè)務(wù)，本網(wǎng)內(nèi)固話和小靈通用戶撥17909使用的是直撥業(yè)務(wù)，其他運(yùn)營商用戶撥17909用的是卡類業(yè)務(wù)，17909直撥業(yè)務(wù)數(shù)據(jù)是在長途局變換后送IP網(wǎng)關(guān)，其他運(yùn)營商用17909卡類業(yè)務(wù)是在關(guān)口局將17909變換為16975后送省智能網(wǎng)SSP，SSP再送IP網(wǎng)關(guān)。
1.2 本地網(wǎng)網(wǎng)絡(luò)現(xiàn)狀分析
全網(wǎng)智能化、長途局、關(guān)口局撤并后整個(gè)本地網(wǎng)網(wǎng)絡(luò)結(jié)構(gòu)發(fā)生很大變化，由原來的三級(jí)網(wǎng)絡(luò)結(jié)構(gòu)演變?yōu)楝F(xiàn)在的以兩個(gè)獨(dú)匯局為核心的二級(jí)網(wǎng)絡(luò)結(jié)構(gòu)，獨(dú)匯局是長途、關(guān)口及本地匯接合一局。
本地網(wǎng)內(nèi)所有端局間以及局內(nèi)話務(wù)均由獨(dú)匯局匯接，兩獨(dú)匯局至無線市話局、省智能網(wǎng)、本地智能網(wǎng)及其他特服設(shè)備間設(shè)置直達(dá)的中繼電路，所有話務(wù)全部經(jīng)獨(dú)匯局轉(zhuǎn)接。計(jì)費(fèi)中心采集獨(dú)匯局的話單。
兩獨(dú)匯局對(duì)省內(nèi)各獨(dú)匯局采用A、B平面方式組網(wǎng)，兩獨(dú)匯局對(duì)長春TS1、TS2采用交叉連接的組網(wǎng)方式，對(duì)省內(nèi)其他地市獨(dú)匯局設(shè)置直達(dá)電路。至長春集團(tuán)軟交換A、B平面TG設(shè)備交叉開通直達(dá)中繼電路，以實(shí)現(xiàn)長途匯接的雙路由保護(hù)。和其他運(yùn)營商關(guān)口局均設(shè)有直達(dá)電路。本地網(wǎng)網(wǎng)絡(luò)結(jié)構(gòu)見圖1。
2 17909數(shù)據(jù)分析過程和解決思路
2.1 17909直撥業(yè)務(wù)的數(shù)據(jù)分析及實(shí)現(xiàn)思路
獨(dú)匯局為華為交換機(jī)（128模8k版本），我們考慮在長途字冠細(xì)擴(kuò)的基礎(chǔ)上，在用戶撥打17909時(shí)，利用華為交換機(jī)的號(hào)碼變換功能，將179090X前的17909刪除，不影響產(chǎn)生17909的話單，然后再按變換后的號(hào)碼進(jìn)行重新分析。
針對(duì)被叫號(hào)碼變換，獨(dú)匯局可以利用呼叫源通過號(hào)碼準(zhǔn)備、號(hào)首處理、中繼承載、主叫分析、特殊號(hào)碼變換進(jìn)行變換，但用號(hào)碼準(zhǔn)備變換、號(hào)首處理、主叫分析變換后話單中的被叫號(hào)碼為變換以后的被叫號(hào)碼，不適合用在這里;用中繼承載做的話，產(chǎn)生的話單被叫號(hào)碼雖說為變換以前的被叫號(hào)碼，但用中繼承載進(jìn)行的號(hào)碼變換是針對(duì)中繼上的出局呼叫進(jìn)行的，還需要細(xì)擴(kuò)17909字冠，增加了很大的工作量，后期維護(hù)工作也很麻煩。對(duì)于特殊號(hào)碼變換，可以使用軟件參數(shù)，呼叫內(nèi)部參數(shù)5BIT6，控制話單中的被叫號(hào)碼為變換前還是變換后的號(hào)碼。將該軟件參數(shù)改為0，則話單中的被叫號(hào)碼便為變換前的被叫號(hào)碼。
我們這里用的是特殊號(hào)碼變換功能，將被叫號(hào)碼179090X前的17909刪除后，0X字冠還可以按現(xiàn)有的長途字冠路由進(jìn)行選路，不必要把17909字冠細(xì)分。在獨(dú)匯局做179090、1790900、17909013、17909015、17909018字冠，利用特殊號(hào)碼變換將179090X前的17909吃掉，經(jīng)過測試驗(yàn)證，話單是號(hào)碼變換前的號(hào)碼，例如：用戶撥打179090431114，號(hào)碼變換后，被叫號(hào)碼變?yōu)?431114，然后再在字冠表中查找0431114的路由選路出局，話單中被叫號(hào)碼是179090431114。只是用特殊號(hào)碼變換后，話務(wù)統(tǒng)計(jì)不能直接統(tǒng)計(jì)到179090X的目的地中，用組合對(duì)象條件話務(wù)測量來統(tǒng)計(jì)。
2.2 17909直撥業(yè)務(wù)具體制作方法
（1）增加17909X字冠，在這里路由指向沒有實(shí)際意義，因?yàn)樵黾幼止跁r(shí)的是否進(jìn)行特殊號(hào)碼變換標(biāo)志是“是”，先分析特殊號(hào)碼變換表。
ADD CNACLD：PFX=K'179090， ISSPCHG=SPCHG，CSA=NTT，_SR_39=7，RSC=141，MINL=5， MAXL=22，CHSC=0，DEST=909， DL=6;
（2）增加被叫號(hào)碼變換，刪除被叫號(hào)碼的前5位。
ADD SPDNC：PFX=K'179090，DCT=DEL，DCL=5;
2.3 17909卡類業(yè)務(wù)的數(shù)據(jù)分析及實(shí)現(xiàn)思路
其他運(yùn)營商撥17909由于不能對(duì)主叫號(hào)碼進(jìn)行直接計(jì)費(fèi)，只能用卡類業(yè)務(wù)，17909卡類業(yè)務(wù)是經(jīng)省智能網(wǎng)平臺(tái)送IP網(wǎng)關(guān)來實(shí)現(xiàn)的，需要在獨(dú)匯局把該類呼叫通過相應(yīng)的號(hào)碼變換后送到省智能網(wǎng)SSP（老SSP），核實(shí)主叫用戶的17909卡的相關(guān)信息：主叫用戶所撥的卡號(hào)和密碼是否有效、余額是否充足、是否綁定或者簽約用戶。
其他運(yùn)營商用戶撥17909卡業(yè)務(wù)呼叫流程如圖2所示。
17909直撥業(yè)務(wù)已經(jīng)用特殊號(hào)碼變換實(shí)現(xiàn)了，由于華為128模的主叫分析流程在特殊號(hào)碼變換分析之后進(jìn)行分析，如果用主叫號(hào)碼分析來做17909變成16975的號(hào)碼變換，那其他運(yùn)營商撥打17909時(shí)，先觸發(fā)特殊號(hào)碼變換，被叫號(hào)碼前的17909就直接被刪除了，主叫分析數(shù)據(jù)不起作用。為了能讓其他運(yùn)營商撥打17909的呼叫經(jīng)過變換后上智能網(wǎng)，我們針對(duì)其他運(yùn)營商的呼叫源增加新號(hào)首集2，在號(hào)首集2中增加0-9大字冠，同時(shí)增加17909詳細(xì)字冠，針對(duì)0-9字冠做號(hào)首處理，將其變換到號(hào)首集0（0號(hào)首集已經(jīng)存在具體細(xì)擴(kuò)的字冠），針對(duì)17909做號(hào)首處理，將17909變換為16975同時(shí)變換到號(hào)首集0，在0號(hào)首集中增加16975字冠，路由指向省智能網(wǎng)。
2.4 卡類業(yè)務(wù)的具體制作方法
（1）在2號(hào)首集增加0-9大字冠、17909、1790913、1790915、1790918，業(yè)務(wù)權(quán)限給本局即可，因?yàn)橐鎏?hào)首處理，路由指向在這里沒有實(shí)際意義。
ADD CNACLD：P=2，PFX=K'0～9， MINL=3，MAXL=20，CHSC=0;
ADD CNACLD：P=2，PFX=K'17909，MINL=3，MAXL=25， CHSC=0;
ADD CNACLD：
P=2，PFX=K'1790913，
MINL=3，MAXL=25，CHSC=0;
（2）對(duì)號(hào)首集2中的0-9大字冠作號(hào)首處理變換成新號(hào)首集0，其他運(yùn)營商的呼叫源都需要做。
ADD PFXPRO：P=2， PFX=K'0～9，CSC=32， DDC=TRUE， NPS=0， RAF=TRUE;
（3）增加被叫號(hào)碼變換索引，被叫號(hào)碼前5位改成16975，由于手機(jī)用戶用IP卡撥異地手機(jī)是179091X，和固定電話不一樣，把被叫號(hào)碼179091X改成1697501X。
ADD DNC：DCX=145，DCT=MOD，DCL=5， ND=K'16975;
ADD DNC：DCX=39，DCT=MOD，DCL=7， ND=K'16975013;
（4）對(duì)17909作號(hào)首處理，將17909變換為16975并變換到號(hào)首集0，其他運(yùn)營商的呼叫源都需要做。
ADD PFXPRO：P=2，PFX=K'17909， CSC=32， DDC=TRUE，DDCX=145，NPS=0， RAF=TRUE;
ADD PFXPRO：P=2，PFX=K'1790913， CSC=32，DDC=TRUE，DDCX=39，NPS=0， RAF=TRUE;
（5）修改現(xiàn)網(wǎng)互聯(lián)互通呼叫源的號(hào)首集為2，其他運(yùn)營商的呼叫源都需要做。
MOD CALLSRC：CSC=32，P=2;
（6）在0號(hào)首集中增加16975字冠，路由指向省智能網(wǎng)。
ADD CNACLD：PFX=K'16975，CSA=NTT，_SR_39=7，RSC=5，MINL=8，MAXL=24， CHSC=0， DEST=145;
經(jīng)過測試驗(yàn)證，卡類業(yè)務(wù)的計(jì)費(fèi)話單中主被叫號(hào)碼沒有變換，號(hào)首集有變換，號(hào)首集為2，但不影響計(jì)費(fèi)分揀。
2.5 話務(wù)統(tǒng)計(jì)
在獨(dú)匯局用號(hào)碼變換設(shè)置17909的數(shù)據(jù)，對(duì)17909的話務(wù)統(tǒng)計(jì)不能被直接統(tǒng)計(jì)到該字冠的目的地中，可以用組合對(duì)象條件話務(wù)測量或者組合話務(wù)測量來統(tǒng)計(jì)，通過限定入端、出端和目的碼或者目的地來完成具體的話務(wù)統(tǒng)計(jì)。
CRE TRFCLR：tsk=80，mu=MICDT， cycl=DAY，prd=H1，st1=0&00，et1=0&00，TLINLET=all，TLOUTLET=all，TLSVN=all， CD=K'179090，TLCID=all， si=100，ota=PP，oda=STATS&NMP，CONFIRM=Y;
3 結(jié)語
目前使用的這種方法，在獨(dú)匯局改動(dòng)數(shù)據(jù)最少，數(shù)據(jù)也簡單，后期維護(hù)起來容易，以上方法的實(shí)施，使17909的直撥業(yè)務(wù)和卡類業(yè)務(wù)的數(shù)據(jù)順利割接到獨(dú)匯局，也使長途局、關(guān)口局撤并工作順利完成。經(jīng)過撥測驗(yàn)證，本網(wǎng)內(nèi)固定電話和小靈通用戶直撥17909X，話單和話務(wù)統(tǒng)計(jì)正常，其他運(yùn)營商用戶必須事先注冊(cè)、綁定或者輸入卡號(hào)和密碼才能撥打17909，話單和卡計(jì)費(fèi)情況正常。
參考文獻(xiàn)
· 數(shù)據(jù)分析的目的是什么？
· 數(shù)據(jù)分析的一般過程是怎樣的？
· 有哪些數(shù)據(jù)分析方法？
· 在服務(wù)性行業(yè)里，數(shù)據(jù)分析方法有哪些需要特別注意的地方？
· 在國內(nèi)最容易犯哪些數(shù)據(jù)分析的錯(cuò)誤？
因筆者能力和精力有限，文章中存在錯(cuò)誤或沒有詳盡之處，還望各位讀者見諒并懇請(qǐng)及時(shí)指正，大家相互學(xué)習(xí)。
(一)數(shù)據(jù)分析的核心作用
根據(jù)國際標(biāo)準(zhǔn)的定義，“數(shù)據(jù)分析是有組織、有目的地收集并分析數(shù)據(jù)，通過將數(shù)據(jù)信息化、可視化，使之成為信息的過程，其目的在于把隱藏在看似雜亂無章的數(shù)據(jù)背后的信息集中和提煉出來，從而總結(jié)研究對(duì)象的內(nèi)在規(guī)律?！痹趯?shí)際工作中，數(shù)據(jù)分析能夠幫助管理者進(jìn)行判斷和決策，以便采取適當(dāng)策略與行動(dòng)。
這里需引起關(guān)注的是任何沒有目的或結(jié)果的分析報(bào)告都是“忽悠”，都僅僅是沒有靈魂的軀殼！我們經(jīng)常看到國內(nèi)的同事們忙于各種所謂的“數(shù)據(jù)分析報(bào)告”，堆砌了大量的圖表和文字，顯得“專業(yè)”、“美觀”，但認(rèn)真研讀后卻發(fā)現(xiàn)缺乏最關(guān)鍵的“分析”過程，更別說什么分析結(jié)果了。顯然大家只是把對(duì)事實(shí)的原始描述當(dāng)成了數(shù)據(jù)分析，而實(shí)際上描述原始事實(shí)只是數(shù)據(jù)分析過程的一項(xiàng)內(nèi)容而非全部。數(shù)據(jù)分析不能僅有報(bào)表沒有分析，因?yàn)椤坝袌?bào)表不等于有分析，有分析不代表有效執(zhí)行”，報(bào)表只是數(shù)據(jù)的展現(xiàn)形式；數(shù)據(jù)分析也不能僅有分析沒有結(jié)論，沒有結(jié)論的分析無疑“差了一口氣”，對(duì)實(shí)際業(yè)務(wù)工作無法產(chǎn)生價(jià)值，唯有通過分析得出結(jié)論并提出解決方案才能體現(xiàn)數(shù)據(jù)分析協(xié)助管理者輔助決策的核心作用。因此數(shù)據(jù)分析來源于業(yè)務(wù)，也必須反饋到業(yè)務(wù)中去，沒有前者就不存在數(shù)據(jù)分析的基礎(chǔ)，沒有后者也就沒有數(shù)據(jù)分析的價(jià)值了。
(二)數(shù)據(jù)分析的分類
最常見也是最標(biāo)準(zhǔn)的數(shù)據(jù)分析可分為三大類：描述性數(shù)據(jù)分析、探索性數(shù)據(jù)分析以及驗(yàn)證性數(shù)據(jù)分析。
所謂描述性分析是對(duì)一組數(shù)據(jù)的各種特征進(jìn)行分析，以便于描述測量樣本的各種特征及其所代表的總體特征。這種分析要對(duì)調(diào)查總體所有變量的有關(guān)數(shù)據(jù)做統(tǒng)計(jì)性描述，主要包括數(shù)據(jù)的頻數(shù)分析、數(shù)據(jù)的集中趨勢(shì)分析、數(shù)據(jù)離散程度分析、數(shù)據(jù)的分布以及一些基本的統(tǒng)計(jì)圖形，比如上個(gè)月的平均通話時(shí)長是多少，員工離職率是多少等等。
探索性數(shù)據(jù)分析是指對(duì)已有數(shù)據(jù)（特別是調(diào)查或觀察得來的原始數(shù)據(jù)）在盡量少的先驗(yàn)假定下進(jìn)行探索，通過作圖、制表、方程擬合、計(jì)算特征量等手段探索數(shù)據(jù)的結(jié)構(gòu)和規(guī)律的一種數(shù)據(jù)分析方法，側(cè)重于在數(shù)據(jù)之中發(fā)現(xiàn)新的特征，比如呼叫中心的一次解決率和哪些因素相關(guān)？他們背后的驅(qū)動(dòng)因素又有哪些？哪些因素是“因”、哪些又是“果”等等。
而驗(yàn)證性分析是依據(jù)一定的理論對(duì)潛在變量與觀察變量間關(guān)系做出合理的假設(shè)，并對(duì)這種假設(shè)進(jìn)行統(tǒng)計(jì)檢驗(yàn)的現(xiàn)代統(tǒng)計(jì)方法，側(cè)重于驗(yàn)證已有假設(shè)的真?zhèn)涡浴ｒ?yàn)證性分析是在對(duì)研究問題有所了解的基礎(chǔ)上進(jìn)行的，這種了解可建立在理論研究、實(shí)驗(yàn)研究或兩者結(jié)合的基礎(chǔ)上，比如從調(diào)研的結(jié)果來看本月的客戶滿意度比上個(gè)月高出2%，是否真是如此；男性客戶的滿意度是否高于女性客戶等等。
(三)數(shù)據(jù)分析的一般過程
通常來講完整的數(shù)據(jù)分析過程可分為以下幾步：明確數(shù)據(jù)分析的目的、采集并處理數(shù)據(jù)、分析及展現(xiàn)數(shù)據(jù)、撰寫分析報(bào)告。
現(xiàn)實(shí)情況中人們往往在做數(shù)據(jù)分析時(shí)陷入一大堆雜亂無章的數(shù)據(jù)中而忘記了分析數(shù)據(jù)的目的，數(shù)據(jù)分析第一步就是要明確數(shù)據(jù)分析的目的，然后根據(jù)目的選擇需要分析的數(shù)據(jù)，明確數(shù)據(jù)分析的產(chǎn)出物，做到有的放矢、一擊即中！
其次，在做數(shù)據(jù)分析時(shí)要根據(jù)特定需求采集數(shù)據(jù)，有目的地采集數(shù)據(jù)是確保數(shù)據(jù)分析過程有效的基礎(chǔ)，采集后的數(shù)據(jù)（包括數(shù)值的和非數(shù)值的）要對(duì)其進(jìn)行整理、分析、計(jì)算、編輯等一系列的加工和處理，即數(shù)據(jù)處理，數(shù)據(jù)處理的目的是從大量的、可能是難以理解的數(shù)據(jù)中抽取并推導(dǎo)出對(duì)于某些特定人群來說是有價(jià)值、有意義的數(shù)據(jù)。
接著是對(duì)處理完畢的數(shù)據(jù)進(jìn)行分析和展現(xiàn)，分析數(shù)據(jù)是將收集的數(shù)據(jù)通過加工、整理和分析、使其轉(zhuǎn)化為信息，數(shù)據(jù)展現(xiàn)的方式有兩類：列表方式、圖形方式。
最后，整個(gè)數(shù)據(jù)分析過程要以“分析報(bào)告”的形式呈現(xiàn)出來，分析報(bào)告應(yīng)充分展現(xiàn)數(shù)據(jù)分析的起因、過程、結(jié)果及相關(guān)建議，需要有分析框架、明確的結(jié)論以及解決方案。數(shù)據(jù)分析報(bào)告一定要有明確的結(jié)論，沒有明確結(jié)論的分析稱不上分析，同時(shí)也失去了報(bào)告的意義，因?yàn)檎麄€(gè)數(shù)據(jù)分析過程就是為尋找或者求證一個(gè)結(jié)論才進(jìn)行的。最后，分析報(bào)告要有建議或解決方案，以供管理者在決策時(shí)作參考。
(四)客戶中心常用的數(shù)據(jù)分析工具及簡介1 Excel
Excel是微軟辦公套裝軟件的一個(gè)重要組成部分，它可以進(jìn)行各種數(shù)據(jù)的處理、統(tǒng)計(jì)分析和輔助決策操作，廣泛地應(yīng)用于管理、統(tǒng)計(jì)財(cái)經(jīng)、金融等眾多領(lǐng)域。Excel提供了強(qiáng)大的數(shù)據(jù)分析處理功能，利用它們可以實(shí)現(xiàn)對(duì)數(shù)據(jù)的排序、分類匯總、篩選及數(shù)據(jù)透視等操作。
2 SPC
SPC（Statistical Process Control）即統(tǒng)計(jì)過程控制，是一種借助數(shù)理統(tǒng)計(jì)方法的過程控制工具。實(shí)施SPC的過程一般分為兩大步驟：首先用SPC工具對(duì)過程進(jìn)行分析，如繪制分析用控制圖等；根據(jù)分析結(jié)果采取必要措施：可能需要消除過程中的系統(tǒng)性因素，也可能需要管理層的介入來減小過程的隨機(jī)波動(dòng)以滿足過程能力的需求。第二步則是用控制圖對(duì)過程進(jìn)行監(jiān)控。
3 SAS
SAS是用于決策支持的大型集成信息系統(tǒng)，但該軟件系統(tǒng)最早的功能限于統(tǒng)計(jì)分析，時(shí)至今日，統(tǒng)計(jì)分析功能仍是它的重要組成部分和核心功能。在數(shù)據(jù)處理和統(tǒng)計(jì)分析領(lǐng)域，SAS系統(tǒng)被譽(yù)為國際上的標(biāo)準(zhǔn)軟件系統(tǒng)，SAS提供多個(gè)統(tǒng)計(jì)過程，用戶可以通過對(duì)數(shù)據(jù)集的一連串加工實(shí)現(xiàn)更為復(fù)雜的統(tǒng)計(jì)分析，此外 SAS還提供了各類概率分析函數(shù)、分位數(shù)函數(shù)、樣本統(tǒng)計(jì)函數(shù)和隨機(jī)數(shù)生成函數(shù)，使用戶能方便地實(shí)現(xiàn)特殊統(tǒng)計(jì)要求。
4 JMP
JMP是SAS（全球最大的統(tǒng)計(jì)學(xué)軟件公司）推出的一種交互式可視化統(tǒng)計(jì)發(fā)現(xiàn)軟件系列，包括JMP，JMP Pro，JMP Clinical，JMP Genomics，SAS Simulation Studio for JMP等強(qiáng)大的產(chǎn)品線，主要用于實(shí)現(xiàn)統(tǒng)計(jì)分析。其算法源于SAS，特別強(qiáng)調(diào)以統(tǒng)計(jì)方法的實(shí)際應(yīng)用為導(dǎo)向，交互性、可視化能力強(qiáng)，使用方便。JMP的應(yīng)用非常廣泛，業(yè)務(wù)領(lǐng)域包括探索性數(shù)據(jù)分析、六西格瑪及持續(xù)改善（可視化六西格瑪、質(zhì)量管理、流程優(yōu)化）、試驗(yàn)設(shè)計(jì)、統(tǒng)計(jì)分析與建模、交互式數(shù)據(jù)挖掘、分析程序開發(fā)等。 SPSS（Statistical Product and Service Solutions）“統(tǒng)計(jì)產(chǎn)品與服務(wù)解決方案”軟件，是世界上最早的統(tǒng)計(jì)分析軟件，基本功能包括數(shù)據(jù)管理、統(tǒng)計(jì)分析、圖表分析、輸出管理等等。SPSS統(tǒng)計(jì)分析過程包括描述性統(tǒng)計(jì)、均值比較、一般線性模型、相關(guān)分析、回歸分析、對(duì)數(shù)線性模型、聚類分析、數(shù)據(jù)簡化、生存分析、時(shí)間序列分析、多重響應(yīng)等幾大類，每類中又分好幾個(gè)統(tǒng)計(jì)過程，比如回歸分析中又分線性回歸分析、曲線估計(jì)、Logistic回歸、Probit回歸、加權(quán)估計(jì)、兩階段最小二乘法、非線性回歸等多個(gè)統(tǒng)計(jì)過程，而且每個(gè)過程中又允許用戶選擇不同的方法及參數(shù)，SPSS也有專門的繪圖系統(tǒng)，可以根據(jù)數(shù)據(jù)繪制各種圖形。
6 Minitab
中圖分類號(hào)：P2 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2012）12（b）-0053-02
1 大壩安全監(jiān)測的意義
大壩所具有的潛在安全問題既是一個(gè)復(fù)雜的技術(shù)問題，也是一個(gè)日益突出的公共安全問題，因此，我國對(duì)大壩安全越來越重視。隨著壩工理論和技術(shù)的不斷發(fā)展與完善，為了更好地實(shí)現(xiàn)水資源的進(jìn)一步開發(fā)利用，我國的大壩建設(shè)正向著更高更大方向發(fā)展，如三峽重力壩、小灣拱壩（最大壩高294.5 m）、拉西瓦拱壩（最大壩高250 m）、溪洛渡拱壩（最大壩高285.5 m）等，這些工程的建設(shè)將為我國的經(jīng)濟(jì)發(fā)展做出巨大貢獻(xiàn)，也將推動(dòng)我國的壩工理論和技術(shù)水平上升到一個(gè)新的高度。但是，這些工程一旦失事，將是不可想象的毀滅性災(zāi)難，因此，大壩安全問題就顯得日益突出和重要。保證大壩安全的措施可分為工程措施和非工程措施兩種，兩者相互依存，缺一不可。
回顧大壩安全監(jiān)測的發(fā)展歷史，最早可追溯到19世紀(jì)90年代，1891年德國的挨施巴赫重力壩開展了大壩位移觀測，隨后于1903年美國新澤西州Boont。n重力壩開展了溫度觀測，1908年澳大利亞新南威爾士州巴倫杰克溪薄拱壩開展了變形觀測，1925年美國愛達(dá)荷州亞美尼加一佛爾茲壩開展了揚(yáng)壓力觀測，1826年美國墾務(wù)局在Stevenson一creek試驗(yàn)拱壩上開展了應(yīng)力及應(yīng)變觀測，這是最早開展安全監(jiān)測的幾個(gè)實(shí)例。我國從20世紀(jì)50年代開始進(jìn)行安全監(jiān)測工作，大壩安全監(jiān)測的作用是逐漸被人們認(rèn)識(shí)的，趙志仁將大壩安全監(jiān)測的發(fā)展歷程劃分為以下3個(gè)階段。
（1）1891年至1964年，原型觀測階段，原型觀測的主要目的是研究大壩設(shè)計(jì)計(jì)算方法，檢驗(yàn)設(shè)計(jì)，改進(jìn)壩工理論。（2）1964年至1985年，由原型觀測向安全監(jiān)測的過度階段，接連發(fā)生的大壩失事，讓人們逐漸認(rèn)識(shí)到大壩安全的重要性，逐步把保證大壩安全運(yùn)行作為主要目的。（3）1985年至今，安全監(jiān)測階段，此階段，大壩安全監(jiān)測已經(jīng)成為人們的共識(shí)，隨著監(jiān)測儀器、監(jiān)測技術(shù)和資料分析方法的不斷進(jìn)步、發(fā)展與完善，將逐步實(shí)現(xiàn)大壩的安全監(jiān)控。
2 大壩安全監(jiān)測數(shù)據(jù)分析概述
大壩安全監(jiān)測取得的大量數(shù)據(jù)為評(píng)價(jià)大壩運(yùn)行狀態(tài)提供了基礎(chǔ)，但是，原始觀測數(shù)據(jù)往往不能直觀清晰地展示大壩性態(tài)，需要對(duì)觀測數(shù)據(jù)進(jìn)行分辨、解析、提煉和概括，從繁多的觀測資料中找出關(guān)鍵問題，深刻地揭示規(guī)律并作出判斷，這就需要進(jìn)行監(jiān)測數(shù)據(jù)分析。
2.1 監(jiān)測數(shù)據(jù)分析的意義
大壩監(jiān)測數(shù)據(jù)分析可以從原始數(shù)據(jù)中提取包含的信息，為大壩的建設(shè)和運(yùn)行管理提供有價(jià)值的科學(xué)依據(jù)。大量工程實(shí)踐表明：大壩監(jiān)測數(shù)據(jù)中蘊(yùn)藏了豐富的反映壩體結(jié)構(gòu)性態(tài)的信息，做好觀測資料分析工作既有工程應(yīng)用價(jià)值又有科學(xué)研究意義。大壩安全監(jiān)測數(shù)據(jù)分析的意義表現(xiàn)在如下幾方面：（1）原始觀測數(shù)據(jù)本身既包含著大壩實(shí)際運(yùn)行狀態(tài)的信息，又帶有觀測誤差及外界隨機(jī)因素所造成的干擾。必須經(jīng)過誤差分析及干擾辨析，才能揭示出真實(shí)的信息。（2）觀測值是影響壩體狀態(tài)的多種內(nèi)外因素交織在一起的綜合效應(yīng)，也必須對(duì)測值作分解和剖析，將影響因素加以分解，找出主要因素及各個(gè)因素的影響程度。（3）只有將多測點(diǎn)的多測次的多種觀測量放在一起綜合考察，相互補(bǔ)充和驗(yàn)證，才能全面了解測值在空間分布上和時(shí)間發(fā)展上的相互聯(lián)系，了解大壩的變化過程和發(fā)展趨勢(shì)，發(fā)現(xiàn)變動(dòng)特殊的部位和薄弱環(huán)節(jié)。（4）為了對(duì)大壩監(jiān)測數(shù)據(jù)作出合理的物理解釋，為了預(yù)測大壩未來的變化趨勢(shì)，也都離不開監(jiān)測數(shù)據(jù)分析工作。因此，大壩監(jiān)測資料分析是實(shí)現(xiàn)大壩安全監(jiān)測最終目的的一個(gè)重要環(huán)節(jié)。
2.2 監(jiān)測數(shù)據(jù)分析的內(nèi)容
監(jiān)測資料分析的內(nèi)容通常包括：認(rèn)識(shí)規(guī)律、查找問題、預(yù)測變化、判斷安全。
（1）認(rèn)識(shí)規(guī)律：分析測值的發(fā)展過程以了解其隨時(shí)間而變化的情況，如周期性、趨勢(shì)、變化類型、發(fā)展速度、變動(dòng)幅度等；分析測值的空間分布以了解它在不同部位的特點(diǎn)和差異，掌握它的分布特點(diǎn)及代表性測點(diǎn)的位置；分析測值的影響因素以了解各種外界條件及內(nèi)部因素對(duì)所測物理量的作用程度、主次關(guān)系。通過這些分析，掌握壩的運(yùn)行狀況，認(rèn)識(shí)壩的各個(gè)部位上各種測值的變化規(guī)律。（2）查找問題：對(duì)監(jiān)測變量在發(fā)展過程和分布關(guān)系上發(fā)現(xiàn)的特殊或突出測值，聯(lián)系荷載條件及結(jié)構(gòu)因素進(jìn)行考查，了解其是否符合正常變化規(guī)律或是否在正常變化范圍之內(nèi)，分析原因，找出問題。（3）預(yù)測變化：根據(jù)所掌握的規(guī)律，預(yù)測未來一定條件下測值的變化范圍或取值；對(duì)于發(fā)現(xiàn)的問題，估計(jì)其發(fā)展趨勢(shì)、變化速度和可能后果。（4）判斷安全：基于對(duì)測值的分析，判斷過去一段時(shí)期內(nèi)壩的運(yùn)行狀態(tài)是否安全并對(duì)今后可能出現(xiàn)的最不利條件組合下壩的安全作出預(yù)先判斷。
一般來講，大壩監(jiān)測資料分析可分為正分析和反演分析兩個(gè)方面。正分析是指由實(shí)測資料建立原型物理觀測量的數(shù)學(xué)模型，并應(yīng)用這些模型監(jiān)控大壩的運(yùn)行。反演分析是仿效系統(tǒng)識(shí)別的思想，以正分析成果為依據(jù)，通過相應(yīng)的理論分析，反求大壩材料的物理力學(xué)參數(shù)和項(xiàng)源（如壩體混凝土溫度、拱壩實(shí)際梁荷載等）。吳中如院士提到通過大壩監(jiān)測資料分析可以實(shí)現(xiàn)反饋設(shè)計(jì)，即“綜合原型觀測資料正分析和反演分析的成果，通過理論分析計(jì)算或歸納總結(jié)，從中尋找某些規(guī)律和信息，及時(shí)反饋到設(shè)計(jì)、施工和運(yùn)行中去，從而達(dá)到優(yōu)化設(shè)計(jì)、施工和運(yùn)行的目的，并補(bǔ)充和完善現(xiàn)行水工設(shè)計(jì)和施工規(guī)范”。綜上所述，大壩監(jiān)測資料正分析中數(shù)學(xué)模型的研究與應(yīng)用是實(shí)現(xiàn)大壩安全監(jiān)測及資料分析的目的和意義的基礎(chǔ)與根本。
3 監(jiān)測數(shù)據(jù)分析方法
大壩安全監(jiān)測數(shù)據(jù)分析涉及到多學(xué)科交叉的許多方法和理論，目前，常用的大壩監(jiān)測數(shù)據(jù)分析方法主要有如下幾種：多元回歸分析、時(shí)間序列分析、灰色理論分析、頻譜分析、Kalman濾波法、有限元法、人工神經(jīng)網(wǎng)絡(luò)法、小波分析法、系統(tǒng)論方法等等。（圖1）
3.1 多元回歸分析
多元回歸分析方法是大壩監(jiān)測數(shù)據(jù)分析中應(yīng)用最為廣泛的方法之一，最常用的方法就是逐步回歸分析方法，基于該方法的回歸統(tǒng)計(jì)模型廣泛應(yīng)用于各類監(jiān)測變量的分析建模工作。以大壩變形監(jiān)測的分析為例，取變形（如各種位移值）為因變量（又稱效應(yīng)量），取環(huán)境量（如水壓、溫度等）為自變量（又稱影響因子），根據(jù)數(shù)理統(tǒng)計(jì)理論建立多元線性回歸模型，用逐步回歸分析方法就可以得到效應(yīng)量與環(huán)境量之間的函數(shù)模型，然后就可以進(jìn)行變形的物理解釋和預(yù)報(bào)。由于它是一種統(tǒng)計(jì)分析方法，需要因變量和自變量具有較長且一致性較好的觀測值序列。如果回歸模型的環(huán)境變量之間存在多重共線性，可能會(huì)引起回歸模型參數(shù)估計(jì)的不正確；如果觀測數(shù)據(jù)序列長度不足且數(shù)據(jù)中所含隨機(jī)噪聲偏大，則可能會(huì)引起回歸模型的過擬合現(xiàn)象，而破壞模型的穩(wěn)健性。
在回歸分析法中，當(dāng)環(huán)境量之間相關(guān)性較大時(shí)，可采用主成分分析或嶺回歸分析，為了解決和改善回歸模型中因子多重相關(guān)性和欠擬合問題，則可采用偏回歸模型，該模型具有多元線性回歸、相關(guān)分析和主成分分析的性能，在某些情況下甚至優(yōu)于常用的逐步線性回歸模型，例如王小軍、楊杰、鄧念武等在應(yīng)用偏回歸模型進(jìn)行大壩監(jiān)測數(shù)據(jù)分析時(shí)，還采用遺傳算法進(jìn)行模型的參數(shù)估計(jì)，取得了較好的效果。
3.2 時(shí)間序列分析
大壩安全監(jiān)測過程中，各監(jiān)測變量的實(shí)測數(shù)據(jù)自然組成了一個(gè)離散隨機(jī)時(shí)間序列，因此，可以用時(shí)間序列分析理論與方法建立模型。一般認(rèn)為時(shí)間序列分析方法是一種動(dòng)態(tài)數(shù)據(jù)的參數(shù)化時(shí)域分析方法，它通過對(duì)動(dòng)態(tài)數(shù)據(jù)進(jìn)行模型階次和參數(shù)估計(jì)建立相應(yīng)的數(shù)學(xué)模型，以了解這些數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和特性，從而對(duì)數(shù)據(jù)變化趨勢(shì)做出判斷和預(yù)測，具有良好的短期預(yù)測效果。進(jìn)行時(shí)間序列分析時(shí)一般要求數(shù)據(jù)為平穩(wěn)隨機(jī)過程，否則，需要進(jìn)行協(xié)整分析，對(duì)數(shù)據(jù)進(jìn)行差分處理，或者采用誤差修正模型。例如，徐培亮利用時(shí)間序列分析方法，對(duì)大壩變形觀測資料進(jìn)行分析建模得到一個(gè)AR（2）模型，并對(duì)大壩變形進(jìn)行了預(yù)報(bào)，結(jié)果表明具有良好的預(yù)測精度。涂克楠、張利、鄭簫等也利用時(shí)間序列對(duì)大壩監(jiān)測數(shù)據(jù)進(jìn)行分析，有效地提高了模型對(duì)實(shí)測數(shù)據(jù)的擬合能力和預(yù)測能力。
3.3 灰色理論分析
當(dāng)觀測數(shù)據(jù)的樣本數(shù)不多時(shí)，不能滿足時(shí)間序列分析或者回歸分析模型對(duì)于數(shù)據(jù)長度的要求，此時(shí)，可采用灰色系統(tǒng)理論建模。該理論于20世紀(jì)80年代由鄧聚龍首次提出，該方法通過將原始數(shù)列利用累加生成法變換為生成數(shù)列，從而減弱數(shù)據(jù)序列的隨機(jī)性，增強(qiáng)規(guī)律性。例如，在大壩變形監(jiān)測數(shù)據(jù)分析時(shí)，也可以大壩變形的灰微分方程來提取趨勢(shì)項(xiàng)后建立組合模型。一般時(shí)間序列分析都是針對(duì)單測點(diǎn)的數(shù)據(jù)序列，如果考慮各測點(diǎn)之間的相關(guān)性而進(jìn)行多測點(diǎn)的關(guān)聯(lián)分析，有可能會(huì)取得更好的效果。1991年，熊支榮等人詳述了灰色系統(tǒng)理論在水工觀測資料分析中的應(yīng)用情況，并對(duì)其應(yīng)用時(shí)的檢驗(yàn)標(biāo)準(zhǔn)等問題進(jìn)行了探討。同年，劉觀標(biāo)利用灰色系統(tǒng)模型對(duì)某重力壩的實(shí)測應(yīng)力分析證明了灰色模型具有理論合理、嚴(yán)謹(jǐn)、成果精度較高的特點(diǎn)。
3.4 頻譜分析
大壩監(jiān)測數(shù)據(jù)的處理和分析主要在時(shí)域內(nèi)進(jìn)行，利用Fourier變換將監(jiān)測數(shù)據(jù)序列由時(shí)域信號(hào)轉(zhuǎn)換為頻域信號(hào)進(jìn)行分析，通過計(jì)算各諧波頻率的振幅，最大振幅所對(duì)應(yīng)的主頻可以揭示監(jiān)測量的變化周期，這樣，有時(shí)在時(shí)域內(nèi)看不清的數(shù)據(jù)信息在頻域內(nèi)可以很容易看清楚。例如，將測點(diǎn)的變形量作為輸出，相關(guān)的環(huán)境因子作為輸入，通過估計(jì)相干函數(shù)、頻率響應(yīng)函數(shù)和響應(yīng)譜函數(shù)，就可以通過分析輸入輸出之間的相關(guān)性進(jìn)行變形的物理解釋，確定輸入的貢獻(xiàn)和影響變形的主要因子。將大壩監(jiān)測數(shù)據(jù)由時(shí)域信號(hào)轉(zhuǎn)換到頻域信號(hào)進(jìn)行分析的研究應(yīng)用并不多，主要是由于該方法在應(yīng)用時(shí)要求樣本數(shù)量要足夠多，而且要求數(shù)據(jù)是平穩(wěn)的，系統(tǒng)是線性的，頻譜分析從整個(gè)頻域上對(duì)信號(hào)進(jìn)行考慮，局部化性能差。
中圖分類號(hào)：F276．1
文獻(xiàn)標(biāo)識(shí)碼：A
文章編號(hào)：1002―2848―2007(01)－0108―06
一、前 言
在經(jīng)濟(jì)數(shù)據(jù)的傳統(tǒng)定量分析中，所分析的數(shù)據(jù)對(duì)象具有這樣的特征，即數(shù)據(jù)要么是時(shí)間序列數(shù)據(jù)，要么是橫截面數(shù)據(jù)。而實(shí)際中獲得的許多經(jīng)濟(jì)數(shù)據(jù)，往往是在時(shí)間序列上取多個(gè)截面，再在這些截面上同時(shí)選取樣本觀測值所構(gòu)成的樣本數(shù)據(jù)。計(jì)量經(jīng)濟(jì)學(xué)中稱這樣的數(shù)據(jù)為“平行數(shù)據(jù)”(Panel Da―ta)，也被翻譯成“面板數(shù)據(jù)”，或“縱向數(shù)據(jù)”(longitudinal data)。20多年來，許多學(xué)者研究分析了面板數(shù)據(jù)。事實(shí)上，關(guān)于面板數(shù)據(jù)的研究是計(jì)量經(jīng)濟(jì)學(xué)理論方法的重要發(fā)展之一，它在解決數(shù)據(jù)樣本容量不足、估計(jì)難以度量的因素對(duì)經(jīng)濟(jì)指標(biāo)的影響，以及區(qū)分經(jīng)濟(jì)變量的作用等方面，具有突出優(yōu)點(diǎn)。但是，研究面板數(shù)據(jù)的計(jì)量模型，以線性結(jié)構(gòu)描述變量之間的因果關(guān)系，且模型太過于依賴諸多的假設(shè)條件，使得方法的應(yīng)用具有一定的局限性。為了彌補(bǔ)面板數(shù)據(jù)的計(jì)量模型分析方法及其它統(tǒng)計(jì)分析方法的缺陷，本文基于經(jīng)濟(jì)數(shù)據(jù)的函數(shù)性特征，介紹一種從函數(shù)視角對(duì)經(jīng)濟(jì)數(shù)據(jù)進(jìn)行分析的全新方法一函數(shù)性數(shù)據(jù)分析(Functional Data Analysis，F(xiàn)DA)。
函數(shù)性數(shù)據(jù)分析的概念，始見于加拿大統(tǒng)計(jì)學(xué)家J．O．Ramsay和C．J．Dalzell于1991年發(fā)表的論文《函數(shù)性數(shù)據(jù)分析的一些工具》。6年后，J．O．Ramsay和B．w．Silverman(1997)將對(duì)函數(shù)性數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析的已有理論和方法，總結(jié)在《函數(shù)性數(shù)據(jù)分析》一書中。但這本書偏重方法的理論介紹和數(shù)學(xué)推導(dǎo)，不利于統(tǒng)計(jì)基礎(chǔ)薄弱者使用。經(jīng)過5年的努力，J．O．Ramsay和B．w．Silverman研究了一些函數(shù)性數(shù)據(jù)案例，并將其具體的分析過程編入他們于2002年出版的專著中。雖然國外在這方面已經(jīng)做了許多研究，也取得了許多有價(jià)值的結(jié)果，但是有關(guān)函數(shù)性數(shù)據(jù)的研究依然處于起步階段，還有很多問題需要研究或進(jìn)一步完善。另外，從方法應(yīng)用的具體領(lǐng)域來看，很少涉及對(duì)經(jīng)濟(jì)函數(shù)性數(shù)據(jù)的分析。就目前研究文獻(xiàn)來看，我國在此方面的研究尚是一片空白。
為填補(bǔ)我國在這方面研究的空白，本文從思想、方法等方面，對(duì)函數(shù)性數(shù)據(jù)分析進(jìn)行系統(tǒng)介紹，并通過編寫計(jì)算機(jī)程序，率先利用該方法分析實(shí)際的經(jīng)濟(jì)函數(shù)性數(shù)據(jù)。本文共分六部分，以下內(nèi)容的安排為：數(shù)據(jù)的函數(shù)性特征及經(jīng)濟(jì)函數(shù)性數(shù)據(jù)實(shí)例、從數(shù)據(jù)的函數(shù)性視角研究數(shù)據(jù)的意義、函數(shù)性數(shù)據(jù)分析的目標(biāo)和步驟、函數(shù)性數(shù)據(jù)分析方法的經(jīng)濟(jì)應(yīng)用，最后一部分是本文的結(jié)論。
二、數(shù)據(jù)的函數(shù)性特征及經(jīng)濟(jì)函數(shù)性數(shù)據(jù)實(shí)例
一般地說，多元數(shù)據(jù)分析(Multivariate Data A-nalysis，MDA)處理的對(duì)象，是刻畫所研究問題的多個(gè)統(tǒng)計(jì)指標(biāo)(變量)在多次觀察中呈現(xiàn)出的數(shù)據(jù)，樣本數(shù)據(jù)具有離散且有限的特征。但是，現(xiàn)代的數(shù)據(jù)收集技術(shù)所收集的信息，不但包括傳統(tǒng)統(tǒng)計(jì)方法所處理的數(shù)據(jù)，還包括具有函數(shù)形式的過程所產(chǎn)生的數(shù)據(jù)，例如，數(shù)據(jù)自動(dòng)收集系統(tǒng)等，稱具有這種特征的數(shù)據(jù)為函數(shù)性數(shù)據(jù)。
函數(shù)性數(shù)據(jù)的表現(xiàn)形式多種多樣，但就其本質(zhì)來說，它們由函數(shù)構(gòu)成。這些函數(shù)的幾何圖形可能是光滑的曲線(如人體在成年前的身體高度變化等)，也可能是不光滑的曲線(如股票綜合指數(shù)等)。許多研究領(lǐng)域的樣本資料往往表現(xiàn)為函數(shù)形式，如考古學(xué)家挖掘的骨塊的形狀、按時(shí)間記錄的經(jīng)濟(jì)數(shù)據(jù)、手寫時(shí)筆尖的運(yùn)動(dòng)軌跡、溫度的變化等。函數(shù)性數(shù)據(jù)分析(Functional Data Analysis，F(xiàn)DA)的基本原理是把觀測到的數(shù)據(jù)函數(shù)看作一個(gè)整體，而不僅僅是一串?dāng)?shù)字。函數(shù)指的是數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，而不是它們直觀的外在表現(xiàn)形式。
實(shí)際中，之所以要從函數(shù)的視角對(duì)數(shù)據(jù)進(jìn)行分析，是因?yàn)椋?1)實(shí)際中，獲得數(shù)據(jù)的方式和技術(shù)日新月異、多種多樣，例如，越來越多的研究者可以通過數(shù)據(jù)的自動(dòng)收集系統(tǒng)獲得大量的數(shù)據(jù)信息。更重要的是，原本用于工程技術(shù)分析的修勻(smoothing)和插值(interpolation)技術(shù)，可以由有限組的觀測數(shù)據(jù)產(chǎn)生出相應(yīng)的函數(shù)表示。(2)盡管只有有限次的觀測數(shù)據(jù)可供利用，但有一些建模問題，將其納入到函數(shù)版本下進(jìn)行考慮，會(huì)使分析更加全面、深刻。(3)在有些情況下，如果想利用有限組的數(shù)據(jù)估計(jì)函數(shù)或其導(dǎo)數(shù)，則分析從本質(zhì)上來看就具有函數(shù)性的特征。(4)將平滑性引入到一個(gè)函數(shù)過程所產(chǎn)生的多元數(shù)據(jù)的處理中，對(duì)分析具有重要的意義。
在經(jīng)濟(jì)分析中，融合時(shí)間序列和橫截面兩者的數(shù)據(jù)很常見，例如，多個(gè)國家、地區(qū)、行業(yè)或企業(yè)的多年的年度經(jīng)濟(jì)總量、多家商業(yè)銀行歷年的資本結(jié)構(gòu)、能源(如電力、煤炭、石油等)多年按月的消耗量、不同時(shí)間上多個(gè)省市的失業(yè)數(shù)據(jù)等。這些經(jīng)濟(jì)數(shù)據(jù)往往呈現(xiàn)函數(shù)性特征，即每個(gè)個(gè)體對(duì)應(yīng)著一個(gè)函數(shù)或曲線。在對(duì)經(jīng)濟(jì)函數(shù)性數(shù)據(jù)進(jìn)行分析時(shí)，將觀測到的數(shù)據(jù)(函數(shù))看作一個(gè)整體，而不是個(gè)體觀測值的順序排列，這是函數(shù)性數(shù)據(jù)分析不同于傳統(tǒng)統(tǒng)計(jì)分析之根本所在。例如，表1是工商銀行、農(nóng)業(yè)銀行、中國銀行、建設(shè)銀行1995年到2004年期間的資產(chǎn)收益率(ROA)數(shù)據(jù)。
利用基于MATLAB編寫的程序，對(duì)數(shù)據(jù)進(jìn)行平滑處理(smoothing)，并繪出四家國有銀行的資產(chǎn)收益率(ROA)的修勻曲線(見圖1)。由曲線圖可以看出，每個(gè)個(gè)體(銀行)對(duì)應(yīng)著一條曲線(其數(shù)學(xué)表達(dá)式為函數(shù))，這是將多家銀行的歷年ROA數(shù)據(jù)記錄看作函數(shù)的根本理由，也是函數(shù)性數(shù)據(jù)分析的出發(fā)點(diǎn)。
三、從數(shù)據(jù)的函數(shù)性視角研究數(shù)據(jù)的意義
從函數(shù)的視角，對(duì)具有函數(shù)特征的經(jīng)濟(jì)數(shù)據(jù)進(jìn)行研究，會(huì)挖掘出更多的信息。例如，對(duì)函數(shù)性數(shù)據(jù)的平滑曲線展示，不但能夠診斷出擬合數(shù)據(jù)的可能數(shù)學(xué)模型，還能夠通過對(duì)光滑曲線求一階、或更高階的導(dǎo)數(shù)，來進(jìn)一步探索數(shù)據(jù)的個(gè)體(橫截面)差異和動(dòng)態(tài)變化規(guī)律。
圖2是四家銀行資產(chǎn)收益率的速度(一階導(dǎo)數(shù))曲線，觀察發(fā)現(xiàn)：在1995年至2004年期間，農(nóng)業(yè)
銀行、中國銀行及建設(shè)銀行的資產(chǎn)收益率的變化率，呈現(xiàn)出較強(qiáng)的周期性，其中尤以建設(shè)銀行的表現(xiàn)最為突出。加速度曲線圖顯示，四家銀行資產(chǎn)收益率的變化率的波動(dòng)狀況不相同，轉(zhuǎn)折變化的時(shí)間差異也較大。這些情況一定程度表明，各家銀行的內(nèi)部管理與經(jīng)營機(jī)制，對(duì)市場信息的反應(yīng)快慢程度各不相同。
四、函數(shù)性數(shù)據(jù)分析的目標(biāo)和步驟
函數(shù)性數(shù)據(jù)分析的目標(biāo)與傳統(tǒng)統(tǒng)計(jì)學(xué)分析的目標(biāo)基本一樣，具體情況如下：
(一)以對(duì)進(jìn)一步分析有利的方法來描述數(shù)據(jù)；
(二)為突出不同特征而對(duì)數(shù)據(jù)進(jìn)行展示；
(三)研究數(shù)據(jù)類型的重要來源和數(shù)據(jù)之間的變化；
(四)利用輸入(自變量信息)來解釋輸出(因變量)的變化情況；
(五)對(duì)兩組或更多的某種類型的變量數(shù)據(jù)進(jìn)行比較分析。
典型的FDA主要包括以下步驟：
第一步，原始數(shù)據(jù)的收集、整理和組織。假設(shè)我們考慮的自變量是一維的，記為t，一個(gè)的函數(shù)僅在離散抽樣值 處被觀測，而且這些ti可能等間隔分布，也可能不是。在函數(shù)性數(shù)據(jù)分析中，將這些離散的觀測值看作一個(gè)整體。
第二步，將離散數(shù)據(jù)轉(zhuǎn)換為函數(shù)形式。這是利用各次觀察的原始數(shù)據(jù)定義出一個(gè)函數(shù)x(t)，它在某一區(qū)間上所有t處的值都被估算了出來。解決這個(gè)問題的基本方法是選定一組基函數(shù) (t)，k=O，…，K，并用基函數(shù)的線性組合給出函數(shù)x(t)的估計(jì)
第三步，多種形式的初步展示與概括統(tǒng)計(jì)量。概括統(tǒng)計(jì)量包括均值和方差函數(shù)、協(xié)方差與相關(guān)函數(shù)、交叉協(xié)方差(cross―covafiance)與交叉相關(guān)(cross―correlation)函數(shù)等。
第四步，為了使每一條曲線的顯著特征都在大體相同的自變量處(如月份、年份等)顯現(xiàn)出來，可能需要對(duì)函數(shù)進(jìn)行排齊(regigtration)，其目的是能夠區(qū)別對(duì)待垂直方向的振幅變化與水平方向的相變化。
第五步，對(duì)排齊后的函數(shù)數(shù)據(jù)進(jìn)行探索性分析，如函數(shù)性主成份分析(FPCA)、函數(shù)性典型相關(guān)份析(FCCA)等。
第六步，建立模型。建立的模型可能是函數(shù)性線性模型，也可能是微分方程。
第七步，模型估計(jì)。
五、函數(shù)性數(shù)據(jù)分析方法的經(jīng)濟(jì)應(yīng)用
為了說明函數(shù)性數(shù)據(jù)分析方法的具體應(yīng)用，同時(shí)出于使所繪圖形簡單明了，本文再次利用四家國有銀行的數(shù)據(jù)，對(duì)資產(chǎn)收益率進(jìn)行更深入的分析。雖然此實(shí)例中個(gè)體數(shù)少，但并不妨礙對(duì)方法應(yīng)用的系統(tǒng)描述與理解。
在對(duì)實(shí)際問題的經(jīng)濟(jì)數(shù)據(jù)進(jìn)行分析時(shí)，通常需要依照研究的目標(biāo)編寫計(jì)算機(jī)程序。就目前的研究現(xiàn)狀來看，基于MATLAB或SPLUS等編寫的程序，如繪圖或綜合計(jì)算函數(shù)等，完全可以滿足分析的需要。本文首先基于MATLAB編寫程序，然后對(duì)四家國有銀行的資產(chǎn)收益率數(shù)據(jù)進(jìn)行分析。
關(guān)于四家銀行資產(chǎn)收益率數(shù)據(jù)的函數(shù)(曲線)展示與初步分析，本文在前面已進(jìn)行了描述，具體結(jié)果見圖1和圖2。概括資產(chǎn)收益率特征的統(tǒng)計(jì)量(均值函數(shù)和標(biāo)準(zhǔn)差函數(shù))的曲線見圖3。
為了進(jìn)一步探討典型函數(shù)所呈現(xiàn)的特征，本文利用函數(shù)性主成份分析，對(duì)四家銀行的資產(chǎn)收益率數(shù)據(jù)進(jìn)行分析。一般來說，在函數(shù)性數(shù)據(jù)分析中，與多元統(tǒng)計(jì)中的某個(gè)主成份的權(quán)向量相對(duì)應(yīng)的是主成份權(quán)函數(shù)(principal component weight function)，記為 ，其中t在一個(gè)區(qū)間 中變化。第i個(gè)樣品(個(gè)體) 的主成份得分值為 ，第一主成份就是在 的約束條件下，尋求使主成份得分 的方差達(dá)到最大的權(quán)函數(shù) ，即它是下面數(shù)學(xué)模型的最優(yōu)解： 類似地，可以求得第j個(gè)主成份，其權(quán)函數(shù)毛(t)是下面數(shù)學(xué)模型的解：
為了得到光滑的主成份，一種方法是對(duì)由上述方法求出的主成份進(jìn)行修勻，另一種方法是將修勻處理過程，融入到主成份的求解過程中。具體作法是將描述主成份曲線波動(dòng)程度的粗糙因子納入到約柬?xiàng)l件中，形成帶懲罰的約束條件。利用粗糙懲罰法求第j個(gè)主成份的數(shù)學(xué)模型是其中 稱為修勻參數(shù)，用它可對(duì)粗糙懲罰項(xiàng)進(jìn)行調(diào)整。
利用上述方法和基于MATLAB編寫的程序，對(duì)四家銀行進(jìn)行函數(shù)性主成份分析(FPCA)。具體結(jié)果見圖4。第一個(gè)主成份(PCI)的解釋能力為85．5％，第二個(gè)主成份(Pc2)的解釋能力為13．1％，前兩個(gè)主成份的綜合解釋能力為98．6％。
為了清晰地顯示主成份，并進(jìn)行有意義的解釋，在同一圖中繪出三條曲線，一條是整體均值曲線，另兩條是對(duì)均值曲線分別加上和減去主成份的一個(gè)適當(dāng)倍數(shù)而形成的曲線，具體結(jié)果見圖5(本文所選的倍數(shù)是0．12)。以上所述的三條曲線分別對(duì)應(yīng)著圖5中的實(shí)心曲線、‘+’曲線和‘*’曲線。第一個(gè)主成份反映了資產(chǎn)收益率(ROA)的一般變化，尤其反映了資產(chǎn)收益率的“兩頭”變化情況(1999年以前和2003年以后)。第二個(gè)主成份反映了資產(chǎn)收益率(ROA)的中段變化。
六、結(jié)論
在經(jīng)濟(jì)實(shí)踐中，越來越多的領(lǐng)域所得到的樣本觀察資料是曲線或圖像，即函數(shù)性數(shù)據(jù)。因此，對(duì)這種類型的經(jīng)濟(jì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析和描述，具有重要的現(xiàn)實(shí)意義。因篇幅所限，還有一些函數(shù)性數(shù)據(jù)的分析方法未予以介紹，如函數(shù)性方差分析、函數(shù)線性模型、函數(shù)性典型相關(guān)分析以及描述動(dòng)態(tài)性的微分方程等。由于本文的主要目的，是通過對(duì)函數(shù)性數(shù)據(jù)分析方法和具體應(yīng)用的介紹，傳述對(duì)數(shù)據(jù)進(jìn)行分析的新思想，而不只是方法技術(shù)本身。因此，缺少的方法并不影響對(duì)思想的闡述。
（一）統(tǒng)計(jì)規(guī)律分析
就是采用數(shù)理統(tǒng)計(jì)方法、模糊數(shù)學(xué)方法以及適用于小同環(huán)境要素的數(shù)學(xué)和物理方程等方法，對(duì)所得的監(jiān)測數(shù)據(jù)進(jìn)行深度剖析，做出詳細(xì)的分析評(píng)價(jià)。這種數(shù)據(jù)分析方法主要適用于環(huán)境調(diào)查、環(huán)境規(guī)劃和環(huán)評(píng)等工作。
（二）合理性分析
實(shí)際的環(huán)境監(jiān)測中，影響環(huán)境要素變化的因素錯(cuò)綜復(fù)雜，而有效的能用于綜合分析的監(jiān)測數(shù)據(jù)十分有限，所以我們需要考慮到各種環(huán)境要素之間的相互影響，以及監(jiān)測項(xiàng)目之間的關(guān)系，理論結(jié)合實(shí)際全面分析數(shù)據(jù)的合理性，這樣才可能得到準(zhǔn)確可靠的、合理的監(jiān)測數(shù)據(jù)分析結(jié)果。
二、提高環(huán)境監(jiān)測數(shù)據(jù)分析質(zhì)量的方法
為了促進(jìn)環(huán)境執(zhí)法工作的嚴(yán)肅和公正，在科學(xué)化環(huán)境管理政策中，提高環(huán)境數(shù)據(jù)分析質(zhì)量很有必要。在前人的研究工作基礎(chǔ)之上，我們提出了以下幾種方法來提高數(shù)據(jù)分析質(zhì)量。
（一）加強(qiáng)審核
加強(qiáng)各項(xiàng)審核是提高環(huán)境監(jiān)測數(shù)據(jù)分析質(zhì)量的重要方法，它主要是指加強(qiáng)對(duì)現(xiàn)有數(shù)據(jù)的綜合審核。在進(jìn)行例行監(jiān)測或是年度監(jiān)測計(jì)劃時(shí)，我們的工作一般都是連續(xù)性的展開的，一年或是好幾年，因此，我們可以建立一個(gè)動(dòng)態(tài)的分析數(shù)據(jù)庫，錄入每次的監(jiān)測數(shù)據(jù)，包括每個(gè)污染源的詳細(xì)信息（污染點(diǎn)的地理位置和排放口的排污狀況等），在以后的審核中，我們可以迅速地在數(shù)據(jù)審核中對(duì)于同一采樣點(diǎn)、同一分析項(xiàng)目進(jìn)行新舊數(shù)據(jù)的分析對(duì)比。當(dāng)數(shù)據(jù)分析結(jié)果出現(xiàn)異常時(shí)，可以及時(shí)的發(fā)現(xiàn)并找到原因，這可以對(duì)污染應(yīng)急事故的發(fā)生起到提前警示的作用。另外，在數(shù)據(jù)審核中，也要密切注意到同一水樣、不同的分析項(xiàng)目之間的相關(guān)性，比如：同一水體中氟化物和總硬度、色度和pH的關(guān)系、氨氮和總氮之間的相關(guān)性等，這樣也能及時(shí)發(fā)現(xiàn)數(shù)據(jù)分析中出現(xiàn)的誤差。
（二）加強(qiáng)監(jiān)督機(jī)制
通過調(diào)研我們發(fā)現(xiàn)，目前在傳統(tǒng)的監(jiān)測數(shù)據(jù)質(zhì)量控制系統(tǒng)中依舊存在許多不足，我們可以通過引入反饋和交流機(jī)制，加強(qiáng)監(jiān)督機(jī)制來有效提高數(shù)據(jù)分析的質(zhì)量。首先，通過強(qiáng)化平面控制，在系統(tǒng)內(nèi)部全面優(yōu)化管理的模式，提高工作人員的分析技術(shù)水平，盡可能的減少或消除數(shù)據(jù)誤差，以此來提高監(jiān)測分析的準(zhǔn)確性；其次，我們應(yīng)該主動(dòng)接受來自外界的監(jiān)督，對(duì)于外界有異議的監(jiān)測數(shù)據(jù)要進(jìn)行反復(fù)的檢測；再次，我們也應(yīng)該多舉辦技術(shù)交流會(huì)，讓技術(shù)人員可以與各級(jí)環(huán)境監(jiān)測部門的人員溝通，學(xué)習(xí)他們的先進(jìn)技術(shù)和方法，同時(shí)進(jìn)行數(shù)據(jù)分析結(jié)果對(duì)比，找到自身的不足，發(fā)現(xiàn)問題并能及時(shí)更正。
（三）加強(qiáng)采樣及實(shí)驗(yàn)室測量質(zhì)量的控制
1.采樣控制
工作人員在每次采樣前，都應(yīng)該根據(jù)實(shí)際環(huán)境情況來制定采樣技術(shù)細(xì)則，做好采樣控制，比如：需要校準(zhǔn)儀器并確保儀器可以正常運(yùn)轉(zhuǎn)；使用的采樣管和濾膜要正確安裝，采樣器干凈整潔沒有受到污染源的污染，其放置的位置也能滿足采樣要求等。采集好的樣品，要妥善存放避免污染。如果樣品不能及時(shí)進(jìn)行檢測，考慮到樣品的穩(wěn)定性，最好將樣品密封并存放在于冰箱中。
2.實(shí)驗(yàn)室測量控制
在實(shí)驗(yàn)室進(jìn)行樣品測試之前，首先應(yīng)該對(duì)所要用到的玻璃量器及分析測試儀器進(jìn)行校驗(yàn)。日常工作中，也應(yīng)該根據(jù)各種儀器保養(yǎng)規(guī)定，對(duì)儀器定期進(jìn)行維護(hù)和校驗(yàn)，確保儀器可以正常運(yùn)轉(zhuǎn)工作。其次，需要準(zhǔn)確調(diào)配各種溶液，特別是標(biāo)準(zhǔn)溶液，配置時(shí)要使用合格的實(shí)驗(yàn)用蒸餾水。測試數(shù)據(jù)時(shí)，先要測定標(biāo)準(zhǔn)樣品并繪制標(biāo)準(zhǔn)曲線。測定樣品時(shí)要檢查相關(guān)系數(shù)和計(jì)算回歸方程，并對(duì)實(shí)驗(yàn)系統(tǒng)誤差進(jìn)行測驗(yàn)，每一步都不能少。
中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）03-0104-02
1 綜述
1.1 簡介
在數(shù)字化時(shí)代，需要新一代系統(tǒng)架構(gòu)提升業(yè)務(wù)創(chuàng)新能力。在新一代系統(tǒng)架構(gòu)中，大數(shù)據(jù)是核心要素。業(yè)務(wù)應(yīng)用能否自主發(fā)現(xiàn)與自助獲得高質(zhì)量的大數(shù)據(jù)，就成為業(yè)務(wù)創(chuàng)新成敗的關(guān)鍵。這就要在搭建大數(shù)據(jù)平臺(tái)時(shí)，就著手大數(shù)據(jù)治理相關(guān)建設(shè)。
1.2 需求和意義
從某種意義上說大數(shù)據(jù)治理架構(gòu)需要以元數(shù)據(jù)為核心、提高大數(shù)據(jù)質(zhì)量、透明化大數(shù)據(jù)資產(chǎn)、自助化數(shù)據(jù)開發(fā)、自動(dòng)化數(shù)據(jù)、智能化數(shù)據(jù)安全，提升大數(shù)據(jù)平臺(tái)服務(wù)能力，讓大數(shù)據(jù)平臺(tái)變得易使用、易獲得、高質(zhì)量。
但是，目前很多技術(shù)解決方案存在諸多安全和效率隱患：業(yè)務(wù)系統(tǒng)多，監(jiān)管力度大；數(shù)據(jù)量龐大且呈碎片化分布，急需提升大數(shù)據(jù)質(zhì)量；數(shù)據(jù)格式不規(guī)范、難以在短時(shí)間內(nèi)找到所需數(shù)據(jù)；數(shù)據(jù)在各階段的應(yīng)用角度不同，需要降低系統(tǒng)間的集成復(fù)雜度。
2 功能設(shè)計(jì)
2.1 總體架構(gòu)
本文講述的數(shù)據(jù)分析方法及實(shí)現(xiàn)技術(shù)是建立在Hadoop/Spark技術(shù)生態(tài)圈的基礎(chǔ)之上，以實(shí)現(xiàn)用戶集成處理、、清理、分析的一個(gè)統(tǒng)一的數(shù)據(jù)處理平臺(tái)；按數(shù)據(jù)類別分為線數(shù)據(jù)、歸檔數(shù)據(jù)；按數(shù)據(jù)格式分為非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)；按數(shù)據(jù)模型分類為范式化模型數(shù)據(jù)、維度模型數(shù)據(jù)；按數(shù)據(jù)采集頻度分為非實(shí)時(shí)數(shù)據(jù)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)處理架構(gòu)；并提供數(shù)據(jù)中心平臺(tái)與安全管理方案，為企業(yè)級(jí)用戶建立一個(gè)通用數(shù)據(jù)處理和分析中心。如圖1所示。
2.2 在線數(shù)據(jù)
在線數(shù)據(jù)在線通過接口去獲得的數(shù)據(jù)，一般要求為秒級(jí)或速度更快。首先應(yīng)當(dāng)將數(shù)據(jù)進(jìn)行區(qū)分：在線數(shù)據(jù)、或歸檔數(shù)據(jù)。本平臺(tái)中采用：Storm或Spark Streaming框架進(jìn)行實(shí)現(xiàn)。Spark Streaming將數(shù)據(jù)切分成片段，變成小批量時(shí)間間隔處理，Spark抽象一個(gè)持續(xù)的數(shù)據(jù)流稱為DStream（離散流），一個(gè)DStream是RDD彈性分布式數(shù)據(jù)集的micro-batch微批次，RDD是分布式集合能夠并行地被任何函數(shù)操作，也可以通過一個(gè)滑動(dòng)窗口的數(shù)據(jù)進(jìn)行變換。
2.3 歸檔數(shù)據(jù)
歸檔數(shù)據(jù)是在線存儲(chǔ)周期超過數(shù)據(jù)生命周期規(guī)劃的數(shù)據(jù)，處理的要求一般在分鐘級(jí)或速度更慢。通常歸檔數(shù)據(jù)的計(jì)算量、數(shù)據(jù)量、數(shù)據(jù)復(fù)雜度均超過試試數(shù)據(jù)處理。本平臺(tái)中采用：Hadoop、Spark技術(shù)生態(tài)體系內(nèi)的框架進(jìn)行計(jì)算，這里不詳細(xì)闡述。
2.4 非結(jié)構(gòu)化數(shù)據(jù)
通常非結(jié)構(gòu)化的數(shù)據(jù)不一定具備字段，即使具備字段其長度也不固定，并且字段的又可是由可不可重復(fù)和重復(fù)的子字段組成，不僅可以包含結(jié)構(gòu)化數(shù)據(jù)，更適合處理非結(jié)構(gòu)化數(shù)據(jù)。常見的非結(jié)構(gòu)化數(shù)據(jù)包括XML、文本、圖象、聲音、影音、各類應(yīng)用軟件產(chǎn)生的文件。
針對(duì)包含文字、數(shù)據(jù)的為結(jié)構(gòu)化數(shù)據(jù)應(yīng)當(dāng)先利用數(shù)據(jù)清洗、數(shù)據(jù)治理工具進(jìn)行提取，這項(xiàng)工作目前仍依賴技術(shù)員進(jìn)行操作，由于格式的復(fù)雜性所以難以使用自動(dòng)化方式進(jìn)行較為高效的批處理。在治理數(shù)據(jù)的過程中，需要根據(jù)情況對(duì)數(shù)據(jù)本身額外建立描述數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)、以及檢索數(shù)據(jù)的索引服務(wù)，以便后續(xù)更佳深度利用數(shù)據(jù)。
2.5 結(jié)構(gòu)化數(shù)據(jù)
結(jié)構(gòu)化數(shù)據(jù)具備特定的數(shù)據(jù)結(jié)構(gòu)，通常可以轉(zhuǎn)換后最終用二維的結(jié)構(gòu)的數(shù)據(jù)，并且其字段的含義明確，是挖掘數(shù)據(jù)價(jià)值的主要對(duì)象。
本平臺(tái)中主要使用Hadoop Impala和Spark SQL來進(jìn)行結(jié)構(gòu)化數(shù)據(jù)的處理。Impale底層采用C++實(shí)現(xiàn)，而非Hadoop的基于Java的Map-Reduce機(jī)制，將性能提高了1-2個(gè)數(shù)量級(jí)。而Spark SQL提供很好的性能并且與Shark、Hive兼容。提供了對(duì)結(jié)構(gòu)化數(shù)據(jù)的簡便的narrow-waist操作，為高級(jí)的數(shù)據(jù)分析統(tǒng)一了SQL結(jié)構(gòu)化查詢語言與命令式語言的混合使用。
結(jié)構(gòu)化數(shù)據(jù)根據(jù)采集頻度可以繼續(xù)分類為：非實(shí)時(shí)數(shù)據(jù)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)。
2.6 準(zhǔn)實(shí)時(shí)數(shù)據(jù)
通常準(zhǔn)實(shí)時(shí)數(shù)據(jù)是指數(shù)據(jù)存儲(chǔ)在平臺(tái)本身，但更新頻率接近于接口調(diào)用數(shù)據(jù)源的數(shù)據(jù)。適合用于支持?jǐn)?shù)據(jù)和信息的查詢，但數(shù)據(jù)的再處理度不高，具有計(jì)算并發(fā)度高、數(shù)據(jù)規(guī)模大、結(jié)果可靠性較高的特點(diǎn)。通常使用分布式數(shù)據(jù)處理提高數(shù)據(jù)規(guī)模、使用內(nèi)存數(shù)據(jù)進(jìn)行計(jì)算過程緩沖和優(yōu)化。本平臺(tái)主要采用Spark SQL結(jié)合高速緩存Redis的技術(shù)來實(shí)現(xiàn)。Spark SQL作為大數(shù)據(jù)的基本查詢框架，Redis作為高速緩存去緩存數(shù)據(jù)熱區(qū)，減小高并發(fā)下的系統(tǒng)負(fù)載。
2.7 非實(shí)時(shí)數(shù)據(jù)
非實(shí)時(shí)數(shù)據(jù)主要應(yīng)用于支持分析型應(yīng)用，時(shí)效性較低。通常用于數(shù)據(jù)的深度利用和挖掘，例如：因素分析、信息分類、語義網(wǎng)絡(luò)、圖計(jì)算、數(shù)值擬合等。
非實(shí)時(shí)數(shù)據(jù)根據(jù)數(shù)據(jù)模型可繼續(xù)分類為：范式化模型數(shù)據(jù)、維度模型數(shù)據(jù)。
2.8 范式化模型
范式化模型主要是針對(duì)關(guān)系型數(shù)據(jù)庫設(shè)計(jì)范式，通常稻菔遣捎玫諶范式3NF或更高范式。面向近源數(shù)據(jù)查詢、數(shù)據(jù)主題的整合。范式化模型數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)區(qū)，建議使用并行MPP數(shù)據(jù)庫集群，既具備關(guān)系型數(shù)據(jù)庫的優(yōu)點(diǎn)，又兼顧了大數(shù)據(jù)下的處理。
2.9 基于維度模型
維度模型數(shù)據(jù)主要應(yīng)用于業(yè)務(wù)系統(tǒng)的數(shù)據(jù)挖掘和分析。過去多維度數(shù)據(jù)處理主要依賴OLAP、BI等中間件技術(shù)，而在大數(shù)據(jù)和開源框架的時(shí)代下，本技術(shù)平臺(tái)采用Hadoop Impala來進(jìn)行實(shí)現(xiàn)。Impala并沒有使用MapReduce這種不太適合做SQL查詢的范式，而是參考了MPP并行數(shù)據(jù)庫的思想另起爐灶，省掉不必要的shuffle、sort等開銷，使運(yùn)算得到優(yōu)化。
3 應(yīng)用效果
本系統(tǒng)在不同的業(yè)務(wù)領(lǐng)域上都可以應(yīng)用，以2016年在某銀行的應(yīng)用案例為例：該銀行已完成數(shù)據(jù)倉庫建設(shè)，但眾多數(shù)據(jù)質(zhì)量問題嚴(yán)重影響了數(shù)據(jù)應(yīng)用的效果，以不同的數(shù)據(jù)存儲(chǔ)方式，以更高的要求去進(jìn)行數(shù)據(jù)的統(tǒng)一管理。通過組織、制度、流程三個(gè)方面的實(shí)施，以元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量平臺(tái)為支撐，實(shí)現(xiàn)了數(shù)據(jù)管控在50多個(gè)分支，60個(gè)局，1000余處的全面推廣，實(shí)現(xiàn)了全行的覆蓋；管理了120個(gè)系統(tǒng)和數(shù)據(jù)倉庫，顯著提升了新系統(tǒng)的快速接入能力；通過14個(gè)數(shù)據(jù)規(guī)范和流程明確了數(shù)據(jù)管控的分工；數(shù)據(jù)考核機(jī)制的實(shí)施，使其在數(shù)據(jù)質(zhì)量評(píng)比中名列前茅。
4 結(jié)語
本文介紹了大數(shù)據(jù)下數(shù)據(jù)分析方法及實(shí)現(xiàn)技術(shù)的大體設(shè)計(jì)和思路，從需求分析、總體架構(gòu)和數(shù)據(jù)處理以及數(shù)據(jù)分析這幾個(gè)方面來介紹。文章在最后介紹出了這種平臺(tái)的應(yīng)用效果。筆者相信這些思路和技術(shù)能夠在業(yè)務(wù)中能得到很好的應(yīng)用。
abstract: with the rapid development of society, people's living standard is getting higher and higher, at the same time, with the coming of the decline in quality of the environment, now the city air quality problems frequently bright red light, people pay more and more attention to the quality of the environment. the rapid development of modern technology, the air environmental detection of artificial detection is less and less, more and more automatic detection, bring people a lot of convenience. this paper analysis the ambient air monitoring data, to detect abnormal data analysis, as well as to these abnormal data how to correctly handle.
keywords: environmental air monitoring; data analysis; data processing method; abnormal
中圖分類號(hào)：f205文獻(xiàn)標(biāo)識(shí)碼：a文章編號(hào)：2095-2104（2013）
環(huán)境空氣自動(dòng)檢測系統(tǒng)早已在空氣質(zhì)量檢測中運(yùn)用嫻熟，在我國的各個(gè)城市的空氣質(zhì)量檢測得到廣泛的運(yùn)用。環(huán)境空氣自動(dòng)監(jiān)測系統(tǒng)是基于干法儀器的生產(chǎn)技術(shù)，利用定電位電解傳感器原理，結(jié)合電子技術(shù)和網(wǎng)絡(luò)通訊技術(shù)，研制、開發(fā)出來的最新科技產(chǎn)品，是開展城市環(huán)境空氣自動(dòng)監(jiān)測的理想儀器。
目前，我國有上百個(gè)城市都運(yùn)用了此系統(tǒng)來進(jìn)行城市空氣質(zhì)量的檢測。但是，這個(gè)系統(tǒng)也并不是百利無一害的，因?yàn)闄z測中會(huì)面臨一些氣候異?，F(xiàn)象、還有設(shè)備的維修、斷電現(xiàn)象，諸如此類的現(xiàn)象會(huì)導(dǎo)致環(huán)境空氣自動(dòng)檢測系統(tǒng)出現(xiàn)一些異常數(shù)據(jù)，這就需要工作人員對(duì)這些異常數(shù)據(jù)進(jìn)行分析探討，促進(jìn)環(huán)境空氣質(zhì)量檢測數(shù)據(jù)的標(biāo)準(zhǔn)化。
1環(huán)境空氣自動(dòng)檢測系統(tǒng)的組成部分
環(huán)境空氣自動(dòng)檢測系統(tǒng)可對(duì)環(huán)境空氣質(zhì)量進(jìn)行24小時(shí)自動(dòng)連續(xù)檢測。該系統(tǒng)由檢測中心站、檢測子站和質(zhì)量保證實(shí)驗(yàn)室組成。其中空氣環(huán)境檢測子站包括采樣系統(tǒng)、氣體分析儀器、校準(zhǔn)裝置、氣象系統(tǒng)、子站數(shù)據(jù)采集等。子站檢測的數(shù)據(jù)通過電話線傳送至環(huán)境檢測中心站進(jìn)行實(shí)時(shí)控制、數(shù)據(jù)管理及圖表生成。
檢測的項(xiàng)目為：so2、no、no2、nox、co、o3、pm10、氣象的五個(gè)參數(shù)（即：風(fēng)向、風(fēng)速、溫度、相對(duì)濕度、大氣壓力）子站計(jì)算機(jī)可連續(xù)自動(dòng)采集大氣污染監(jiān)測儀、氣象儀、現(xiàn)場校準(zhǔn)的數(shù)據(jù)及狀態(tài)信息等，并進(jìn)行預(yù)處理和貯存，等待中心計(jì)算機(jī)輪詢或指令。采樣集氣管由采樣頭、總管、支路接頭、抽氣風(fēng)機(jī)、排氣口等組成。遠(yuǎn)程數(shù)據(jù)通訊設(shè)備由調(diào)制解調(diào)器和公用電話線路組成，有線調(diào)傳或直接使用無線pc卡（支持gprs）。
2異常數(shù)據(jù)
環(huán)境空氣自動(dòng)檢測系統(tǒng)在24小時(shí)無人值班的情況下檢測中，經(jīng)常會(huì)出現(xiàn)一些異常數(shù)據(jù)。據(jù)統(tǒng)計(jì)，我國每年實(shí)時(shí)檢測的上萬個(gè)檢測數(shù)據(jù)中有0.95%——3.18%的異常數(shù)據(jù)，這些數(shù)據(jù)主要表現(xiàn)在一下幾個(gè)方面：
2.1可預(yù)知的異常數(shù)據(jù)
有的異常數(shù)據(jù)是因?yàn)閮x器自身出現(xiàn)的故障、斷電等問題產(chǎn)生的，這種可預(yù)知的數(shù)據(jù)一般而言是不需要進(jìn)行分析的，這種可預(yù)知的異常數(shù)據(jù)被視作為無效數(shù)據(jù)，不參與均值計(jì)算。
2.2數(shù)據(jù)出現(xiàn)負(fù)值
出現(xiàn)負(fù)值的數(shù)據(jù)會(huì)有兩種情況，第一種是：檢測的環(huán)境中氣體濃度極低，接近于儀器的零點(diǎn)值，這個(gè)時(shí)候會(huì)因?yàn)閮x器的零點(diǎn)漂移而產(chǎn)生負(fù)值的數(shù)據(jù)。第二種是因?yàn)閮x器本身的故障導(dǎo)致的負(fù)值，這種就作為無效數(shù)據(jù)，不予分析。
2.3數(shù)據(jù)在零值附近徘徊
單個(gè)檢測子站的某項(xiàng)污染物的濃度出現(xiàn)極高值時(shí)，就會(huì)導(dǎo)致數(shù)據(jù)在零值附近徘徊5個(gè)小時(shí)以上。這個(gè)時(shí)候，要根據(jù)周圍的環(huán)境、氣象、風(fēng)向等來分析判斷。
2.4突然產(chǎn)生的異常數(shù)據(jù)
有的時(shí)候，當(dāng)外界環(huán)境發(fā)生急劇的變化時(shí)就會(huì)導(dǎo)致檢測的數(shù)據(jù)突然的發(fā)生異常情況，一般情況下只有當(dāng)發(fā)生突然的空氣污染問題時(shí)才會(huì)出現(xiàn)這種情況，也就是空氣中某一
或者幾種大氣污染物的濃度突然的急劇增加。這種情況需要工作人員根據(jù)當(dāng)?shù)氐沫h(huán)境和以往的經(jīng)驗(yàn)進(jìn)行判斷分析數(shù)據(jù)，對(duì)出現(xiàn)的異常數(shù)據(jù)進(jìn)行正確的取舍，將無效的數(shù)據(jù)不參與均值計(jì)算。
3處理方法
子站臨時(shí)停電或斷電，則從停電或斷電時(shí)起，至恢復(fù)供電后儀器完成預(yù)熱為止時(shí)段內(nèi)的任何數(shù)據(jù)都為無效數(shù)據(jù)，不參加統(tǒng)計(jì)。恢復(fù)供電后儀器完成預(yù)熱一般需要0.5～1 小時(shí)。
對(duì)于低濃度未檢出結(jié)果和在監(jiān)測分析儀器零點(diǎn)漂移技術(shù)指標(biāo)范圍內(nèi)的負(fù)值，應(yīng)該取監(jiān)測儀器最低檢出限的1/2 數(shù)值，作為檢測結(jié)果參加均值計(jì)算。
有子站自動(dòng)校準(zhǔn)裝置的系統(tǒng)，儀器在校準(zhǔn)零/跨度期間，發(fā)現(xiàn)儀器零點(diǎn)漂移或跨度漂移超出漂移控制限，應(yīng)從發(fā)現(xiàn)超出控制限的時(shí)刻算起，到儀器恢復(fù)到調(diào)節(jié)控制限以下這段時(shí)間內(nèi)的檢測數(shù)據(jù)作為無效數(shù)據(jù)，不參加均值計(jì)算，但要對(duì)該數(shù)據(jù)進(jìn)行標(biāo)注，作為以后的參考數(shù)據(jù)保留。
對(duì)于手工校準(zhǔn)的系統(tǒng)，儀器在校準(zhǔn)零/跨度期間，發(fā)現(xiàn)儀器零點(diǎn)漂移或跨度漂移超出漂移控制限，應(yīng)從發(fā)現(xiàn)超出控制限時(shí)刻的前一天算起，到儀器恢復(fù)到調(diào)節(jié)控制限以下這段時(shí)間內(nèi)的監(jiān)測數(shù)據(jù)作為無效數(shù)據(jù)，不參加統(tǒng)計(jì)，但對(duì)該數(shù)據(jù)進(jìn)行標(biāo)注，作為參考數(shù)據(jù)保留。
在儀器校準(zhǔn)零/跨度期間出現(xiàn)的異常數(shù)據(jù)作為無效數(shù)據(jù)，不參加統(tǒng)計(jì)，但應(yīng)對(duì)該數(shù)據(jù)進(jìn)行標(biāo)注，作為以后儀器檢查的依據(jù)予以保留。
結(jié)束語
隨著社會(huì)的發(fā)展，環(huán)境保護(hù)工作受到的關(guān)注越來越多，城市規(guī)模的不斷擴(kuò)大給城市環(huán)境帶來了各種各樣的問題，人們對(duì)環(huán)境質(zhì)量的要求也越來越高。對(duì)環(huán)境的保護(hù)很重要的根據(jù)就是環(huán)境空氣檢測的數(shù)據(jù)，這些數(shù)據(jù)是做好環(huán)境保護(hù)工作的依據(jù)。而在環(huán)境空氣檢測系統(tǒng)中經(jīng)常會(huì)出現(xiàn)一些異常數(shù)據(jù)。對(duì)這些異常數(shù)據(jù)，先判斷是否是因?yàn)閮x器自身的故障而產(chǎn)生的數(shù)據(jù)，排除這些無效的數(shù)據(jù)之外的異常數(shù)據(jù)，要根據(jù)具體情況進(jìn)行分析，尋找出出現(xiàn)異常數(shù)據(jù)的原因，然后找出解決問題的具體方法，保證環(huán)境檢測系統(tǒng)能夠健康安全的運(yùn)轉(zhuǎn)下去，為環(huán)境保護(hù)工作貢獻(xiàn)自己的一份力量。
參考文獻(xiàn)：
[1]楊亞洋.環(huán)境空氣監(jiān)測數(shù)據(jù)分析及處理[j].中國新科技新產(chǎn)品，2011（23）
[2]婁明軍.環(huán)境空氣監(jiān)測全程質(zhì)量控制分析[j].科技致富向?qū)В?012（33）
中圖分類號(hào)： X169 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)：
1引言
隨著國家科技水平的提高，居民的生活質(zhì)量也在逐漸提高，人們對(duì)周圍環(huán)境的要求也隨之提高。環(huán)境的重要組成部分——空氣，作為人類一切活動(dòng)的必需元素，自然也被放在了重要的位置，它關(guān)系到人體的舒適度以及健康狀況。為了改善國家的空氣質(zhì)量，環(huán)保部門已在國家的大多數(shù)地區(qū)布設(shè)了環(huán)境監(jiān)測站，并分別為這些監(jiān)測站配備了一定的監(jiān)測系統(tǒng)及技術(shù)人員。目前，常用的環(huán)境空氣監(jiān)測系統(tǒng)為空氣自動(dòng)監(jiān)測系統(tǒng)，該系統(tǒng)在大多數(shù)監(jiān)測站覺得以應(yīng)用，因?yàn)樵撓到y(tǒng)不僅能夠在監(jiān)測站內(nèi)自動(dòng)完成空氣質(zhì)量數(shù)據(jù)的監(jiān)測，還能夠根據(jù)已測數(shù)據(jù)來預(yù)測本地區(qū)的未來空氣質(zhì)量變化趨勢(shì)，此外還能夠在發(fā)生特殊事件時(shí)迅速提供應(yīng)急措施。但是該系統(tǒng)也有一定的缺點(diǎn)，即在某些特殊狀況下，比如停電、損壞、空氣質(zhì)量突變，產(chǎn)生不正常數(shù)據(jù)。下面分別從異常數(shù)據(jù)和正常數(shù)據(jù)兩個(gè)方面著重介紹了如何對(duì)監(jiān)測數(shù)據(jù)進(jìn)行分析及處理。
2異常數(shù)據(jù)的分析及處理方法
絕大多數(shù)類型的監(jiān)測項(xiàng)目均會(huì)產(chǎn)生一定量的異常數(shù)據(jù)。空氣自動(dòng)監(jiān)測系統(tǒng)也不例外，該系統(tǒng)常因氣候的突變，以及系統(tǒng)本身的性能不穩(wěn)定，系統(tǒng)組成部件出現(xiàn)故障等一系列因素而產(chǎn)生許多異常數(shù)據(jù)。大量資料顯示，該系統(tǒng)產(chǎn)生的異常數(shù)據(jù)通常占有總數(shù)據(jù)百分之一到百分之三的比例，這個(gè)比值偏大，因此如何恰當(dāng)?shù)胤治黾疤幚磉@些異常數(shù)據(jù)同分析和處理正常數(shù)據(jù)一樣，具有十分重要的意義。
2.1分析造成異常數(shù)據(jù)的原因
造成系統(tǒng)產(chǎn)生異常數(shù)據(jù)的原因較多，大致分為分析儀故障、氣路故障和其他故障三大類。
2.1.1分析儀故障
分析儀故障主要分為以下兩類：
(一)二氧化硫及二氧化氮分析儀故障
這兩種分析儀的采樣管和限流孔直徑都較小，而空氣中的灰塵含量較高，而且有的灰塵顆粒粒徑較大，所以容易造成管道出現(xiàn)堵塞。一旦堵塞，將會(huì)對(duì)二氧化硫和二氧化氮和的監(jiān)測值帶來很大影響。這兩臺(tái)分析儀內(nèi)部還分別設(shè)有一臺(tái)小型泵，泵上均附有泵膜，泵膜如果被空氣中的灰塵污染，也將對(duì)二氧化硫的監(jiān)測造成影響。此外，該兩種分析儀內(nèi)部還有許多諸如紫外燈等小物件，這些小物件的損壞也會(huì)對(duì)二氧化硫的監(jiān)測值造成很大的偏差。
（二）PM10監(jiān)測儀故障
該監(jiān)測儀對(duì)采樣量要求較高，所以如果在采樣時(shí)出現(xiàn)氣體泄露將會(huì)造成PM10值偏低；流量計(jì)如果不準(zhǔn)確也會(huì)造成PM10值出現(xiàn)偏差。在該分析儀內(nèi)設(shè)有濾膜帶，濾膜帶的破裂將會(huì)造成PM10值偏大或者固定不變。此外，下雨天要格外注意加熱管的工作狀態(tài)。加熱管的主要作用是將水分進(jìn)行分離。下雨天空氣中水分含量較高，如果加熱管不能將水分完全分離，就會(huì)造成水分吸在濾膜上。這些水分會(huì)因監(jiān)測儀溫度的升高而隨之揮發(fā)，水分的揮發(fā)將最終導(dǎo)致PM10值長期處于低水平不變動(dòng)，甚至變成負(fù)數(shù)。
2.1.2氣路故障
空氣自動(dòng)監(jiān)測系統(tǒng)的采樣頭因接觸空氣而容易沾染污物，所以為了獲得準(zhǔn)確的監(jiān)測數(shù)據(jù)，要經(jīng)常清洗采樣頭，保持清潔。采樣管系的順暢與否也直接影響著監(jiān)測數(shù)據(jù)的準(zhǔn)確性。
2.1.3其他故障
該系統(tǒng)內(nèi)部具有許多線路，任何一條線路出現(xiàn)松動(dòng)或者破壞都將對(duì)監(jiān)測值帶來影響，甚至造成系統(tǒng)無法正常運(yùn)轉(zhuǎn)。此外，該系統(tǒng)在電路不穩(wěn)定或者斷電的狀態(tài)下無法正常工作，所以供電系統(tǒng)由斷電轉(zhuǎn)為有電的較短時(shí)間段后，該監(jiān)測系統(tǒng)會(huì)因儀器的預(yù)熱而產(chǎn)生一些異常數(shù)據(jù)。
2.2異常數(shù)據(jù)的處理方法
對(duì)于異常數(shù)據(jù)，數(shù)據(jù)處理人員應(yīng)該能夠準(zhǔn)確地從監(jiān)測數(shù)據(jù)中進(jìn)行去除。在去除異常數(shù)據(jù)后，如果正常數(shù)據(jù)能夠滿足規(guī)定的小時(shí)數(shù)，則可以直接去掉這些異常數(shù)據(jù)繼續(xù)接下來的工作，并且還要同其他監(jiān)測站的數(shù)據(jù)進(jìn)行對(duì)比。而如果在去除異常數(shù)據(jù)后的正常數(shù)據(jù)不能夠滿足規(guī)定的小時(shí)數(shù)，則需要考慮再采用其他方法進(jìn)行監(jiān)測。
3正常數(shù)據(jù)的分析及處理方法
探究一個(gè)地區(qū)的空氣質(zhì)量的好壞，首先是選用高端精確的系統(tǒng)，如空氣自動(dòng)監(jiān)測系統(tǒng)，對(duì)空氣進(jìn)行監(jiān)測，然后就是對(duì)這些監(jiān)測數(shù)據(jù)進(jìn)行系統(tǒng)地分析及處理，二者缺一不可，同等重要。（一）篩選數(shù)據(jù)。將監(jiān)測到的大量數(shù)據(jù)進(jìn)行篩選，去掉突變值，也就是異常數(shù)據(jù)，剩下的就是正常數(shù)據(jù)。（二）列表。根據(jù)監(jiān)測站的不同或者各個(gè)監(jiān)測站的主要污染物的類別按照一定的時(shí)間順序填入表格，將這些數(shù)據(jù)進(jìn)行系統(tǒng)化。（三）畫圖。根據(jù)上一步的表格數(shù)據(jù)，選擇適當(dāng)?shù)膱D線類型，如折線圖、曲線圖、柱形圖或者餅狀圖，將數(shù)據(jù)反映在圖中，空氣質(zhì)量的變化趨勢(shì)及幾個(gè)監(jiān)測站之間的區(qū)別看起來會(huì)直接，更清楚。（四）討論。在對(duì)正常的監(jiān)測數(shù)據(jù)進(jìn)行處理之后，接下來就是對(duì)這個(gè)處理結(jié)果進(jìn)行討論：同種監(jiān)測站的同種污染物不同時(shí)間含量的不同，不同監(jiān)測站的同種污染物含量之間的不同，同一個(gè)監(jiān)測站不同污染物種類的含量差別等。此外還應(yīng)重點(diǎn)討論各個(gè)監(jiān)測站的主要污染物的來源，在討論污染物的主要來源時(shí)要注意結(jié)合監(jiān)測站的地形狀況、當(dāng)時(shí)的氣候狀況、以及監(jiān)測的地理位置，即是否靠近工業(yè)區(qū)、居民生活區(qū)或者道路等，因?yàn)楣I(yè)區(qū)會(huì)直接排放多種類型的氣態(tài)污染物，如硫化物，氮氧化物，PM10，有機(jī)化合物，碳氧化物，鉛等進(jìn)入空氣，居民區(qū)在冬季時(shí)則會(huì)因取暖而排放大量的硫化物，靠近道路的監(jiān)測站則會(huì)因道路上的車輛尾氣而導(dǎo)致監(jiān)測數(shù)據(jù)中氮氧化物含量較高。
4總結(jié)
為了準(zhǔn)確地了解當(dāng)?shù)氐目諝赓|(zhì)量狀況，空氣監(jiān)測站的工作人員需要掌握正確的數(shù)據(jù)分析及處理方法，對(duì)于正常數(shù)據(jù)及異常數(shù)據(jù)分別采用不同的方法進(jìn)行分析和處理。此外，在工作過程中，應(yīng)根據(jù)實(shí)際狀況的不同而進(jìn)行適當(dāng)?shù)淖兺ǎ贫ㄇ‘?dāng)?shù)慕鉀Q方案，切不可死搬硬套，而且工作人員應(yīng)明確自身責(zé)任，掌握熟練的技術(shù)，確保環(huán)境空氣監(jiān)測結(jié)果科學(xué)而正規(guī)。
中圖分類號(hào)：F01 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-0278（2013）02-024-01
在計(jì)量經(jīng)濟(jì)學(xué)中，我們一般應(yīng)用的最多的數(shù)據(jù)分析是截面數(shù)據(jù)回歸分析和時(shí)間序列分析，但截面數(shù)據(jù)分析和時(shí)間序列分析都有著一定的局限性。在實(shí)際經(jīng)濟(jì)研究當(dāng)中，截面數(shù)據(jù)回歸分析會(huì)遺漏掉數(shù)據(jù)的時(shí)間序列特征，例如在分析某年中國各省的GDP增長數(shù)據(jù)時(shí)，單純的截面數(shù)據(jù)回歸分析無法找出各省GDP隨時(shí)間變化的特征，使得分析結(jié)果沒有深度。而如果只用時(shí)間序列分析，則會(huì)遺漏掉不同截面間的聯(lián)系與區(qū)別，例如在分析中國單個(gè)省市的GDP隨時(shí)間增長的數(shù)據(jù)時(shí)，無法找出各個(gè)省市之間經(jīng)濟(jì)增長的聯(lián)系與區(qū)別，因而同樣無法滿足我們的需要。而面板數(shù)據(jù)，是一種既包括了時(shí)間序列數(shù)據(jù)，也包括了相關(guān)截面數(shù)據(jù)的復(fù)合數(shù)據(jù)，是近年來用得較多的一種數(shù)據(jù)類型。
下面我們將基于2000-2009年中國各省GDP和財(cái)政收入的面板數(shù)據(jù)的實(shí)例來詳細(xì)闡述面板數(shù)據(jù)的分析方法。
一、GDP與財(cái)政收入關(guān)系的經(jīng)濟(jì)學(xué)模型
財(cái)政收入是保證國家有效運(yùn)轉(zhuǎn)的經(jīng)濟(jì)基礎(chǔ)，在一國經(jīng)濟(jì)建設(shè)中發(fā)揮著重要作用。隨著中國經(jīng)濟(jì)發(fā)展速度的日益加快，財(cái)政收入不斷擴(kuò)大，而擴(kuò)大的財(cái)政收入又以政府支出來調(diào)節(jié)和推動(dòng)國民經(jīng)濟(jì)發(fā)展。正確認(rèn)識(shí)財(cái)政收入與經(jīng)濟(jì)增長之間的長期關(guān)系，把握財(cái)政收入與經(jīng)濟(jì)增長之間的相互影響，發(fā)揮財(cái)政收入對(duì)經(jīng)濟(jì)發(fā)展的調(diào)節(jié)和促進(jìn)功能，對(duì)于完善財(cái)稅政策，深化財(cái)稅體制改革，實(shí)現(xiàn)財(cái)政與經(jīng)濟(jì)之間的良性互動(dòng)，具有重要的現(xiàn)實(shí)意義。文章就將從中國各省的面板數(shù)據(jù)出發(fā)研究，中國不同地域間財(cái)政收入和GDP之間的關(guān)系。
二、實(shí)證分析
（一）單位根檢驗(yàn)
Eviews有兩種單位根檢驗(yàn)方法，一種在相同根的假設(shè)下的檢驗(yàn)，包括LLC、Breintung、Hadri。另一種則是在不同根下的假設(shè)前提下，包括IPS，ADF-Fisher和PP-Fisher5。檢驗(yàn)結(jié)果表明所有檢驗(yàn)都拒絕原假設(shè)，因此序列GDP和CZSR均為一個(gè)2階單整序列。
（二）協(xié)整檢驗(yàn)
如果基于單位根檢驗(yàn)的結(jié)果發(fā)現(xiàn)變量之間是同階單整的，那么我們可以進(jìn)行協(xié)整檢驗(yàn)。協(xié)整檢驗(yàn)是考察變量間長期均衡關(guān)系的方法。所謂的協(xié)整是指若兩個(gè)或多個(gè)非平穩(wěn)的變量序列，其某個(gè)線性組合后的序列呈平穩(wěn)性。此時(shí)我們稱這些變量序列間有協(xié)整關(guān)系存在。
在最終的結(jié)果中，Pedroni方法中除了rho-Statistic、PP-Statistic項(xiàng)目外都拒絕GDP和CZSR不存在協(xié)整關(guān)系的原假設(shè)，同樣Kao和Johansen檢驗(yàn)方法也都拒絕原假設(shè)，因此，上述檢驗(yàn)結(jié)果表明，我國各省2000-20009年的GDP和財(cái)政收入面板數(shù)據(jù)間存在著協(xié)整關(guān)系。既然通過了協(xié)整檢驗(yàn)，說明變量之間存在著長期穩(wěn)定的均衡關(guān)系，其方程回歸殘差是平穩(wěn)的，因此可以在此基礎(chǔ)上直接對(duì)進(jìn)行回歸分析，此時(shí)假設(shè)方程的回歸結(jié)果是較精確的。
三、建立模型
混合模型：如果從時(shí)間上看，不同個(gè)體之間不存在顯著性差異；從截面上看，不同截面之間也不存在顯著性差異，那么就可以直接把面板數(shù)據(jù)混合在一起用普通最小二乘法（OLS）估計(jì)參數(shù)。
我們根據(jù)混合模型的回歸結(jié)果，得到財(cái)政收入和GDP之間的回歸方程為：
CZSR=227.3123+0.103224*GDP
（26.47637）（0.002839）
R2=0.810995 F=1321.587
顯然從模型的回歸結(jié)構(gòu)來看，R2的值達(dá)到了0.81，有了比較好的回歸解釋力，同時(shí)，GDP的回歸系數(shù)為0.103224，表明各省的財(cái)政收入平均占到了國民收入的10.3%左右。
變系數(shù)模型：顯然，在中國各省之間由于處在不同的地區(qū)，因而擁有不同的區(qū)位優(yōu)勢(shì)，那么各省的發(fā)展水平顯然就不一樣。正是由于這種不同的地方政策、管理水平、文化差異等會(huì)導(dǎo)致經(jīng)濟(jì)變量間出現(xiàn)一些關(guān)聯(lián)性的變化，此時(shí)在進(jìn)行模型回歸的時(shí)候，我們就有必要考慮變系數(shù)模型。
在回歸結(jié)果中，R2的值達(dá)到了0.97，比混合模型擁有更好的回歸解釋力，而在變系數(shù)模型回歸結(jié)果中，GDP的回歸系數(shù)大于0.5的只有、青海、寧夏三個(gè)省份，也就是說這三個(gè)省份的財(cái)政收入占到了GDP的50%以上，他們同處于經(jīng)濟(jì)并不是很發(fā)達(dá)的西部地區(qū)，由此可以看出，處在經(jīng)濟(jì)發(fā)達(dá)地區(qū)的財(cái)政收入占GDP的比重要低，而不發(fā)達(dá)地區(qū)則要高。
四、結(jié)論
通過以上的分析檢驗(yàn)，我們發(fā)現(xiàn)針對(duì)于中國財(cái)政收入和GDP的面板數(shù)據(jù)，我們應(yīng)建立起變系數(shù)模型，并通過模型分析，我們可以得出這樣的結(jié)論，中國各省間由于存在著地域經(jīng)濟(jì)發(fā)展水平不同、管理水平不同以及國家的相關(guān)政策等諸多不同，造成了各省之間在財(cái)政收入以及國民收入上面存在著一定的差異。而回歸結(jié)果也告訴我們，我國西部地區(qū)的財(cái)政收入占GDP的比例要明顯高于東部地區(qū)，地區(qū)發(fā)展落后地區(qū)的財(cái)政收入占GDP的比例也要明顯高于東部地區(qū)。因此，這為我們改善我國落后地區(qū)的經(jīng)濟(jì)發(fā)展提供了一定的新思路，就是對(duì)一地區(qū)的稅收征收可以適當(dāng)放緩，而將GDP中以前政府占用的部分歸還于民眾和企業(yè)，因?yàn)?，按照發(fā)達(dá)地區(qū)的經(jīng)驗(yàn)表明，財(cái)政收入所占比重過高，經(jīng)濟(jì)發(fā)展的活力或者就不會(huì)很高，對(duì)于進(jìn)一步刺激財(cái)政收入的增加也沒有任何幫助。因此，我們應(yīng)該適度降低財(cái)政收入占GDP的比重，從而增加經(jīng)濟(jì)活力，使西部地區(qū)以及落后地區(qū)及早的跟上東部發(fā)達(dá)地區(qū)的發(fā)展步伐，從而消除我國經(jīng)濟(jì)發(fā)展的地域不平衡。
參考文獻(xiàn)：
[1]謝識(shí)予，朱洪鑫.高級(jí)計(jì)量經(jīng)濟(jì)學(xué)[M].復(fù)旦大學(xué)出版社，2005.
土工試驗(yàn)結(jié)果的可靠程度會(huì)直接影響巖土工程設(shè)計(jì)的精度與施工方案的選取，可靠的實(shí)驗(yàn)結(jié)果，可使巖土工程設(shè)計(jì)和施工方案經(jīng)濟(jì)合理；歪曲事實(shí)的實(shí)驗(yàn)結(jié)果，可能導(dǎo)致不良的后果，要么使設(shè)計(jì)過于保守，要么遺留安全隱患．
影響土工試驗(yàn)數(shù)據(jù)可靠性的因素包括土樣本身的因素和實(shí)驗(yàn)因素兩個(gè)方面．
土樣因素取決于土體本身的復(fù)雜性，即使同一區(qū)域的同種性質(zhì)的土體，可能由于其含水量的不同或者粘粒含量的個(gè)體差異，導(dǎo)致其物理力學(xué)性質(zhì)不同；另外，同一種土的原狀土和重塑土的物理力學(xué)性質(zhì)指標(biāo)也存在差異性；原狀土在采樣、運(yùn)輸和儲(chǔ)存、制備樣品的過程中，受到的擾動(dòng)程度同樣會(huì)對(duì)土體的物理力學(xué)性質(zhì)產(chǎn)生影響，所有這些因素都會(huì)影響土工試驗(yàn)數(shù)據(jù)的可靠程度．由此引起的實(shí)驗(yàn)數(shù)據(jù)的誤差，是由于土體本身的變異性引起的誤差．
實(shí)驗(yàn)因素引起的誤差包括以下幾種：
1)系統(tǒng)誤差：由于測量工具(或測量儀器)本身固有誤差、測量原理或測量方法的缺陷、實(shí)驗(yàn)操作及實(shí)驗(yàn)人員本身心理生理?xiàng)l件的制約而帶來的測量誤差．
2)隨機(jī)誤差：偶然的、無法預(yù)測的不易控制的不確定因素干擾而產(chǎn)生測量誤差，這種誤差稱為隨機(jī)誤差．
3)過失誤差：明顯歪曲實(shí)際事實(shí)的誤差．
根據(jù)抽樣理論，要使一組樣本得到的試驗(yàn)結(jié)果有意義，必須滿足兩個(gè)主要條件：①從土樣中取出的試驗(yàn)樣本必須具有代表性且符合調(diào)查目的的需要．②試驗(yàn)樣本數(shù)量必須充分．依照以上兩個(gè)條件，土工試驗(yàn)數(shù)據(jù)的整理應(yīng)包括三個(gè)方面的內(nèi)容：一是總體實(shí)驗(yàn)數(shù)據(jù)的檢查以及異常數(shù)據(jù)的分析和舍棄處理；二是最小樣本數(shù)問題；三是與土體性質(zhì)指標(biāo)的自相關(guān)性有關(guān)的問題．
一 總體實(shí)驗(yàn)數(shù)據(jù)的檢查，以及異常數(shù)據(jù)的分析和舍棄處理
土工試驗(yàn)數(shù)據(jù)一般是對(duì)于某一土體的物理性質(zhì)或力學(xué)性質(zhì)的測定結(jié)果，如果土體本身的變異性不甚明顯，那么試驗(yàn)結(jié)果應(yīng)該在真值附近一定范圍內(nèi)上下波動(dòng)．在實(shí)驗(yàn)數(shù)據(jù)整理過程中，首先應(yīng)根據(jù)經(jīng)驗(yàn)和統(tǒng)計(jì)原則消除系統(tǒng)誤差或過失誤差，以免影響計(jì)算結(jié)果的準(zhǔn)確度．一般可以依據(jù)下面的原則對(duì)試驗(yàn)數(shù)據(jù)進(jìn)行檢查、修正和剔除異常點(diǎn)．
1．1 根據(jù)土的物理力學(xué)特性可判出的明顯不合理點(diǎn)
在一組實(shí)驗(yàn)數(shù)據(jù)中，如果存在明顯不符合土的物理力學(xué)性質(zhì)的值的范圍的點(diǎn)，通過觀察，可以找出這一類異常點(diǎn)，并予以舍棄．如果一組實(shí)驗(yàn)數(shù)據(jù)大部分在某個(gè)值域范圍內(nèi)波動(dòng)，但有一點(diǎn)或幾點(diǎn)與該值域相差懸殊，我們可以認(rèn)為這些點(diǎn)是異常點(diǎn)，這類點(diǎn)可以剔除．
1．2 根據(jù)某一置信水平找出確定范圍以外的異常點(diǎn)
1．2．1 實(shí)驗(yàn)數(shù)據(jù)較多情況下的數(shù)據(jù)取舍原則――3法則
根據(jù)概率論原理的3法則，在試驗(yàn)數(shù)據(jù)中，出現(xiàn)在[m - 3 ，m+3]之外的數(shù)據(jù)點(diǎn)的概率只有0．27 %，
我們可以把大于m+3 和小于m -3 的試驗(yàn)數(shù)據(jù)作為異常點(diǎn)處理．應(yīng)注意用3 法則進(jìn)行試驗(yàn)數(shù)據(jù)取舍時(shí)，前提條件是試驗(yàn)數(shù)據(jù)較多且總體呈正態(tài)分布．一般認(rèn)為當(dāng)樣本容量大于等于3 時(shí)，抽樣分布與正態(tài)分布近似，此時(shí)用3 法則進(jìn)行取舍應(yīng)該是可行的．在實(shí)際的大型巖土工程中，試驗(yàn)數(shù)據(jù)有可能達(dá)到30個(gè)．
實(shí)際應(yīng)用時(shí)，不能機(jī)械地把位于[m -3 ，m+3]之外的點(diǎn)全部予以剔除，還應(yīng)分析導(dǎo)致其異常的原因．如果一個(gè)土樣的多個(gè)參數(shù)值均位于[m -3 ，m+3]之外，則這些異常數(shù)據(jù)是由土樣因素引起的，應(yīng)重新取土補(bǔ)做實(shí)驗(yàn)或進(jìn)行相應(yīng)的調(diào)整．如果某個(gè)土樣的某一個(gè)參數(shù)位于[m -3 ，m+3]之外，說明此誤差是由試驗(yàn)誤差引起的，應(yīng)予以剔除．如某工程的同一土層的內(nèi)聚力c／kPa的試驗(yàn)數(shù)據(jù)為：2．58，3．26，4．12，6．12，5．28，4．19，7．61，4．38，
5．64，3．68，2．94，4．56，4．26，5．34，3．99，5．49，4．31，6．34，2．59，3．67，8．99，3．54，4．53，5．36，4．68，6．18，
5．48，4．39，4．61，1．99，3．58．其數(shù)值分布如圖1所示．
從其分布可以看出，這些數(shù)據(jù)符合正態(tài)分布，計(jì)算得到：平均值為4．63，標(biāo)準(zhǔn)差1．44，置信水平99．73%的分布范圍是[0．31，8．95]，數(shù)值8．99可以剔除．
1．2．2 一次實(shí)驗(yàn)中實(shí)驗(yàn)數(shù)據(jù)較少，又無其他資料可以引用情況下的數(shù)據(jù)取舍原則在小型的巖土工程實(shí)際中，當(dāng)試驗(yàn)數(shù)據(jù)數(shù)目n
此范圍外的點(diǎn)可視作異常點(diǎn)．有一組土的內(nèi)摩擦角實(shí)驗(yàn)數(shù)據(jù)為：9．4，9．0，8．0，6．0，4．8，6．2，8．7，9．5，4．3．用置信水平99．73 %進(jìn)行數(shù)據(jù)取舍。
因?yàn)閚=9
二 土工試驗(yàn)數(shù)據(jù)中最小試驗(yàn)樣本數(shù)問題
在試驗(yàn)數(shù)據(jù)整理過程中，還有一個(gè)問題需要考慮，即最小試驗(yàn)樣本數(shù)問題．試驗(yàn)樣本數(shù)過少，會(huì)極大影響試驗(yàn)結(jié)果．試驗(yàn)樣本數(shù)多少取決于種種因素，包括工程規(guī)模、現(xiàn)場勘探條件以及工程要求精度．以下僅從統(tǒng)計(jì)特征方面討論這個(gè)問題：
某一工程中，從一硬粘土層中取得4個(gè)原狀土樣，對(duì)各土樣作不排水三軸試驗(yàn)得出下列Cu值：101，97，95，109(KPa )．為使土樣不排水剪切強(qiáng)度以95 的概率落在實(shí)驗(yàn)結(jié)果平均值100.5的范圍內(nèi)，求必須的土
樣最小數(shù)目．
由于只有4個(gè)土樣，n＜30，用t分布計(jì)算．V=3，查表得相應(yīng)于F(t)=0．95時(shí)的t=2．35；且Cu 的實(shí)驗(yàn)平均值為100．5(KPa )， =6．19，因而，相應(yīng)的數(shù)值范圍為100．5±2．35×6．19÷ =93．23～107．77(kPa)，離開平均值范圍為2．35×6．19÷÷100．5―7％，不在5％范圍內(nèi)，還需增加樣本．以6個(gè)樣本試算，u=5，F(xiàn)(t)=0．95，查表得t=2．02，于是離開平均值的范圍為：
偏離值為5．10／100．5=5．1% >5% ，不滿足要求．以7個(gè)樣本試算， v=6，F(xiàn)(t)=0．95，查表得t=1．94，于是離開平均值的范圍為：
偏離值為4．54／100．5=4．5 %< 5 %，滿足要求。
所以，還需增加3個(gè)土樣，即至少需要7個(gè)土樣才可以達(dá)到所需精度要求．土工試驗(yàn)中，一次實(shí)驗(yàn)的試驗(yàn)樣本數(shù)如果滿足不了統(tǒng)計(jì)要求的最小樣本數(shù)，增加土樣又意味著增加額外的投資，而此時(shí)我們可以收集以往的實(shí)驗(yàn)資料，利用Bayes方法解決一次實(shí)驗(yàn)樣本數(shù)不足的問題．
由《概率論》的Bayes方法，對(duì)離散型隨機(jī)變量有
（1）
稱為參數(shù)的驗(yàn)后概率； 稱為驗(yàn)前概率； 為給定參數(shù) 條件下的 的條件概率，稱為似然函數(shù)．） （2）
若已測得一組實(shí)驗(yàn)測值為 ，怎樣由去推定 首先要求得其驗(yàn)后概率 ，驗(yàn)前概率 、似然函數(shù) ．一般 可通過以往的經(jīng)驗(yàn)得到， 可通過測值 得到，于是由公式(2)，就可以得到驗(yàn)后概率 ，從而求得其期望值，此期望值即為需求參數(shù) 的Bayes估計(jì)值。
土工試驗(yàn)數(shù)據(jù)可以認(rèn)為是離散型試驗(yàn)數(shù)據(jù)．下面以長沙地區(qū)的粉砂抗剪強(qiáng)度參數(shù) 為例說明Bayes估計(jì)方法的應(yīng)用。
一般情況下土的抗剪強(qiáng)度參數(shù)符合正態(tài)分布，故以下討論以正態(tài)分布為基礎(chǔ)．長沙電廠工程分三期進(jìn)行，其資料見表1．下面用Bayes方法計(jì)算，第一步把一期工程資料作為二期工程的驗(yàn)前資料，以二期工程資料求得似然函數(shù)，從而可得驗(yàn)后概率；第二步，以此驗(yàn)后概率作為三期工程的驗(yàn)前資料，然后求得結(jié)合了全部一、二、三期工程的驗(yàn)后概率，這樣求得的強(qiáng)度參數(shù)同時(shí)考慮了三期工程，將更為合理可靠．
由Bayes公式，有 ，就正態(tài)分布而言，Bayes公式可進(jìn)一步具體化為
其中， 為一期工程資料， 。
其中，是根據(jù)二期工程資料求得的，
故驗(yàn)后概率為兩個(gè)正態(tài)分布的乘積，它本身也是一個(gè)正態(tài)分布，其抗剪強(qiáng)度均值 和標(biāo)準(zhǔn)差 可由下式求得：
故驗(yàn)后概率 。由此可見，驗(yàn)后方差比驗(yàn)前方差和似然方差都要?。F(xiàn)以上述求得的驗(yàn)后概率作為驗(yàn)前概率，以三期工程作為新的測值進(jìn)行Bayes法第二次應(yīng)用的計(jì)算．
已知。由三期工程資料，
故得新的驗(yàn)后概率
即的驗(yàn)后分布。.所以此粉砂的強(qiáng)度參數(shù)的貝葉斯估計(jì)值為 31．52．將全部資料加以平均得到強(qiáng)度參數(shù)的平均值為=31．73．當(dāng)然， 值應(yīng)比值更合理可靠．通過以上分析可以看出：
Bayes法可以把不同時(shí)間測得的觀測數(shù)據(jù)有機(jī)地結(jié)合起來，而不是簡單的加權(quán)平均，從而得到一個(gè)更為可靠的數(shù)據(jù)結(jié)果．這個(gè)優(yōu)點(diǎn)使它在一些大型工程的設(shè)計(jì)指標(biāo)的研究中廣泛使用，如在研究土的力學(xué)性質(zhì)指標(biāo)時(shí)，直接進(jìn)行力學(xué)性質(zhì)試驗(yàn)，特別是三軸試驗(yàn)往往是浪費(fèi)時(shí)間、耗費(fèi)資金、需要技術(shù)和設(shè)備，而進(jìn)行土的物理性質(zhì)指標(biāo)的測定則要簡便經(jīng)濟(jì)得多．假如在進(jìn)行一定力學(xué)性質(zhì)試驗(yàn)的同時(shí)，利用土的物理性質(zhì)指標(biāo)(如土的密度、含水量等)來豐富力學(xué)性質(zhì)指標(biāo)的驗(yàn)前概率，那么所得的力學(xué)指標(biāo)將會(huì)更加精確．Bayes法在應(yīng)用上的另一個(gè)優(yōu)點(diǎn)是它可以更精確的處理不同觀測結(jié)果的合并問題，如上例所述．再如測定土的抗剪強(qiáng)度時(shí)可能采用直剪試驗(yàn)、三軸試驗(yàn)或原位試驗(yàn)等方法，各種方法的實(shí)測值具有不同的概率函數(shù)，Bayes法就可將這些不同概率規(guī)律的信息有機(jī)結(jié)合起來，得出更可靠的參數(shù)驗(yàn)后分布，依此確定的土的
抗剪強(qiáng)度參數(shù)將更為合理．
3 土體性質(zhì)指標(biāo)的自相關(guān)性的問題
在以往考慮實(shí)驗(yàn)數(shù)據(jù)的相關(guān)關(guān)系時(shí)，常常是求它們之間的線性相關(guān)系數(shù)，對(duì)于土工試驗(yàn)指標(biāo)其自相關(guān)函數(shù)通常不是線性相關(guān)，而是指數(shù)相關(guān)，因此，就不能用以往的求相關(guān)系數(shù)的方法來判別其相關(guān)性。
土工問題中，可用相關(guān)距離 來判別其獨(dú)立與否．在相關(guān)距離 內(nèi)，土性指標(biāo)基本上是相關(guān)的；相反，在該范圍之外，土性指標(biāo)基本上是不相關(guān)的．而相關(guān)距離 事先是未知的，它也要根據(jù)樣本測值來求，一般用遞推平均法求相關(guān)距離，同時(shí)取樣間距Z 對(duì) 的計(jì)算會(huì)產(chǎn)生影響，這種影響反應(yīng)于當(dāng)取樣距離Z 不同時(shí)，得到的 也不一樣．Z ／ 越大，說明各抽樣點(diǎn)的土性越接近相互獨(dú)立，抽樣誤差就越小。
因此，取樣距離應(yīng)盡可能大于 ．但從另一角度考慮，如果樣本間距太大，便不能精確估計(jì)自相關(guān)函數(shù)和相關(guān)距離．因此，當(dāng)Z= 時(shí)將求出的 作為土的相關(guān)距離比較合適．有了相關(guān)距離后，就可以根據(jù)取樣點(diǎn)的位置，以 為尺度，將指標(biāo)的樣本測值分成幾組，在相關(guān)距離 內(nèi)的樣本點(diǎn)，用樣本的加權(quán)平均估計(jì)該區(qū)域內(nèi)的平均土性，在一個(gè) 范圍內(nèi)，可得到一個(gè)．對(duì)于n個(gè)樣本值，可得到 m 個(gè) ．通過以上處理得到的這 m 個(gè)，就可視為彼此獨(dú)立的樣本了。
3．1 通過迭代求解土的相關(guān)距離
可以利用計(jì)算機(jī)程序，通過搜索 = Z 時(shí)的，只要以較小的基本間距取樣本，程序在運(yùn)算過程中，以基
本間距的若干倍作為Z 計(jì)算 ，直到 小于某個(gè)規(guī)定值 。
3．2 用樣本的加權(quán)平均來估計(jì)該區(qū)域內(nèi)的平均土性
在土體的相關(guān)距離內(nèi)，測值點(diǎn)是相關(guān)的，這時(shí)可用樣本的加權(quán)平均值來估計(jì)該范圍的平均土性，具體做法為
(5)
這里 是有關(guān)樣本 的權(quán)值， 是 內(nèi)的樣本點(diǎn)數(shù)．關(guān)于一組權(quán) ，可依下式取極小值．
(6)
其限制條件為0≤≤1和Σ =1， 是 和 點(diǎn)處土性指標(biāo)之間的相關(guān)系數(shù)，采用Lagrangian乘法，可以得到下列矩陣方程：
(7)
這里，相關(guān)函數(shù) 的形式可以假設(shè)，因?yàn)橄嚓P(guān)函數(shù)的確切形式對(duì)大多數(shù)實(shí)際應(yīng)用意義不大，據(jù)此，一組權(quán) 就可以算出，從而該范圍的平均土性可用估計(jì)值式(6)來計(jì)算．在實(shí)際工程中，雖然走值不一樣大，但用起來還是較方便的．經(jīng)過上述處理后的 m個(gè) ，就是彼此獨(dú)立的樣本了。
具體情況下，可根據(jù)工程具體精度要求，進(jìn)行簡化或省略，如在6范圍內(nèi)的幾個(gè)數(shù)據(jù)，通過實(shí)驗(yàn)判斷或簡單計(jì)算就可以確定其代表值時(shí)，就不需加權(quán)平均．在實(shí)際應(yīng)用中，最多的情況可能是根據(jù)經(jīng)驗(yàn)結(jié)合計(jì)算進(jìn)行處理．
4 結(jié)束語
1)影響土工試驗(yàn)數(shù)據(jù)可靠性的因素包括土樣本身和實(shí)驗(yàn)因素兩個(gè)方面，在進(jìn)行土工試驗(yàn)指標(biāo)整理時(shí)，根據(jù)土的物理力學(xué)特性可判定出一部分明顯的不合理點(diǎn)，還可以根據(jù)3d法剔除不合理的測定值，從而使土工試驗(yàn)數(shù)據(jù)更接近實(shí)際．
其實(shí)我想告訴他們的是，數(shù)據(jù)挖掘分析領(lǐng)域最重要的能力是：能夠?qū)?shù)據(jù)轉(zhuǎn)化為非專業(yè)人士也能夠清楚理解的有意義的見解。
使用一些工具來幫助大家更好的理解數(shù)據(jù)分析在挖掘數(shù)據(jù)價(jià)值方面的重要性，是十分有必要的。其中的一個(gè)工具，叫做四維分析法。
簡單地來說，分析可被劃分為4種關(guān)鍵方法。
下面會(huì)詳細(xì)介紹這四種方法。
1.描述型分析：發(fā)生了什么?
這是最常見的分析方法。在業(yè)務(wù)中，這種方法向數(shù)據(jù)分析師提供了重要指標(biāo)和業(yè)務(wù)的衡量方法。
例如，每月的營收和損失賬單。數(shù)據(jù)分析師可以通過這些賬單，獲取大量的客戶數(shù)據(jù)。了解客戶的地理信息，就是“描述型分析”方法之一。利用可視化工具，能夠有效的增強(qiáng)描述型分析所提供的信息。
2.診斷型分析：為什么會(huì)發(fā)生?
描述性數(shù)據(jù)分析的下一步就是診斷型數(shù)據(jù)分析。通過評(píng)估描述型數(shù)據(jù)，診斷分析工具能夠讓數(shù)據(jù)分析師深入地分析數(shù)據(jù)，鉆取到數(shù)據(jù)的核心。
良好設(shè)計(jì)的BI dashboard能夠整合：按照時(shí)間序列進(jìn)行數(shù)據(jù)讀入、特征過濾和鉆取數(shù)據(jù)等功能，以便更好的分析數(shù)據(jù)。
3.預(yù)測型分析：可能發(fā)生什么?
預(yù)測型分析主要用于進(jìn)行預(yù)測。事件未來發(fā)生的可能性、預(yù)測一個(gè)可量化的值，或者是預(yù)估事情發(fā)生的時(shí)間點(diǎn)，這些都可以通過預(yù)測模型來完成。
預(yù)測模型通常會(huì)使用各種可變數(shù)據(jù)來實(shí)現(xiàn)預(yù)測。數(shù)據(jù)成員的多樣化與預(yù)測結(jié)果密切相關(guān)。
在充滿不確定性的環(huán)境下，預(yù)測能夠幫助做出更好的決定。預(yù)測模型也是很多領(lǐng)域正在使用的重要方法。
4.指令型分析：需要做什么?
數(shù)據(jù)價(jià)值和復(fù)雜度分析的下一步就是指令型分析。指令模型基于對(duì)“發(fā)生了什么”、“為什么會(huì)發(fā)生”和“可能發(fā)生什么”的分析，來幫助用戶決定應(yīng)該采取什么措施。通常情況下，指令型分析不是單獨(dú)使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。
