首頁 > 優(yōu)秀范文 > 數(shù)據(jù)分析論文
時間：2023-06-05 08:44:29
序論：速發(fā)表網(wǎng)結(jié)合其深厚的文秘經(jīng)驗，特別為您篩選了11篇數(shù)據(jù)分析論文范文。如果您需要更多原創(chuàng)資料，歡迎隨時與我們的客服老師聯(lián)系，希望您能從中汲取靈感和知識！
改革以來中國發(fā)生的大規(guī)模人口遷移，是制度變遷和經(jīng)濟轉(zhuǎn)型共同作用的結(jié)果。中國傳統(tǒng)的計劃經(jīng)濟體制是圍繞推行重工業(yè)優(yōu)先發(fā)展戰(zhàn)略而形成的。在資本稀缺的經(jīng)濟中，推行資本密集型重工業(yè)優(yōu)先發(fā)展戰(zhàn)略，不可能依靠市場來引導(dǎo)資源配置，因而必須通過計劃分配的機制把各種資源按照產(chǎn)業(yè)發(fā)展的優(yōu)先序進行配置。由此，以資本和勞動力為代表的資源或生產(chǎn)要素，既無必要，也不允許根據(jù)市場價格信號自由流動，因此，隨著20世紀50年代這種發(fā)展戰(zhàn)略格局的確定，一系列相關(guān)制度安排把資本和勞動力的配置，按照地域、產(chǎn)業(yè)、所有制等分類人為地“畫地為牢”，計劃之外的生產(chǎn)要素流動成為不合法的現(xiàn)象。其中把城鄉(xiāng)人口和勞動力分隔開的戶籍制度，以及與其配套的城市勞動就業(yè)制度、城市偏向的社會保障制度、基本消費品供應(yīng)的票證制度、排他性的城市福利體制等，阻礙了勞動力這種生產(chǎn)要素在部門間、地域上和所有制之間的流動。在這種制度下，不存在勞動力市場，農(nóng)村居民沒有政府的許可不可能向城市流動，勞動和人事部門通過計劃來控制勞動力跨部門流動。
1978年底開始的農(nóng)村家庭承包制改革，使農(nóng)戶成為其邊際勞動努力的剩余索取者，從而解決了制度下因平均分配原則而長期解決不了的激勵問題（meng，2000）。與此同時，政府開始對價格進行改革，誘導(dǎo)農(nóng)民提高農(nóng)業(yè)生產(chǎn)率。在農(nóng)業(yè)剩余勞動力被釋放出來后，非農(nóng)產(chǎn)業(yè)活動更高的報酬吸引勞動力轉(zhuǎn)移（cook，1999），從而推動農(nóng)村生產(chǎn)要素市場的發(fā)育，原來主要集中在農(nóng)業(yè)的勞動力開始向農(nóng)村非農(nóng)產(chǎn)業(yè)、小城鎮(zhèn)甚至大中城市流動。
由于各種阻礙勞動力流動的障礙尚未拆除，以及政府鼓勵農(nóng)村勞動力就地轉(zhuǎn)移的政策引導(dǎo)，20世紀80年代前期的勞動力轉(zhuǎn)移以從農(nóng)業(yè)向農(nóng)村非農(nóng)產(chǎn)業(yè)轉(zhuǎn)移為主，主要是在鄉(xiāng)鎮(zhèn)企業(yè)中就業(yè)，即所謂的“離土不離鄉(xiāng)”。但隨著鄉(xiāng)鎮(zhèn)企業(yè)遇到來自國有企業(yè)、“三資”企業(yè)和私人企業(yè)越來越強勁的競爭，必須提高技術(shù)水平和產(chǎn)品質(zhì)量，因而鄉(xiāng)鎮(zhèn)企業(yè)資本增加的速度逐漸加快，吸納勞動力的速度相應(yīng)減緩。農(nóng)村勞動力面臨著越來越強烈的跨地區(qū)轉(zhuǎn)移的壓力。與此同時，外商投資企業(yè)、中外合資企業(yè)、私營企業(yè)和股份公司等其他非國有部門在東部地區(qū)發(fā)展較快，擴大了對勞動力需求，并成為消除制約勞動力流動體制障礙的一支重要力量。
隨著農(nóng)村勞動力就地轉(zhuǎn)移渠道日益狹窄，1983年政府開始允許農(nóng)民從事農(nóng)產(chǎn)品的長途販運和自銷，第一次給予農(nóng)民異地經(jīng)營以合法性。1984年進一步放松對勞動力流動的控制，甚至鼓勵勞動力到臨近小城鎮(zhèn)打工。1988年中央政府則開了先例，允許農(nóng)民自帶口糧進入城市務(wù)工經(jīng)商。到20世紀90年代，中央政府和地方政府分別采取一系列措施，適當(dāng)放寬對遷移的政策限制，也就意味著對戶籍制度進行了一定程度的改革。例如，許多各種規(guī)模的城市很早就實行了所謂的“藍印戶口”制度，把絕對的戶籍控制變?yōu)檫x擇性地接受。此外，1998年公安部對若干種人群開了進入城市的綠燈，如子女可以隨父母任何一方進行戶籍登記，長期兩地分居的夫妻可以調(diào)動到一起并得以戶籍轉(zhuǎn)換，老人可以隨子女而獲得城市戶口，等等。雖然執(zhí)行時在一些大城市遇到阻力，但至少在中央政府的層次上為戶籍制度的進一步改革提供了合法性依據(jù)。城市福利制度的改革也為農(nóng)村勞動力向城市流動創(chuàng)造了制度環(huán)境。80年代后期開始逐步進行的城市經(jīng)濟改革，如非國有經(jīng)濟的發(fā)展，糧食定量供給制度的改革，以及住房分配制度、醫(yī)療制度及就業(yè)制度的改革，降低了農(nóng)民向城市流動并居住下來和尋找工作的成本。
與其他方面的政策改革相比，戶籍制度改革在很長時間里沒有實質(zhì)性的突破，成為勞動力流動的最大障礙。所有在就業(yè)政策、保障體制和社會服務(wù)供給方面對外地人的歧視性對待，都根源于戶籍制度。隨著時間推移，兩方面的因素變化推動政府對遷移政策進行改革。一是城市戶籍制度不再擁有外部或隱含的福利，也就是地方政府不再根據(jù)個人的戶籍來提供就業(yè)、社會福利等各方面保障。這樣，城市人口規(guī)模擴張不會給地方政府增添額外財政負擔(dān)。二是地方政府意識到，勞動力流動不僅帶來資源重新配置，而且也是城市融資的一個重要來源。這樣，市場化發(fā)育水平相異的城市根據(jù)各自目標來推進城市戶籍制度改革。
可見，通過戶籍制度及一系列其他阻礙人口遷移的制度因素的改革而推動的勞動力流動，不僅是經(jīng)濟發(fā)展的一個重要內(nèi)容，也是整個經(jīng)濟體制向市場機制轉(zhuǎn)變的重要進程，并且以其他領(lǐng)域改革的進展為前提。這個轉(zhuǎn)變或改革的結(jié)果便是勞動力市場的形成與發(fā)育，勞動力資源越來越多地由市場來配置。而在整個經(jīng)濟不斷市場化的過程中，人口遷移也表現(xiàn)出轉(zhuǎn)軌時期的特點。這是中國轉(zhuǎn)軌時期人口遷移的特殊性所在。本文旨在利用2000年人口普查資料來分析人口流動與市場化之間的關(guān)系。
一、轉(zhuǎn)軌時期人口遷移理論
人口和勞動力在地區(qū)間的流動，是勞動力市場在空間上從不均衡向均衡轉(zhuǎn)變的過程。發(fā)展中國家在其經(jīng)濟發(fā)展過程中，伴隨著工業(yè)化和城市化發(fā)展，大量農(nóng)村人口和勞動力從農(nóng)村流向城市，從低生產(chǎn)率的農(nóng)業(yè)部門流向生產(chǎn)率較高的工業(yè)部門。劉易斯（lewis，1954）認為，發(fā)展中國家存在著典型的二元經(jīng)濟結(jié)構(gòu)，農(nóng)村存在著大量剩余勞動力和隱蔽性失業(yè)，農(nóng)業(yè)中勞動力的邊際生產(chǎn)力幾乎等于零或為負值，農(nóng)村勞動力從農(nóng)業(yè)部門流出不會對農(nóng)業(yè)產(chǎn)出帶來負面影響，反而使留在農(nóng)業(yè)部門勞動力的邊際產(chǎn)出不斷提高；隨著城市中勞動力數(shù)量不斷增加，城市工資水平開始下降，直至城市部門的工資水平與農(nóng)業(yè)部門的工資水平相等，農(nóng)村勞動力向城市流動才會停止。在劉易斯的模型中，勞動力在城鄉(xiāng)之間可以自由流動，不存在顯著的制度。城市現(xiàn)代部門的較高工資水平和傳統(tǒng)農(nóng)業(yè)部門的低工資水平，是勞動力在城鄉(xiāng)之間流動的驅(qū)動力量。在托達羅（todaro，1969；harris和todaro，1970）兩部門模型分析中，農(nóng)村人口和勞動力的遷移取決于城市的工資水平和就業(yè)概率，當(dāng)城市的預(yù)期收入水平和農(nóng)村的工資水平相等時，勞動力在城鄉(xiāng)之間分配和遷移都達到均衡。
由于城市經(jīng)濟存在著現(xiàn)代正規(guī)部門和非正規(guī)部門之分，農(nóng)村勞動力向城市遷移首先進入非正規(guī)部門，然后才有可能進入正規(guī)部門就業(yè)。城市正規(guī)部門就業(yè)創(chuàng)造率越大，越有利于將更多的非正規(guī)部門勞動力轉(zhuǎn)入正規(guī)部門；城鄉(xiāng)收入差距越大，從農(nóng)村流向城市非正規(guī)部門勞動力數(shù)量越多，城市非正規(guī)部門勞動力規(guī)模也越大。由于城市正規(guī)部門的就業(yè)創(chuàng)造率取決于工業(yè)產(chǎn)出增長率及該部門的勞動生產(chǎn)率增長率，城市工業(yè)的快速增長將有利于提高正規(guī)部門的就業(yè)創(chuàng)造率，從而減少城市非正規(guī)部門的勞動力規(guī)模。但是，這個效應(yīng)有可能被城市工資增長所誘發(fā)的大量新增農(nóng)村勞動力流入所抵消。因此，城市正規(guī)部門的就業(yè)創(chuàng)造結(jié)果帶來了城市失業(yè)率的上升。
費爾茨（fields，1974）認為，托達羅模型中沒有考慮農(nóng)村勞動力在城市正規(guī)部門尋找工作的概率問題。由于非正規(guī)部門勞動力獲得正規(guī)部門就業(yè)機會的相對概率較低，流入城市的農(nóng)村勞動力大多數(shù)只能滯留于非正規(guī)部門。他們之所以能夠接受較低的工資水平，主要是在于他們預(yù)期能夠從得到的城市正規(guī)部門工作機會中獲得補償。在托達羅模型基礎(chǔ)上，費爾茨引入了搜尋工作機會的觀點，一方面強調(diào)了城市制度工資和相對就業(yè)概率對遷移過程的影響，另一方面也指出，非正式部門大量不充分就業(yè)的勞動力保證了勞動力市場實現(xiàn)均衡時的失業(yè)率低于托達羅模型得出的估計。非正式部門大量不充分就業(yè)的勞動力存在，在一定程度上緩解了城市的失業(yè)問題。
隨著勞動力流動，城鄉(xiāng)勞動力市場開始相互作用。但是，根據(jù)托達羅理論，城市失業(yè)率上升將起到減緩人口繼續(xù)向城市遷移。如果依據(jù)費爾茨的觀點，城市勞動力市場似乎對農(nóng)村勞動力流動的影響不大。相比之下，在成熟的市場經(jīng)濟中，城市的失業(yè)率是影響勞動力流動的重要因素。托普爾（topel，1986）利用美國人口普查資料研究發(fā)現(xiàn)，1970～1980年，美國東部、中部和北部各州的平均失業(yè)率相對于全國水平上升了23%，同時西部和西南部各州的失業(yè)率卻顯著下降。同期，人口遷移的空間流向恰好與此相反，人口凈流入地區(qū)為西部和西南部地區(qū)，東部、中部和北部均為人口凈流出地區(qū)。
中國的人口遷移不僅具有發(fā)展中國家的一般特征，而且還有經(jīng)濟體制轉(zhuǎn)型的獨特之處。如前所述，中國特有的戶籍制度及其改革過程，為人口和勞動力自由流動和擇業(yè)提供了制度基礎(chǔ)，這也是研究其他國家人口遷移的理論沒有遇到過的問題。隨著時間的推移，包括戶籍制度在內(nèi)的各項市場化改革措施必然對人口與勞動力遷移產(chǎn)生顯著影響。同時，城市就業(yè)環(huán)境變化也為我們觀察城鄉(xiāng)勞動力市場的相互作用提供了條件。
首先，不僅是城鄉(xiāng)之間、地區(qū)之間的收入差距驅(qū)動人口的遷移，市場化水平在城鄉(xiāng)和地區(qū)間的差異也直接影響農(nóng)村勞動力遷移決策，從而形成特定的遷移流向。在經(jīng)濟發(fā)展的初期，資本相對稀缺而勞動力相對豐富。因此，中國經(jīng)濟的比較優(yōu)勢在勞動密集型產(chǎn)業(yè)。在20世紀80年代以前的經(jīng)濟增長模式下，由于政府采取人為扭曲資金價格的方式，在資金密集型產(chǎn)業(yè)上投資過多，抑制了具有比較優(yōu)勢的勞動密集型產(chǎn)業(yè)的發(fā)展，導(dǎo)致產(chǎn)業(yè)結(jié)構(gòu)的扭曲，資源配置效率的損失。經(jīng)濟改革以來，通過一系列制度變革，資源配置逐漸轉(zhuǎn)向勞動力較為密集的產(chǎn)業(yè)，較好地發(fā)揮了中國勞動力資源豐富的比較優(yōu)勢。產(chǎn)品和生產(chǎn)要素市場的發(fā)育帶來了資源重新配置效率的改善，對經(jīng)濟增長做出了重要的貢獻（cai等，2002）。由于生產(chǎn)要素市場發(fā)育上在地區(qū)之間不平衡，這種資源重新配置的效果主要體現(xiàn)在沿海地區(qū)。2000年，92.1%進出口貿(mào)易集中在東部地區(qū)，中西部地區(qū)分別為4.3%和3.6%.同年，86.5%的外商直接投資集中在東部地區(qū)，中西部地區(qū)分別為8.9%和4.6%.因此，勞動力遷移在東部地區(qū)更為活躍，遷移的流向也以從中西部地區(qū)向東部地區(qū)為特征。
其次，正如在其他國家觀察到的那樣，較大的遷移距離增加了交通成本、弱化了社會網(wǎng)絡(luò)關(guān)系和目的地的就業(yè)信息，減少了遷移者的收益預(yù)期，因此，遷移距離上升降低了遷移發(fā)生概率。工作的不穩(wěn)定性和信息獲得的不確定性，不僅造成了遷移流向是一個從縣內(nèi)流向縣外，從省內(nèi)向省外的漸進過程，而且使得親友等社會網(wǎng)絡(luò)成為遷移者獲得非正規(guī)部門就業(yè)信息的主要方式。格林伍得（greenwood，1969）認為，遷移存量對人口在地區(qū)之間遷移扮演著社會網(wǎng)絡(luò)的作用。先前的遷移可以為后來者提供信息和其他方面的幫助，減少遷移風(fēng)險，從而對后期的遷移產(chǎn)生影響。蔡fǎng＠①（cai，1999）研究發(fā)現(xiàn)，75.8%的省內(nèi)遷移者、82.4%的跨省遷移者的就業(yè)信息獲得是通過住在城里或在城里找到工作的親戚、老鄉(xiāng)、朋友獲得的。因此，農(nóng)村勞動力向城市流動通常受到距離所反映出的社會網(wǎng)絡(luò)強弱的限制，形成分階段遷移。
第三，盡管戶籍制度繼續(xù)阻隔著農(nóng)村勞動力向城市遷移，但市場化改革使得城鄉(xiāng)勞動力市場開始融合，城市就業(yè)環(huán)境變化必然對農(nóng)村勞動力向城市流動帶來影響。隨著國有企業(yè)虧損和非國有部門擴大，越來越多的原國有企業(yè)職工開始和遷移者在非正式部門展開就業(yè)競爭。在這種情況下，農(nóng)村勞動力“是走還是留”，取決于正式部門和非正式部門的就業(yè)狀況，而且其決策通常是暫時的，而不是長期的。這與harris和todaro（1970）模型中所討論的情況（遷移者在非正式部門臨時就業(yè)、等待得到正式部門就業(yè)機會），以及sethuraman（1981）觀察到其他發(fā)展中國家的情況（大多數(shù)遷移者將他們在非正式部門就業(yè)視為永久性的）都有顯著差異。一個普遍觀察到的現(xiàn)象是，中國農(nóng)村勞動力向城市和發(fā)達地區(qū)流動，通常具有季節(jié)性特點，最多以年為單位在原住地和遷入地之間往返，呈現(xiàn)出“鐘擺式”的流動模式。正如solinger（1999）指出的那樣，城市對農(nóng)村勞動力的大量需求是推進戶籍制度改革的必要條件。在非國有經(jīng)濟、特別是外商投資較快的地區(qū)，市場力量日益顯現(xiàn)，遷移受到鼓勵。
二、空間分布特征變化
1990年以來，中國地區(qū)收入差距進一步擴大，吸引了中西部地區(qū)勞動力向東部地區(qū)流動。同時，要素市場發(fā)育及資源配置市場化程度，對地區(qū)經(jīng)濟增長越來越起著主導(dǎo)性的作用。東部地區(qū)不僅對外開放時間早，而且市場發(fā)育迅速，較高的市場化水平不斷消除了勞動力等要素跨地區(qū)間流動的制度，以至成為勞動力流動的主要吸納地區(qū)。而勞動力向東部地區(qū)流動反過來也推動了該地區(qū)的經(jīng)濟增長，改善了勞動力資源配置效率（cai等，2002）。表1顯示了人口遷移空間分布狀況的長期變化。1987～2000年，人口遷移的空間分布特征是：地區(qū)內(nèi)部遷移（其中主要是省內(nèi)遷移）比例始終高于地區(qū)間的遷移比例。但地區(qū)內(nèi)部和地區(qū)之間的遷移比例則隨著時間不斷發(fā)生變化。東部地區(qū)內(nèi)部遷移比例提高，東部地區(qū)流向中西部地區(qū)的比例下降。而中西部正好與此相反，中部和西部地區(qū)內(nèi)部遷移比例趨于下降，中部向西部、西部向中部的遷移比例也在下降，而中西部向東部地區(qū)流入比例不斷上升。
注：（1）從統(tǒng)計口徑上看，1987年遷移數(shù)量包括遷入時間在半年以上的市、鎮(zhèn)和縣之間的遷移人口；1990年遷移數(shù)量包括遷入時間在1年以上的市、縣之間的遷移人口；1995年遷移數(shù)量包括遷入時間在半年以上的市，區(qū)、縣之間的遷移人口；2000年遷移數(shù)量包括遷入時間在半年以上的鄉(xiāng)、鎮(zhèn)、街道之間的遷移人口。（2）全部遷移人口包括地區(qū)內(nèi)部和地區(qū)之間的人口遷移，不同年份在遷移時間規(guī)定和遷移范圍上的差別對地區(qū)之間分布會帶來一定影響。盡管如此，我們?nèi)钥梢员容^不同年份之間遷移流向的變化。
資料來源：《1987年全國1%人口抽樣調(diào)查資料》、《1995年全國1%人口抽樣調(diào)查資料》、《中國1990年人口普查資料》、《中國2000年人口普查資料》。
根據(jù)2000年第五次人口普查的10%資料顯示，全部遷移人口數(shù)量為1246萬，占總?cè)丝诘?0.6%，其中省內(nèi)遷移為7.7%、跨省遷移為2.9%.在總遷移人口中，省內(nèi)遷移的比重始終很高，為73.4%.當(dāng)我們描述跨省遷移的流向時，其主要以東部地區(qū)為遷移目的地的傾向更加明顯。表2給出了三類地區(qū)跨省遷移比例的空間交叉分布。2000年，東部地區(qū)跨省遷移近65%集中在東部其他各?。ㄊ校胁康貐^(qū)跨省遷移超過84%集中在東部地區(qū)，西部地區(qū)跨省遷移超過68%集中在東部地區(qū)。從時間趨勢上看，1987～2000年，東部地區(qū)內(nèi)部跨省遷移比例上升了近15%，而中西部地區(qū)向東部地區(qū)遷移比例上升將近24%，后者比前者高出9個百分點。
從流動的出發(fā)地和目的地看，遷移可以被劃分為城市到城市的遷移、城市到農(nóng)村的遷移、農(nóng)村到農(nóng)村的遷移和農(nóng)村到城市的遷移四種主要類型。從這種類型劃分來觀察地區(qū)間遷移的流向，也有助于我們理解轉(zhuǎn)軌時期中國人口遷移的特點。從全國來看，城市到城市的遷移和農(nóng)村到城市的遷移是目前遷移的主要形式。2000年，兩者合計占總遷移人口的77.9%，而且農(nóng)村到城市遷移的比重（40.7%）大于城市到城市的遷移（37.2%）。農(nóng)村到農(nóng)村的遷移比重較低，僅占全部遷移的18.2%.而城市到農(nóng)村的遷移比例最低，不到總遷移人口的1/25.從時間趨勢看，城市到城市的遷移所占比重，在東部、中部和西部三類地區(qū)都呈現(xiàn)上升趨勢，而農(nóng)村到城市的遷移比重略呈下降趨勢。
三、遷移的決定因素：計量分析
在遷移決定因素的實證分析中，早期的遷移模型將重力遷移模型和就業(yè)為目的的遷移模型合二為一，假定遷移數(shù)量不僅與遷入地和遷出地的人口和遷移距離有關(guān)，而且取決于兩個地區(qū)之間的工資和失業(yè)率的比較。通常，采用下列雙對數(shù)模型來分析這些因素對遷移流向的影響（lowry，1966；greenwood，1969；fields，1979）。即：。式中，m為遷移率，x為影響遷移流向的各種因素，d為遷移距離，i，j分別為遷出地和遷入地。
舒爾茨（schultz，1982）認為，人口變量反映的是其他影響遷移而沒有在模型出現(xiàn)的社會經(jīng)濟變量的作用，它沒有行為學(xué)上的意義。由于遷移是人口增長的一部分，在遷移實證模型中引入人口規(guī)模會帶來計量上的共同偏差（fields，1979）。而且，由于遷移存量實際上是人口規(guī)模的一部分，如果在實證模型中同時引入這兩個變量，將帶來嚴重的多重共線問題，大大降低回歸參數(shù)估計的效率。因此，通常做法是在實證模型中不引入人口變量。
在回歸方程的函數(shù)形式選擇上，費爾茨（fields，1979）認為，遷移決策本質(zhì)上是在相互排斥的替代方案之間的一種選擇，非對稱模型比對稱模型對人口遷移具有更強的解釋能力。此外，雙對數(shù)線性回歸方程還能夠消除奇異值和異方差對估計效率的影響，滿足理論上就業(yè)機會與工資之間的乘積要求，以及提高回歸方程的擬合程度等。他選擇了滯后解釋變量辦法來消除解釋變量的內(nèi)生性問題。我們也采用了所有解釋變量數(shù)據(jù)均為1995年數(shù)據(jù)的辦法來解決遷移模型的內(nèi)生性問題。
本文數(shù)據(jù)來自2000年第五次全國人口普查長表資料（10%樣本）和微觀數(shù)據(jù)（長表1%樣本），1995年全國1%人口抽樣調(diào)查資料及國家統(tǒng)計局《中國統(tǒng)計年鑒（1996）》。在數(shù)據(jù)處理上，正式出版的第五次人口普查長表資料沒有農(nóng)村向城市跨省遷移勞動力數(shù)量及其失業(yè)率數(shù)據(jù)，我們利用第五次全國人口普查的微觀數(shù)據(jù)計算了這些數(shù)據(jù)。用于回歸分析變量的統(tǒng)計值見表3.
表3用于回歸分析變量的統(tǒng)計值
注：*根據(jù)微觀數(shù)據(jù)計算。
遷移率的計算，我們采用格林伍得（greenwood，1969）的定義，用1995年11月1日至2000年10月30日從省遷到省的人口數(shù)，除以1995年11月1日以前住在省的人口數(shù)。根據(jù)長表計算得到的遷移率，包括了所有年齡段跨省農(nóng)村到城市、城市到城市、農(nóng)村到農(nóng)村、城市到農(nóng)村的四種類型遷移人口；用微觀數(shù)據(jù)計算15～64歲農(nóng)村勞動力向城市的遷移率。按照這種方法計算得到的兩個遷移率的平均值都不高（見表3）。
遷移距離為省會之間鐵路公里數(shù)。中國地域遼闊，鐵路是中國跨省遷移的主要交通方式。這點可以從每年春節(jié)農(nóng)民工返鄉(xiāng)造成的鐵路擁擠狀況中得到印證。遷移距離不僅反應(yīng)了用于直接交通費用的高低，而且在一定程度上代表了遷移所帶來的心理成本大小。隨著遷移距離增加，遷移帶來的不確定性和遷移風(fēng)險也會上升，遷移成本隨之增加（schultz，1982；greenwood，1975）。這在勞動力市場不發(fā)達的情況下尤其如此。
直接用城市工工資收入和農(nóng)村人均純收入來作為工資率的變量顯然不合適。隨著收入多元化，相當(dāng)于實際收入的部分并沒有反映到名義收入之中，城鄉(xiāng)收入在可比性上也存在一定問題（solinger，1995；jefferson，1992）。奧尼爾（o''''neill，1970）建議采用消費指標來克服收入指標作為工資率變量上的不足。我們利用各省城鄉(xiāng)人口作為權(quán)重，對城鄉(xiāng)居民人均消費支出進行加權(quán)平均，作為各省的工資率變量，預(yù)期工資率對遷移流向存在兩種不同的效應(yīng)。其中，遷入地為正向效應(yīng)，而遷出地為負向效應(yīng)。
1995年全國1%抽樣調(diào)查和第五次人口普查都對城鄉(xiāng)勞動力的就業(yè)狀況進行了統(tǒng)計。1995年調(diào)查問卷中有三項指標用來測度勞動力在調(diào)查前一周是否處于失業(yè)狀態(tài)：第一項是從未工作正在找工作，第二項是失去工作正在找工作，第三項是企業(yè)停產(chǎn)等待安置的勞動力。2000年人口普查只包括前兩項。據(jù)此可以計算得到1995年和2000年城鄉(xiāng)勞動力的失業(yè)率，分別為2.2%和3.6%.由于城鄉(xiāng)勞動力的失業(yè)率包括了農(nóng)村勞動力，這低估了城市勞動力市場的就業(yè)狀況?！吨袊?000年人口普查資料》公布了分城市、鎮(zhèn)和農(nóng)村的經(jīng)濟活動人口資料，據(jù)此計算的城市、鎮(zhèn)和農(nóng)村的失業(yè)率分別為9.4%、6.2%、1.2%.利用2000年微觀數(shù)據(jù)計算的城市本地勞動力、城市向城市遷移勞動力、農(nóng)村向城市遷移勞動力的失業(yè)率，分別為9.1%、7.9%和3.6%.如果在遷移模型中忽略了遷移存量，將導(dǎo)致高估其他解釋變量對遷移的影響（greenwood，1969）。按照格林伍得的方法，遷移存量應(yīng)該是以1995年為時點，計算出生在省且居住在省的所有人口。由于中國人口普查資料只提供了出生后一直住在本地和1995年11月1日之前遷入本地等資料，因此，我們采用1995年11月1日之前遷入本地人口指標作為遷移存量的變量。本文中長表的遷移存量包括所有人口，微觀數(shù)據(jù)的遷移存量只包括15～64歲的人口。我們預(yù)期遷移存量對人口遷移有正向效應(yīng)。
在分析地區(qū)人均收入差異和經(jīng)濟增長中，貿(mào)易開放程度通常被看做是影響地區(qū)收入增長的重要因素（barro和sala-i-martin，1995；cai等，2002）。貿(mào)易開放程度越高，參與國際市場一體化程度也越高。但是，扭曲的貿(mào)易和發(fā)展戰(zhàn)略也同樣起到擴大出口，提高gdp中的貿(mào)易份額比重。相比之下，外商直接投資是國外投資者的選擇。從長期來看，為了獲得最大利潤和規(guī)避風(fēng)險，國外企業(yè)在其投資過程中要對各地的產(chǎn)品和要素市場發(fā)育情況、體制與政策的透明度等因素進行綜合考慮，并最終做出投資選擇。外資企業(yè)進入之后，它利用勞動力市場來解決用人需求，這與國有企業(yè)的人事制度形成鮮明對比。因此，我們選擇了外商直接投資作為市場化程度的變量，來分析它們對人口遷移的影響。改革以來，雖然所有省份的外商直接投資數(shù)量都在增加，但東部地區(qū)與中西部地區(qū)之間的差異在不斷擴大。中國人口遷移流向分布主要集中在東部地區(qū)，這與東部地區(qū)對市場化改革程度較高是分不開的。四、回歸結(jié)果與討論
方程1～3是利用第五次人口普查長表資料得到的回歸結(jié)果，方程4、5是利用第五次全國人口普查微觀數(shù)據(jù)得到的回歸結(jié)果。由于海南、重慶、與其他省會之間距離未能得到，在回歸中剔除了這3個地區(qū)，長表資料中實際用于回歸的樣本數(shù)量為756個。在微觀數(shù)據(jù)中，由于有些省份的遷移率或農(nóng)村向城市遷移勞動力數(shù)量為零，取對數(shù)后，這些數(shù)據(jù)變成缺省值，所以用于回歸的樣本數(shù)量為506個。
從表4回歸結(jié)果看，利用長表資料得到的回歸方程，解釋了大約60%的所有人口跨省遷移的行為；用微觀數(shù)據(jù)得到的回歸方程，解釋了大約30%的跨省農(nóng)村勞動力向城市遷移的行為。表4的非對稱雙對數(shù)遷移模型估計結(jié)果也表明，遷入地社會經(jīng)濟變量對人口遷移的影響大于遷出地這些變量所發(fā)揮的作用。
回歸方程1～5中大多數(shù)解釋變量的回歸系數(shù)t值，如遷移距離、人均消費水平、失業(yè)率、遷移存量等，都達到了1%或5%的顯著性水平，并且作用方向上與前面的理論預(yù)期結(jié)果也基本一致。
表4中回歸方程1和2的區(qū)別是采用了不同的失業(yè)率數(shù)據(jù)，前者是1995年的失業(yè)率，后者是2000年的失業(yè)率。使用1995年失業(yè)率數(shù)據(jù)雖然有助于克服內(nèi)生性問題，但方程1中遷出地失業(yè)率回歸系數(shù)的絕對值大于遷入地失業(yè)率回歸系數(shù)的絕對值，這個結(jié)果可能與現(xiàn)實情況并不吻合。
1995～2000年，中國城市就業(yè)環(huán)境發(fā)生了急劇變化。伴隨著國有企業(yè)改革和城市社會福利體制改革，企業(yè)大量富余人員被釋放出來，城市失業(yè)率迅速上升。為了解決本地城市職工就業(yè)問題，不少地方政府采取了城市就業(yè)保護政策，這勢必對以就業(yè)為目的的勞動力流動產(chǎn)生較大影響。遷移者是理性的，如果目的地的就業(yè)機會較小，遷移者將選擇不流動，以減少遷移風(fēng)險和成本。這樣，遷入地的就業(yè)機會就顯得更為重要。
表4遷移決定因素回歸結(jié)果
注：（1）采用異方差檢驗方法（breusch-pagan/cook-weisberg）發(fā)現(xiàn)，表中回歸方程的依次為：7.85、1.54、1.38、2.80、4.85.我們對回歸方程1、5采用robust估計來消除異方差的影響。（2）方程1和5的括號內(nèi)為robustt值，方程2～4括號內(nèi)為t值，*代表5%顯著性水平，**代表1%顯著性水平。
考慮到2000年失業(yè)率真實地反映了就業(yè)環(huán)境的變化，我們以回歸方程2為基準，分析不同因素對遷移的影響，并進行比較。在其他條件不變的情況下，遷移距離上升1%，遷移率下降1.08%.受遷移距離的影響，2000年跨省遷移人口比例不到30%，絕大多數(shù)遷移人口選擇了省內(nèi)流動。遷移距離在空間位置上是固定的，但改善交通運輸條件和制定合理的交通價格有利于減少遷移者的遷移成本，促進勞動力流動。
在做遷移決策時，潛在的遷移者不僅要考慮兩地之間直接的收入差距，而且還要考慮到就業(yè)機會大小。在回歸方程2中，遷入地人均消費水平回歸系數(shù)在絕對值上是遷出地的近4倍，但遷入地失業(yè)率回歸系數(shù)在絕對值上是遷出地的3倍以上。遷入地失業(yè)率對遷移決策較大的邊際影響與遷移者面臨的選擇有關(guān)。本地勞動力市場狀況是既定的，遷移者對它別無選擇。相反，遷移者對遷入地勞動力市場是可以進行選擇的，失業(yè)率越高的地區(qū)，遷入數(shù)量就會下降。
目的地的就業(yè)信息提供和幫助，對遷移決策有重要作用。遷移存量的回歸系數(shù)也證實了這一點。社會網(wǎng)絡(luò)等非正規(guī)信息渠道雖然在遷移中發(fā)揮著重要作用，但隨著人口流動規(guī)模擴大，加快勞動力市場信息體系建設(shè)就顯得非常重要。
將外商直接投資變量引入回歸方程2，就得到回歸方程3.引入這個變量之后，遷移距離和失業(yè)率等解釋變量的回歸系數(shù)及其顯著性變化不大，而人均消費水平的回歸系數(shù)及其顯著性發(fā)生較大改變。從絕對值來看，方程3中的人均消費水平回歸系數(shù)小于回歸方程2中的回歸系數(shù)估計值，遷出地人均消費水平的回歸系數(shù)顯著性有所下降，主要是人均消費水平與外商直接投資之間存在較高相關(guān)關(guān)系導(dǎo)致的結(jié)果（注：人均消費水平與外商直接投資的相關(guān)系數(shù)為0.56.）。跨省人口遷移比例主要分布在東部地區(qū)，它與外商直接投資之間存在較強的相關(guān)關(guān)系（注：外商直接投資與遷移存量之間的相關(guān)系數(shù)為0.76.），引入外商直接投資變量之后，遷移存量的回歸系數(shù)數(shù)值下降約50%.為了觀察城市勞動力市場對農(nóng)村勞動力遷移決策的影響，我們利用微觀數(shù)據(jù)做進一步分析?；貧w方程4引入了農(nóng)村遷移勞動力的失業(yè)率，回歸結(jié)果進一步支持上述發(fā)現(xiàn)，即遷入地的就業(yè)機會對遷移者來說更為重要?；貧w方程5引入了城市勞動力失業(yè)率。結(jié)果表明，城市失業(yè)率對于農(nóng)村勞動力跨省遷移率有顯著性影響，其回歸系數(shù)在絕對值上不僅大于回歸方程4中失業(yè)率的回歸系數(shù)，而且大于回歸方程2中的回歸系數(shù)，這說明城市勞動力市場就業(yè)形勢確實對農(nóng)村勞動力的遷移決策有重要作用。改善城市就業(yè)環(huán)境將有利于促進農(nóng)村勞動力流向城市，起到加速城市化的作用。
五、結(jié)論
20世紀80年代以來在中國出現(xiàn)的大規(guī)模人口遷移現(xiàn)象，不僅具有發(fā)展中國家從落后的農(nóng)業(yè)經(jīng)濟向工業(yè)經(jīng)濟轉(zhuǎn)變的一般特征，還具有從計劃經(jīng)濟向市場經(jīng)濟轉(zhuǎn)變的特殊性。將二者結(jié)合在一起，既有助于考察中國獨特的制度特征對人口遷移的影響，又能夠通過對中國案例研究來拓展遷移理論。
經(jīng)濟發(fā)展水平和市場發(fā)育程度在地區(qū)之間的不平衡，決定了人口遷移的基本方向不僅是從農(nóng)村向城市的遷移，而且是從中西部地區(qū)向東部地區(qū)的遷移。既然中國經(jīng)濟的進一步增長仍然有賴于從生產(chǎn)要素市場發(fā)育從而勞動力流動中獲得資源重新配置效率（注：約翰森（johnson，1999）認為，在今后30年，如果遷移障礙被逐漸拆除，同時城鄉(xiāng)收入水平在人力資本可比的條件下達到幾乎相等的話，勞動力部門間轉(zhuǎn)移可以對年經(jīng)濟增長率貢獻2～3個百分點。），加快中西部地區(qū)市場制度的建設(shè)，特別是清除阻礙勞動力市場發(fā)育的各種制度，可以引導(dǎo)和規(guī)范人口遷移，使其不僅具有微觀理性，而且具有更加理性的宏觀后果。市場化改革措施（如擴大外商直接投資和對外貿(mào)易等）所帶來的經(jīng)濟發(fā)展將有助于獲得“一石二鳥”的功效，也就是講，它為勞動力流動不斷營造同樣的發(fā)展環(huán)境，并在創(chuàng)造就業(yè)機會的同時，推進城鄉(xiāng)戶籍制度改革。
「作者簡介蔡昉中國社會科學(xué)院人口與勞動經(jīng)濟研究所所長、研究員；王德文中國社會科學(xué)院人口與勞動經(jīng)濟研究所，副研究員。
「參考文獻
1.中國社會科學(xué)院人口研究所（1988）：《中國74城鎮(zhèn)遷移抽樣調(diào)查（1986）》，《中國人口科學(xué)》編輯部。
2.國家統(tǒng)計局（1988）：《1987年全國1%人口抽樣調(diào)查資料》，中國統(tǒng)計出版社。
3.國家統(tǒng)計局（1997）：《1995年全國1%人口抽樣調(diào)查資料》，中國統(tǒng)計出版社。
4.國務(wù)院人口普查辦公室（1993）：《中國1990年人口普查資料》，中國統(tǒng)計出版社。
5.國務(wù)院人口普查辦公室（2002）：《中國2000年人口普查資料》，中國統(tǒng)計出版社。
6.barro，r.&x.sala-i-martin（1995），economicgrowth.newyork：mcgrawhi，inc.
7.cai，fang（1999），spatialpatternsofmigrationunderchina''''sreformperiod，asianandpacificmigrationjournal，vol.8，no.3.
8.cai，fanganddewenwang（1999），sustainabilityofeconomicgrowthandlabourcontributioninchina，journalofeconomicresearch，no.10.
9.cai，fang，dewenwangandyangdu（2002），regionaldisparityandeconomicgrowthinchina：theimpactoflabormarketdistortions，chinaeconomicreview，13，197-212.
10.cook，sarah（1999），surpluslaborandproductivityinchineseagriculture：evidencefromhouseholdsurveydata，thejournalofdevelopmentstudies，vol.35，no.3：16-44.
11.fields，g.s.（1974），rural-urbanmigration，urbanunemploymentandunderemployment，andjob-searchactivityinldcs，journalofdevelopmenteconomics2，165-187.
12.fields，g.s.（1979），placetoplacemigration：somenewevidence，reviewofeconomicsandstatistics，vol.61，issue1，21-32.
13.greenwood，j.michael（1969），ananalysisofthedeterminantsofgeographiclabormobilityintheunitedstates，reviewofeconomicsandstatistics，vol.51，issue2，189-194.
14.greenwoodj.michad（1975），researchoninternalmigrationintheunitedstates：asurvey，journalofeconomicliterature，vol.13，issue2，397-433.
15.harris，j.，andm.todaro（1970），migration，unemploymentanddevelopment：atwosectoranalysis，americaeconomicreview40，126-142.
16.jefferson，g.h.andt.g.rawski（1992），unemployment，underemploymentandemploymentpolicyinchina''''scities，modernchina，18（1），42-71.
17.johnson，d.gale（1999），agriculturaladjustmentinchina：thetaiwanexperienceanditsimplications，officeofagriculturaleconomicsresearch，theuniversityofchicago.
18.leweis，w.a.（1954），economicdevelopmentwithunlimitedsuppliesoflabor，themanchesterschoolofeconomicandsocialstudies22，139-191，reprintedina.n.agarwalaands.p.singh（eds.），theeconomicsofunderdevelopment.bombay：oxforduniversitypress，1958.
19.lin，j.yifu，fangcai，andzhouli（1996），thechinamiracle：developmentstrategyandeconomicreform，hongkong：chineseuniversitypress.
20.lowry，i.s.（1966），migrationandmetropolitangrowth：twoanalyticalmodels.sanfrancisco：chandlerpublishing.
21.meng，xin（2000），labormarketreforminchina，cambridge，uk：cambridgeuniversitypress.
22.o''''neill，j.a.（1970），theeffectofincomeandeducationoninter-regionalmigration，unpublishedph.d.dissertation，columbiauniversity.
23.schultz，t.paul（1982），lifeiimemigrationwithineducationalstratainvenezuela：estimatesofalogisticmodel，economicdevelopmentandculturalchange，30（3），559-594.
24.solinger，d.（1995），thechineseworkunitandtransientlaborinthetransitionfromsocialism，modernchina，21（2），155-183.
25.solinger，d.（1999），citizenshipissuesinchina''''sinternalmigration：comparisonswithgermanyandjapan，politicalsciencequarterly，vol.114，no.3，455-478.
1.1數(shù)據(jù)采集系統(tǒng)
大數(shù)據(jù)時代，大數(shù)據(jù)有著來源復(fù)雜、體量巨大、價值潛伏等特點，這使得大數(shù)據(jù)分析必然要依托計算機技術(shù)予以實現(xiàn)．因此從兩個方向上加強數(shù)據(jù)采集統(tǒng)建設(shè)，一是側(cè)重于數(shù)據(jù)的處理與表示，強調(diào)采集、存取、加工和可視化數(shù)據(jù)的方法;二是研究數(shù)據(jù)的統(tǒng)計規(guī)律，側(cè)重于對微觀數(shù)據(jù)本質(zhì)特征的提取和模式發(fā)現(xiàn)，在兩個方向上的協(xié)同、均衡推進，以此來保障大數(shù)據(jù)平臺應(yīng)用的穩(wěn)健成長和可持續(xù)發(fā)展．廣電的網(wǎng)絡(luò)和用戶是其核心資產(chǎn)，而其中流動的數(shù)據(jù)(包括用戶基礎(chǔ)數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、網(wǎng)管/日志數(shù)據(jù)、用戶位置數(shù)據(jù)、終端信息等)是核心數(shù)據(jù)資產(chǎn)．對于廣電運營商來說，最有價值的數(shù)據(jù)來自基礎(chǔ)網(wǎng)絡(luò)，對于基礎(chǔ)網(wǎng)絡(luò)數(shù)據(jù)的挖掘和分析是運營商大數(shù)據(jù)挖掘的最重要方向．因此其數(shù)據(jù)采集的目標包括機頂盒數(shù)據(jù)、CRM數(shù)據(jù)、帳務(wù)數(shù)據(jù)、客服數(shù)據(jù)、運維數(shù)據(jù)、媒資數(shù)據(jù)、GIS數(shù)據(jù)、財務(wù)數(shù)據(jù)和其他手工錄入、表格數(shù)據(jù)．采集頻率要求可以實現(xiàn)實時采集和定時批量采集．采集這類數(shù)據(jù)帶來一個問題就是各類數(shù)據(jù)雜亂無章，會導(dǎo)致數(shù)據(jù)質(zhì)量問題越來越嚴重，通過引進實時質(zhì)量監(jiān)控和清洗技術(shù)，建設(shè)強大的分布式計算和集群能力，提高數(shù)據(jù)監(jiān)控和數(shù)據(jù)采集性能，利用分布式處理技術(shù)，實現(xiàn)數(shù)據(jù)抽取、數(shù)據(jù)清洗以及相應(yīng)的數(shù)據(jù)質(zhì)量檢查工作，保證采集到高質(zhì)量的數(shù)據(jù)，將廣電大數(shù)據(jù)中心建設(shè)成一個覆蓋廣電系統(tǒng)全部數(shù)據(jù)的存儲中心，具備采集各類結(jié)構(gòu)化、非結(jié)構(gòu)化海量數(shù)據(jù)的處理能力．
1.2數(shù)據(jù)分析中心
廣電企業(yè)每時每刻都在產(chǎn)生大量的數(shù)據(jù)，需要對這些數(shù)據(jù)歸集、提煉，廣電企業(yè)大數(shù)據(jù)平臺建設(shè)的意義在于有效掌握規(guī)模龐大的數(shù)據(jù)信息，對這些數(shù)據(jù)信息進行智能處理，從中分析和挖掘出有價值的信息．在廣電大數(shù)據(jù)分析中需要對直播節(jié)目分析、互動業(yè)務(wù)分析、互聯(lián)網(wǎng)流量分析、互聯(lián)網(wǎng)內(nèi)容分析、廣電客戶分析、市場收益分析、智能內(nèi)容推送和廣告分析等，通過這類數(shù)據(jù)分析，能夠?qū)崟r了解廣電運營商的經(jīng)營狀況，提供決策支持．因此采用兩種方式分析方法對收集到的數(shù)據(jù)進行分析處理．一是采用在線分析方法技術(shù)，使分析人員能夠迅速、一致、交互地從各個方面觀察信息，以達到深入理解數(shù)據(jù)的目的．這些信息是從原始數(shù)據(jù)直接轉(zhuǎn)換過來的，他們以用戶容易理解的方式反映企業(yè)的真實情況．在線分析策略是將關(guān)系型的或普通的數(shù)據(jù)進行多維數(shù)據(jù)存貯，以便于進行分析，從而達到在線分析處理的目的．這種多維數(shù)據(jù)存儲可以被看作一個超立方體，沿著各個維方向存貯數(shù)據(jù)，它允許分析人員沿事物的軸線方便地分析數(shù)據(jù)，分析形式一般有切片和切塊以及下鉆、挖掘等操作．二是數(shù)據(jù)挖掘是從海量、不完全的、有噪聲的數(shù)據(jù)中挖據(jù)出隱含的、未知的、用戶可能感興趣的和對決策有潛在價值的知識和規(guī)則．這些規(guī)則蘊含了數(shù)據(jù)庫中一組對象之間的特定關(guān)系，揭示出一些有用的信息，可以為經(jīng)營決策、市場策劃和金融預(yù)測等方面提供依據(jù)．
1.3數(shù)據(jù)應(yīng)用中心
在大數(shù)據(jù)分析平臺應(yīng)用過程中，數(shù)據(jù)本身并不是數(shù)據(jù)分析和數(shù)據(jù)挖掘的重點，重點在于如何應(yīng)用這些技術(shù)去解決企業(yè)在運營中實際的商業(yè)問題．通過對數(shù)據(jù)分析和挖掘，了解企業(yè)運行過程存在問題，預(yù)判企業(yè)中各類業(yè)務(wù)發(fā)展走向．對數(shù)據(jù)分析與挖掘結(jié)果來說主要有兩個方面，一是將分析結(jié)果給客戶使用，另一個是將分析結(jié)果提供給內(nèi)部用戶使用，因此在大數(shù)據(jù)分析平臺設(shè)計中，將數(shù)據(jù)應(yīng)用劃分為三個應(yīng)用中心:
1)推薦中心
推薦中心面向收視、寬帶使用用戶，通過分析使用用戶的收視、互聯(lián)網(wǎng)、消費等行為，將使用用戶分群，總結(jié)群體特征，向不同群體推薦個性化的電視節(jié)目、廣告和增值應(yīng)用服務(wù)．從而提升用戶的使用體驗，提升用戶的滿意度和粘度．
2)決策中心
決策中心面向廣電企業(yè)內(nèi)部決策者、管理者、經(jīng)營分析人員，通過對企業(yè)經(jīng)營數(shù)據(jù)的KPI、運營監(jiān)控、經(jīng)營盤點，使企業(yè)決策者掌握企業(yè)運營狀況及發(fā)展趨勢;智能報告協(xié)助分析人員自動定位經(jīng)營中的問題;即席查詢在預(yù)定義的語義層基礎(chǔ)上，實現(xiàn)靈活的自定義查詢;通過主題分析滿足各部門、崗位的多維度分析需求;通過專題分析就某一具體問題進行深入挖掘，輔助專業(yè)分析人員的工作;統(tǒng)計報表滿足各部門常規(guī)統(tǒng)計需求．
3)服務(wù)中心
服務(wù)中心面向廣電的合作伙伴，比如:電視臺、廣告商、服務(wù)和內(nèi)容提供商、相關(guān)政府職能部門等．通過對使用用戶收視行為的實時分析，將電視欄目實時收視率提供給電視臺，電視臺根據(jù)收視率進行在線的問卷調(diào)查，提高電視臺的影響力，幫助其增強欄目的評價體系．為廣告商提供精準的廣告投放策略，實時準確的廣告投放評估，幫助廣告商提升廣告到達率、準確度和營銷效果．為服務(wù)和內(nèi)容提供商的電影、電視和增值應(yīng)用等產(chǎn)品提升收視率和使用頻率，并進行評估，為其提供受眾喜好特征，幫助其推出有針對性的產(chǎn)品．通過用戶收視數(shù)據(jù)、節(jié)目反饋等信息，將相關(guān)輿情向相關(guān)政府部門匯報．
1.4系統(tǒng)管理
系統(tǒng)管理是大數(shù)據(jù)分析平臺一個輔助功能模塊，主要是為了系統(tǒng)管理員對大數(shù)據(jù)平臺進行有效的監(jiān)控和管理，提升大數(shù)據(jù)分析平臺性能使用，包含有如下幾個模塊:權(quán)限管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、調(diào)度管理、系統(tǒng)監(jiān)控等．
2數(shù)據(jù)應(yīng)用分析
移動互聯(lián)網(wǎng)的發(fā)展為傳統(tǒng)行業(yè)帶來了新的思考，如何在互聯(lián)網(wǎng)時代更好地實現(xiàn)以客戶為中心的服務(wù)理念，借助大數(shù)據(jù)分析平臺、海量的客戶非結(jié)構(gòu)化的行為數(shù)據(jù)和傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，可以有效提升廣電個性化、人性化的服務(wù)水平．大數(shù)據(jù)分析平臺通過整合廣電網(wǎng)絡(luò)中多個數(shù)據(jù)源，并按照主題進行劃分，在定義主題的過程中，提供廣電業(yè)務(wù)概念的規(guī)范定義．?dāng)?shù)據(jù)模型不偏重于面向某個應(yīng)用，而是站在企業(yè)角度統(tǒng)攬全局，提供可擴展的模型設(shè)計，偏范式化的設(shè)計使平臺在最大程度上保持一致和靈活擴展性．依托某廣電網(wǎng)絡(luò)公司業(yè)務(wù)開展情況，搭建數(shù)據(jù)分析平臺，具有如圖2所示的主題結(jié)構(gòu)，共計8大類53小類，從廣電網(wǎng)絡(luò)運營的各個方面進行了數(shù)據(jù)分析．
2.1直播節(jié)目分析主題
直播電視節(jié)目作為廣電運營模式中一直沿用的產(chǎn)品類型，對于廣電用戶的影響和廣電運營商運營模式起著至關(guān)重要的作用．實時直播節(jié)目分析，用戶可以實時查看每個時間點上每個節(jié)目收視率，以此為據(jù)來指導(dǎo)產(chǎn)品定制、節(jié)目選擇、用戶推廣等方面的商業(yè)應(yīng)用，對直播節(jié)目的多維度分析，運營商可深入分析直播節(jié)目收視特性及受眾影響規(guī)律，以指導(dǎo)運營優(yōu)化，提高節(jié)目的收視率和營收．
2.2多媒體業(yè)務(wù)分析主題
廣電行業(yè)的雙向網(wǎng)絡(luò)改造不僅將視頻點播、通信及娛樂業(yè)務(wù)成為可能，同時配備增值業(yè)務(wù)，如廣告、支付、股票、游戲、付費節(jié)目等服務(wù)．可以明顯看到哪類業(yè)務(wù)最受歡迎，哪類業(yè)務(wù)的增長趨勢良好，哪類業(yè)務(wù)應(yīng)用下滑得較快，哪類業(yè)務(wù)不受用戶歡迎，從這樣的分析結(jié)果中，可以為廣電網(wǎng)絡(luò)以后的業(yè)務(wù)引進中提供指導(dǎo)，避免引進的業(yè)務(wù)不受用戶歡迎，同時也可以預(yù)見性的引進一些代表將來趨勢性的業(yè)務(wù)，提前做好業(yè)務(wù)儲備工作．互動業(yè)務(wù)的互動特性為廣電運營商增加客戶粘度、制定產(chǎn)品投放策略、獲取最大化收益及市場價值提供了前所未有的空間，通過對互動業(yè)務(wù)的應(yīng)用分析，可以分析出用戶的行為趨勢．利用這樣的分析結(jié)果改善廣電業(yè)務(wù)引進，提高用戶的粘度和ARPU值．
2.3互聯(lián)網(wǎng)應(yīng)用分析主題
廣電作為政府宣傳的喉舌，一個主要的特點就是可管可控，相對此而言，互聯(lián)網(wǎng)網(wǎng)絡(luò)一個重要特點就是用戶各類行為的不可控性．在三網(wǎng)融合的新環(huán)境下，廣電網(wǎng)絡(luò)一個重大改變就是引進了互聯(lián)網(wǎng)業(yè)務(wù)，同時通過多屏互動技術(shù)使廣電終端類型日益復(fù)雜，如何對廣電網(wǎng)絡(luò)引進的互聯(lián)網(wǎng)業(yè)務(wù)和終端進行有效的管控，成為擺在廣電網(wǎng)絡(luò)運營商面前一個重要課題．運營商可以清晰地看到用戶在討論什么、在看什么，以此來分析用戶將來可能采取的行為趨勢，進而來引導(dǎo)用戶輿論與行為，實現(xiàn)對廣電網(wǎng)絡(luò)的可管可控的最終目的．同時廣電網(wǎng)絡(luò)也可以利用互聯(lián)網(wǎng)數(shù)據(jù)從如下兩方面做了分析，運營流量及應(yīng)用優(yōu)化，節(jié)省網(wǎng)絡(luò)帶寬，減少運營費，同時用以提高用戶體驗度，增加用戶粘性;充分利用線上、線下同步運營模式，深入挖掘線上討論內(nèi)容，為線下運營提供指導(dǎo)．
2.4廣電客戶分析主題
在三網(wǎng)融合的環(huán)境下，廣電網(wǎng)絡(luò)在逐漸擺脫事業(yè)單位模式下經(jīng)營模式，向“市場驅(qū)動”、“客戶驅(qū)動”經(jīng)營模式的轉(zhuǎn)變，“以客戶為中心”的理念和策略不可或缺，而廣電網(wǎng)絡(luò)擁有的客戶群和常規(guī)用戶分析的客戶群體有著本質(zhì)區(qū)別，以往分析往往針對個體用戶進行分析，廣電網(wǎng)絡(luò)面向的用戶通常是以家庭為單位的，這給廣電網(wǎng)絡(luò)用戶行為分析帶來不可預(yù)料的困難．通過針對用戶群體不同年齡、不同時間段的收視行為和上網(wǎng)行為分析，可以區(qū)分某一時間段內(nèi)該家庭用戶內(nèi)個人的行為，可以清晰看到各類用戶在各個階段的變化情況，以及這個變化給廣電網(wǎng)絡(luò)運營帶來的變化．從用戶信息出發(fā)，以用戶應(yīng)用行為為主線，深入挖掘用戶關(guān)系，為廣電用戶關(guān)系管理提供有效基礎(chǔ)數(shù)據(jù)，提高用戶滿意度、忠誠度，提高廣電網(wǎng)絡(luò)市場運作的主動性．
2.5市場收益分析主題
三網(wǎng)融合后，廣電網(wǎng)絡(luò)作為一個市場主體，需要適應(yīng)日趨激烈的市場競爭環(huán)境，提升廣電運營商的企業(yè)核心競爭力，應(yīng)充分利用業(yè)務(wù)支撐系統(tǒng)產(chǎn)生的大量寶貴的數(shù)據(jù)資源，建立廣電企業(yè)收益分析系統(tǒng)，實現(xiàn)對收益數(shù)據(jù)的智能化加工和處理，為市場運營工作提供及時、準確、科學(xué)的決策依據(jù)．利用先進的OLAP技術(shù)和數(shù)據(jù)挖掘技術(shù)，幫助企業(yè)的經(jīng)營決策層了解企業(yè)經(jīng)營的現(xiàn)狀，發(fā)現(xiàn)企業(yè)運營的優(yōu)勢和劣勢，預(yù)測未來趨勢;幫助細分市場和客戶，指導(dǎo)營銷、客服部門進行有針對性的營銷和高效的客戶關(guān)系管理;對決策的執(zhí)行情況和結(jié)果進行客觀準確的評估，深受用戶的青睞．如圖7所示的收益分析結(jié)果，可以清晰看出企業(yè)各類業(yè)務(wù)在營收中所占比例，可以明確了解哪類業(yè)務(wù)是企業(yè)的優(yōu)質(zhì)業(yè)務(wù)，哪類業(yè)務(wù)需要進一步加強開拓市場，同時也可以預(yù)測哪類業(yè)務(wù)會有更大的推廣空間，為企業(yè)持續(xù)開展業(yè)務(wù)提供指導(dǎo)．
2.6智能內(nèi)容推送主題
深層次挖掘用戶潛在的需求，以用戶的需求為導(dǎo)向，向用戶推送有針對性的內(nèi)容．廣電運營商通過對用戶差異性的運營策略，激發(fā)用戶參與的熱情，讓用戶有持續(xù)的良好體驗，提升對用戶的吸引力和黏著度．信息精準、智能推送的關(guān)鍵在于把握住用戶的行為習(xí)慣，同時讓每一個用戶都可以按自己需求方便、快捷地調(diào)整、歸類相關(guān)信息．大數(shù)據(jù)分析平臺基于用戶行為收集分析系統(tǒng)，挖掘出用戶潛在需求，充分了解了用戶的真實意愿，將有助于廣電運營商建立以客戶為中心的服務(wù)理念，提升社會影響力．
2.1數(shù)據(jù)抽取Agent
數(shù)據(jù)抽取Agent（DA）主要實現(xiàn)對網(wǎng)上電子數(shù)據(jù)交換的單證進行監(jiān)控性或合法性的格式檢查，并從不同的單證中自動地抽取出所需的數(shù)據(jù)項，提交給交互協(xié)調(diào)Agent，以便進行分析和統(tǒng)計。其對單證格式檢查的要求，以及數(shù)據(jù)抽取的要求統(tǒng)一由交互協(xié)調(diào)Agent管理。Agent實時監(jiān)測網(wǎng)上電子交換系統(tǒng)單證的收發(fā)，當(dāng)用戶收到或發(fā)送單證時，它就會自動提取單證中的數(shù)據(jù)，根據(jù)單證的種類、知識庫中處理要求，進行數(shù)據(jù)處理和存儲，并發(fā)送給交互協(xié)調(diào)Agent分析統(tǒng)計或報警。
2.2計算統(tǒng)計Agent
計算統(tǒng)計Agent（TA）主要對抽取出的單證數(shù)據(jù)按類別、時間、對象等多角度，采用馬爾可夫、多元回歸、指數(shù)等多種方法進行分析統(tǒng)計。因此，需要建立模型庫、知識庫對不同的單證進行不同要求的處理。計算統(tǒng)計Agent的組織結(jié)構(gòu)圖如圖1所示。
TA會根據(jù)由交互協(xié)調(diào)Agent設(shè)定好的要求，當(dāng)收到的相應(yīng)單證數(shù)達到一定數(shù)目或者是積累了到預(yù)定的時間時，自動會進行分析和統(tǒng)計，如銷售單處理中的本月單證數(shù)目，本月銷售額、最大額銷售情況、下月的銷售量預(yù)測、最優(yōu)庫存量等。
2.3交互協(xié)調(diào)Agent
交互協(xié)調(diào)Agent（CA）是系統(tǒng)的關(guān)鍵，它既是與用戶溝通的橋梁，又是與各Agent交互協(xié)調(diào)工作的核心，其主要任務(wù)是實現(xiàn)問題求解的任務(wù)分配、調(diào)度和協(xié)作交互。為實現(xiàn)CA的交互協(xié)調(diào)和交互流程的一致，存放CA與其他Agent間的任務(wù)請求和分配信息；存放問題求解過程中的協(xié)作要求和參數(shù)信息；存放其他Agent的處理描述性信息，供CA分配任務(wù)時使用。
2.4Agent之間的通信與協(xié)作
在系統(tǒng)中，Agent之間的通訊是基于消息的通訊機制，利用消息完成傳遞服務(wù)請求及協(xié)調(diào)Agent之間的同步。DA和TA根據(jù)消息通訊來獲取環(huán)境信息、任務(wù)、結(jié)果反饋信息；DA的每一個監(jiān)控和執(zhí)行任務(wù)以及TA的每一個計算統(tǒng)計任務(wù)都可以表示為一個任務(wù)提交者CA向承擔(dān)者DA和TA發(fā)送任務(wù)消息；監(jiān)控和數(shù)據(jù)抽取任務(wù)的實施或暫停是由CA向DA發(fā)送任務(wù)消息，其監(jiān)控和數(shù)據(jù)抽取的結(jié)果則通過向CA回送消息予以體現(xiàn)；同樣，計算統(tǒng)計的實施過程是TA接收到消息后產(chǎn)生狀態(tài)變化的過程，其計算分析結(jié)果通過向CA回送消息予以體現(xiàn)，并由此來實現(xiàn)多Agent間的共享和合作運行。
3網(wǎng)絡(luò)單證數(shù)據(jù)數(shù)據(jù)分析系統(tǒng)
3.1系統(tǒng)結(jié)構(gòu)
網(wǎng)絡(luò)單證數(shù)據(jù)數(shù)據(jù)分析系統(tǒng)是嵌入在原有的網(wǎng)上電子數(shù)據(jù)交換系統(tǒng)之上，主要由交互協(xié)作Agent、數(shù)據(jù)抽取Agent和計算統(tǒng)計Agent構(gòu)成，還包括了與原系統(tǒng)的接口。網(wǎng)絡(luò)單證數(shù)據(jù)數(shù)據(jù)分析系統(tǒng)結(jié)構(gòu)圖2所示。
從圖2可知，CA控制協(xié)調(diào)DA和TD，以及控制數(shù)據(jù)接口和人機接口，而DA與數(shù)據(jù)接口僅有數(shù)據(jù)傳遞的連接關(guān)系，數(shù)據(jù)傳遞與否受CA的控制；數(shù)據(jù)接口是原網(wǎng)上電子數(shù)據(jù)交換系統(tǒng)與本系統(tǒng)的數(shù)據(jù)交換通道，只面向數(shù)據(jù)共享的要求；人機接口是為用戶進行任務(wù)設(shè)置而設(shè)計的，一旦任務(wù)設(shè)置后，系統(tǒng)可自動按設(shè)置值運行，無需外界干預(yù)。
3.2EDIDA的工作流程
通過人機接口，由用戶向CA進行任務(wù)設(shè)置；
CA對設(shè)置的任務(wù)進行分解；
各Agent獨立地進行工作，求解相應(yīng)的問題；
由CA協(xié)調(diào)DA、TA的在求解中的問題請求，按上述的交互協(xié)作流程來完成任務(wù)；
CA會按要求的格式傳遞給設(shè)置的服務(wù)器，進行記錄和提示；
在CA獲得TA的統(tǒng)計分析結(jié)果后，按要求的傳遞給設(shè)置的服務(wù)器進行記錄、輸出、保存、打印。
CA對整個執(zhí)行過程記錄存儲，以優(yōu)化模型和知識的選擇和比較對比；
3.3網(wǎng)上手機訂貨數(shù)據(jù)的分析
在原有的網(wǎng)上電子數(shù)據(jù)交換系統(tǒng)中，有關(guān)于商家和供應(yīng)商間網(wǎng)上手機訂單處理。為此，將EDIDA嵌入后進行Motorola手機訂單的數(shù)據(jù)處理，包括訂單中訂貨數(shù)量的監(jiān)控、2007年7月的訂貨數(shù)量的預(yù)測。
對訂單中訂貨數(shù)量的監(jiān)控，采用的方法是：訂貨量大于30部時，產(chǎn)生5秒的告警聲并記錄該單證號；對于2007年7月訂貨數(shù)量的預(yù)測，采用的方法是：選用最小二乘法模型ZXRC、指數(shù)加權(quán)移動平均模型YDJQ、三項和比例模型SXBL這三個模型來預(yù)測2007年7月的訂貨數(shù)量，并由CA根據(jù)評選規(guī)則來確定最后預(yù)測值，預(yù)測結(jié)果如表1所示。
表中“*”號是指訂貨量大于30部的報警次數(shù)，具體的訂貨量大于30部各訂單號則保存在CA的數(shù)據(jù)庫中。預(yù)測結(jié)果的最終選定由CA根據(jù)知識庫中規(guī)則來確定，評選的規(guī)則有：平均法，即對每個結(jié)果進行算術(shù)平均，把平均結(jié)果作為最后結(jié)果。去掉最大和最小法，再對剩下的結(jié)果進行算術(shù)平均。取中間值法，即最靠近中間的值，若中間值有兩個，則取其平均值為最后結(jié)果。使用頻率最高法，即根據(jù)使用成功次數(shù)，選擇成功最多的模型結(jié)果為最終結(jié)果。最大原則，即選取最大預(yù)測值為最終結(jié)果。最小原則，即選取最小預(yù)測值為最終結(jié)果。
本次預(yù)測采用平均法，即預(yù)測值=（146+135+151）/3，最終的預(yù)測結(jié)果為2007年7月Motorola手機的訂貨量為144部，與當(dāng)年實際Motorola手機訂貨量147部非常相近，并給出了季度指數(shù)。
4結(jié)語
本文采用Agent技術(shù)，提出了對網(wǎng)上電子數(shù)據(jù)交換系統(tǒng)中XML單證的監(jiān)控和統(tǒng)計分析方法和實現(xiàn)技術(shù)，初步探索了Agent在網(wǎng)絡(luò)監(jiān)控和預(yù)測領(lǐng)域中應(yīng)用，并結(jié)合實際進行了驗證。今后的研究將考慮用單個Agent來實現(xiàn)系統(tǒng)的功能，并加入黑匣子技術(shù)，面向網(wǎng)上的應(yīng)用深入開展研究。
參考文獻
［1］A.Rao,M.Georgeff.BDIagents:Fromtheorytopractice.［J］.InProceedingsoftheFirst
InternationalConferenceonMulti-AgentSystems,1995:312-319.
［2］M.J.Wooldridge,N.R.Jennings.Intelligentagents:Theoryandpractice［J］.TheKnowledgeEngineeringReview,1995,10(2):115-152.
［3］張寅生.智能Agent與Agent系統(tǒng)［J］.計算機系統(tǒng)應(yīng)用.1998，(7).
野外人工模擬降雨試驗要在前期土壤水分不飽和的狀態(tài)下進行，因此每次模擬降雨試驗只能在同一徑流小區(qū)進行一次降雨過程。為獲取更多的野外模擬降雨產(chǎn)匯流及水土流失對比數(shù)據(jù)，計劃在每個項目區(qū)的典型坡度———5°～8°、8°～15°、15°～25°分別建設(shè)坡地徑流小區(qū)。徑流小區(qū)的布設(shè)與等高線垂直，根據(jù)相關(guān)規(guī)范和實際條件，徑流小區(qū)投影面積一般為60m2，即20m(順坡投影長度)×3m(寬與等高線平行)。云縣石佛山坡耕地水土流失綜合治理試點工程水土保持監(jiān)測項目于2010年12月初完成8°、12°、15°三塊坡地小區(qū)的建設(shè)，2011年6月下旬第一次模擬降雨試驗后，為方便對比分析，根據(jù)工程進展情況在12°坡地小區(qū)旁增設(shè)一塊梯地小區(qū)。
1．2人工模擬降雨系統(tǒng)
此次人工模擬降雨試驗采用西安理工大學(xué)研制的人工模擬降雨試驗系統(tǒng)(圖1)。它基于工控組態(tài)軟件，應(yīng)用現(xiàn)有的人工模擬降雨試驗裝置，將試驗過程的常用設(shè)備和工控軟件結(jié)合在一起，增加了自動控制環(huán)節(jié)，通過對控制系統(tǒng)進行改造，解決了手動調(diào)節(jié)雨強不方便的問題，實現(xiàn)了對不同時段、不同雨強、不同分布的人工模擬降雨系統(tǒng)的手動和自動雙控制，采用監(jiān)控組態(tài)系統(tǒng)更好地滿足了人工模擬降雨試驗的需求。該人工模擬降雨系統(tǒng)可建于自然坡面上，高6m，降雨試驗區(qū)長20m、寬3m，有效降雨面積60m2。降雨系統(tǒng)布設(shè)在降雨裝置支架上，噴頭選用與天然降雨雨滴譜最為接近的X型下噴式噴頭，由4組不同噴嘴孔徑組合而成。為兼顧模擬降雨的均勻性與搭建支架的經(jīng)濟性和安全性，將系統(tǒng)在野外難以架設(shè)的固定式方鋼支架改為鋼管腳手架。頂寬超出徑流小區(qū)寬度方向兩邊各0．3m，頂端橫桿按照水管和噴頭分布架設(shè)，壓力控制裝置設(shè)4個出水管，每管對應(yīng)同一噴嘴孔徑的噴頭，共設(shè)置4組24個不同噴嘴孔徑噴頭，支架內(nèi)部無任何遮擋。壓力控制裝置可自動、手動控制出水管的全開、全關(guān)或部分開啟。本系統(tǒng)可模擬降雨強度變化范圍4～200mm/h，降雨雨強最小分辨值1．3mm/h，降雨強度控制精度0．66mm/h，降雨均勻度＞0．95。系統(tǒng)采用先進的閉環(huán)自動控制理論和技術(shù)，是一種應(yīng)用交流變頻調(diào)速器控制的人工模擬降雨自動控制設(shè)備，以降雨過程的最終實際降雨參數(shù)控制和驅(qū)動系統(tǒng)的各個降雨部件，克服了從水源到噴頭之間諸多環(huán)節(jié)對降雨的隨機影響。實驗室測試結(jié)果表明，該設(shè)備的主要性能指標優(yōu)于國內(nèi)外其他人工模擬降雨系統(tǒng)，是進行土壤產(chǎn)匯流和侵蝕規(guī)律研究的重要試驗設(shè)備。
1．3人工模擬降雨雨強
石佛山小流域位于云南省臨滄市云縣幸福鎮(zhèn)幸福村水土保持監(jiān)測項目區(qū)。模擬降雨設(shè)計頻率及雨強參照幸福雨量站。該站距項目區(qū)直線距離2km，1983年建站，有1983—2010年共28年的完整降雨資料，降雨資料質(zhì)量可靠，能滿足設(shè)計暴雨頻率分析要求。通過幸福雨量站1h短歷時暴雨頻率計算，石佛山小流域100年一遇1h降雨量為84．8mm，50年一遇1h降雨量為77．0mm，30年一遇1h降雨量為72．1mm。人
工模擬降雨采用100年一遇1h降雨過程。
2人工模擬降雨監(jiān)測結(jié)果
2．1JDZ02型自記雨量器記錄結(jié)果
人工模擬降雨試驗于2011年1月開始，至2012年9月結(jié)束，跨2年歷時40天，試驗時間分別為枯水期兩次(第一次、第三次)、主汛期兩次(第二次、第四次)。在不同坡度的徑流小區(qū)分別進行15場次的人工模擬降雨試驗。
2．2普通雨量器監(jiān)測結(jié)果
徑流小區(qū)人工模擬降雨面降雨量采用普通雨量器監(jiān)測，用算術(shù)平均法計算平均面降雨量。用普通雨量器觀測的15場次人工模擬降雨面降雨量計算結(jié)果見表3。
2．3人工模擬降雨產(chǎn)流產(chǎn)沙量監(jiān)測
人工模擬降雨雨強采用100年一遇1h降雨雨強。在模擬降雨試驗前采用移動墑情監(jiān)測儀和稱重法在各小區(qū)距地表10、20、30cm土層剖面處取土樣分別測定前期土壤含水率，并取平均值。產(chǎn)流產(chǎn)沙量的監(jiān)測是在有徑流產(chǎn)生時，每5min取1個水樣，采用加權(quán)平均法計算平均含沙量，并用容積法記錄產(chǎn)流量。監(jiān)測結(jié)果。
3試驗結(jié)果分析
3．1人工模擬降雨試驗降雨監(jiān)測結(jié)果分析
云南省人工模擬降雨試驗是全國第一次大規(guī)模使用人工模擬降雨系統(tǒng)在野外研究土壤產(chǎn)匯流和侵蝕規(guī)律的試驗。實驗室內(nèi)的環(huán)境與野外環(huán)境差距較大，在野外試驗雖然是按100年一遇的標準進行人工降雨，但是由于受風(fēng)速、風(fēng)向影響較大，加之降雨雨滴與實際還有一定差距，所以部分降雨隨風(fēng)飄落到小區(qū)之外，落到小區(qū)地面的降雨標準也因此降低?？紤]到上述情況，試驗都選在無風(fēng)或輕微風(fēng)和微風(fēng)的環(huán)境下進行。將徑流小區(qū)內(nèi)安裝的JDZ02型自記雨量器記錄的降雨雨強與設(shè)計降雨雨強進行相關(guān)性分析，相關(guān)系數(shù)都在0．6以上，說明人工模擬降雨過程與設(shè)計降雨過程之間存在強相關(guān)。根據(jù)統(tǒng)計學(xué)原理，使用Brown－Forsythe檢驗法檢驗設(shè)計降雨過程與12場次JDZ02型自記雨量器記錄降雨過程的差異性，在顯著性水平α=0．05下檢驗結(jié)果為各組之間差異不顯著。對比設(shè)計雨量與JDZ02型自記雨量器記錄結(jié)果，有7場次降雨接近或超過設(shè)計雨強，說明在徑流小區(qū)局部，人工模擬降雨雨強是達到設(shè)計要求的。對徑流小區(qū)12場次面降雨量監(jiān)測結(jié)果進行分析，小區(qū)內(nèi)模擬降雨重現(xiàn)期達到10年一遇以上的有7場，以下的有5場，最高重現(xiàn)期為13年一遇，最低為2年一遇。小區(qū)內(nèi)降雨極不均勻，單個普通雨量器收集的降雨量有的大于設(shè)計雨強，有的小于設(shè)計雨強，特別是小區(qū)兩側(cè)降雨量與設(shè)計雨量誤差最大，達到82．5mm。受風(fēng)速、風(fēng)向、試驗支架架設(shè)高度和植被的影響，用加權(quán)平均法計算出徑流小區(qū)內(nèi)21只普通雨量器的實測面平均雨量均小于設(shè)計雨量，相對誤差在－62．7%～－27．0%之間，未達到設(shè)計要求。
3．2徑流小區(qū)產(chǎn)流產(chǎn)沙情況分析
(1)8°徑流小區(qū)。由表4知，第一次模擬降雨試驗，坡地小區(qū)土壤含水率接近飽和、植被覆蓋率為0，降雨4min后開始產(chǎn)流，歷時1h，產(chǎn)流量1．402m3，產(chǎn)沙量15．6kg。第二次試驗在主汛期進行，土壤含水率接近飽和，小區(qū)內(nèi)種植玉米，植被覆蓋率為100%，降雨2min后開始產(chǎn)流，歷時62min，產(chǎn)流2145m3，產(chǎn)沙量10．2kg。第三次試驗，小區(qū)土壤含水率12．16%，植被為雜草和伐倒的玉米植株，植被覆蓋率為70%，降雨9min后開始產(chǎn)流，歷時40min，產(chǎn)流量0．064m3，產(chǎn)沙量0．015kg。該次模擬降雨面平均雨量為44．1mm，僅占設(shè)計雨量的48．5%，加之前期土壤含水率低，因此產(chǎn)流量和產(chǎn)沙量都較小。第四次試驗，小區(qū)內(nèi)種植的玉米已進入成熟期，植株較高，植被覆蓋率為100%。試驗時為減小風(fēng)力對人工模擬降雨的影響，將降雨架高度由6m減至4m。降雨27min后開始產(chǎn)流，歷時12min，產(chǎn)流量0．082m3，產(chǎn)沙量0．082kg。該次降雨面平均雨量為59．9mm，占到設(shè)計雨量的70．6%，但是由于小區(qū)前期土壤含水率低，僅為9.04%，故產(chǎn)流量和產(chǎn)沙量都較小。
(2)12°徑流小區(qū)。第一次試驗，由于模擬降雨面平均雨量小(31．6mm)，雖然前期土壤含水率高達1503%，但該次降雨條件下該小區(qū)未產(chǎn)流。第二次試驗，小區(qū)前期土壤含水率已接近飽和，植被覆蓋率達100%，降雨2min后開始產(chǎn)流，歷時58min，產(chǎn)流量1．513m3，產(chǎn)沙量20．9kg。第三次試驗，小區(qū)前期土壤含水率11．41%、植被覆蓋率70%，降雨11min后開始產(chǎn)流，歷時42min，產(chǎn)流量0．156m3，產(chǎn)沙量0．044kg。該次模擬降雨面平均雨量較大，占到設(shè)計雨量的71．3%，但是由于前期土壤含水率低，故產(chǎn)流量和產(chǎn)沙量都較小。第四次試驗，小區(qū)植被覆蓋率100%，降雨31min后開始產(chǎn)流，產(chǎn)流時間5min，產(chǎn)流量0．010m3，產(chǎn)沙量0．004kg。該次模擬降雨面平均雨量達到50．9mm，占到設(shè)計雨量的60．0%，但是受土壤含水率僅為10．59%的影響，產(chǎn)流量和產(chǎn)沙量都較小。
(3)15°徑流小區(qū)。由表4可知，第一次試驗，小區(qū)前期土壤含水率為16．05%、植被覆蓋率為0，降雨30min后開始產(chǎn)流，歷時10min，產(chǎn)流量0．0165m3，產(chǎn)沙量0．133kg。第二次試驗，土壤含水率已接近飽和，達20．65%，小區(qū)植被覆蓋率60%，降雨7min后開始產(chǎn)流，產(chǎn)流53min，產(chǎn)流量0．629m3，產(chǎn)沙量10.6kg。第三次試驗在冬季進行，小區(qū)植被覆蓋率為80%，由于前期土壤含水率低(10．41%)、面平均雨量偏小(43．3mm)，因此該次降雨在該小區(qū)未產(chǎn)流。第四次試驗，小區(qū)植被覆蓋率100%，人工模擬降雨60min未產(chǎn)流，為檢驗產(chǎn)流情況，在12:15將人工模擬降雨裝置閘門全開，以最大降雨強度連續(xù)降雨5min，于降雨64min后開始產(chǎn)流，產(chǎn)流5min，產(chǎn)流量0．022m3，產(chǎn)沙量0．036kg。該次模擬降雨歷時65min，面平均雨量達到61．1mm，占到設(shè)計雨量的72．1%，受前期土壤含水率(10．74%)較低、植被覆蓋率較高影響，該小區(qū)產(chǎn)流量和產(chǎn)沙量都較小。(4)梯地徑流小區(qū)。由表4可知，梯地徑流小區(qū)第一次試驗在主汛期進行，前期土壤含水率為17．46%，植被覆蓋率為20%，降雨2min后開始產(chǎn)流，產(chǎn)流48min，產(chǎn)流量1．146m3，產(chǎn)沙量1．93kg。第二次試驗在冬季進行，小區(qū)前期土壤含水率8．09%，植被覆蓋率90%，模擬降雨面平均雨量為58.5mm，由于前期土壤含水率過低，該次降雨在該小區(qū)未產(chǎn)流。第三次試驗在9月份進行，前期土壤含水率為8.48%，植被覆蓋率為100%，模擬降雨面平均雨量為54．1mm。該次試驗該小區(qū)未產(chǎn)流，其主要原因也是梯地小區(qū)前期土壤含水率過低。
4結(jié)語
2數(shù)據(jù)挖掘技術(shù)應(yīng)用于電信用戶數(shù)據(jù)研究
2.1固網(wǎng)用戶數(shù)據(jù)的組成和結(jié)構(gòu)
對于企業(yè)來說，大量的用戶數(shù)據(jù)不僅有利于客戶關(guān)系管理（CRM），同時也是獲得用戶知識的源泉。從用戶知識發(fā)現(xiàn)的過程中可以看到，用戶數(shù)據(jù)的質(zhì)量會對知識發(fā)現(xiàn)的結(jié)果產(chǎn)生直接的影響，所以用戶數(shù)據(jù)準備也是一項很重要的步驟。從商業(yè)系統(tǒng)中提取出高質(zhì)量的用戶數(shù)據(jù)就成為一項最主要的工作。固網(wǎng)企業(yè)的用戶數(shù)據(jù)包括用戶基本信息、用戶賬單信息以及客服信息。數(shù)據(jù)倉庫就是根據(jù)這種方式來組織的。
2.2知識發(fā)現(xiàn)的方法和過程
用戶知識發(fā)現(xiàn)概括如下：根據(jù)提出的商業(yè)目標，分析大量的用戶數(shù)據(jù)，找出隱藏的和未知的規(guī)律或者豐富已知的規(guī)律，進而提出模型；最后要將數(shù)據(jù)挖掘和分析的結(jié)果轉(zhuǎn)化成有商業(yè)意義的方法，然后采取進一步的行動。用戶知識發(fā)現(xiàn)必須遵循以下幾個步驟：商業(yè)理解，數(shù)據(jù)理解，數(shù)據(jù)準備，分類模型，評估應(yīng)用。
2.3數(shù)據(jù)挖掘建立用戶分類模型
近年來，“以客戶為中心”的電信市場開始強調(diào)為不同用戶提供個性化服務(wù)，其前提條件就是用戶分類。這也說明了過去的消費行為也預(yù)示了未來的消費傾向。
（1）商業(yè)理解
對用戶的理解不僅是理解電信市場的開始，也是理解客戶關(guān)系管理的開始。在電信企業(yè)中對用戶的理解包括：用戶種類，不同類中用戶的本質(zhì)屬性區(qū)別，用戶偏好，不同類別之間的用戶如何通信等。
（2）用戶數(shù)據(jù)準備
對用戶分類的研究主要是從用戶屬性中得到用戶特征和行為習(xí)慣。主要數(shù)據(jù)來源于用戶賬單信息，同時也需要從商業(yè)系統(tǒng)中得到一些用戶的基本屬性信息。
（3）用戶分類模型
本文使用聚類分析對用戶進行細分以建立分類模型。聚類分析是把大量數(shù)據(jù)點的集合根據(jù)最大化類內(nèi)相似性、最小化類間相似性的原則進行聚類或分組，使得每個類中的數(shù)據(jù)之間最大限度地相似、而不同類中的數(shù)據(jù)之間最大限度地不同。
3固網(wǎng)漏話用戶數(shù)據(jù)分析
3.1關(guān)于固網(wǎng)漏話用戶數(shù)據(jù)分析的商業(yè)理解
通過各種渠道調(diào)查，對固網(wǎng)漏話用戶數(shù)據(jù)分析的目標可以概括為以下幾點：
（1）對用戶通話次數(shù)、時間段等分析，找出特征，以此來尋找目標用戶；
（2）對用戶開通漏話保護業(yè)務(wù)前后的ARPU值分析比較，分析收益的對比；
（3）對目標用戶數(shù)據(jù)分析，從用戶分類的角度來管理，設(shè)計針對性的服務(wù)，提升用戶滿意度。
3.2系統(tǒng)用戶數(shù)據(jù)準備
數(shù)據(jù)準備的過程：明確目標；制定計劃；分析變量的獲?。粩?shù)據(jù)收集和獲?。粩?shù)據(jù)集成。根據(jù)當(dāng)前客戶關(guān)系管理基本狀況和數(shù)據(jù)挖掘的目的，涉及到的人口屬性變量有：性別、年齡、住址、用戶職業(yè)、婚否、學(xué)歷、薪資等。用戶分類結(jié)束之后，再使用描述變量來進行分析說明。本文選用某市電信公司運營支持系統(tǒng)和經(jīng)營分析系統(tǒng)的數(shù)據(jù)，從中選取了基本客戶基本信息表、客戶詳細話表、賬單及繳費信息表、產(chǎn)品信息表、業(yè)務(wù)使用清單等原始數(shù)據(jù)。數(shù)據(jù)挖掘工具選擇SPSSClementine。在使用該工具進行挖掘之前，需要對數(shù)據(jù)進行清洗：
（1）刪掉不滿足要求的數(shù)據(jù)：選擇普通的用戶；選擇狀態(tài)正常的用戶；選擇入網(wǎng)時間較長的用戶，使數(shù)據(jù)有完整的用戶周期；
（2）去掉異常數(shù)據(jù)：比如用于測試的號碼；
（3）去掉極端值：不具備普遍性的極值容易產(chǎn)生噪聲。
3.3固網(wǎng)漏話用戶數(shù)據(jù)分析結(jié)果
考慮到不同分類建立的有效性和簡便性，以及固話用戶和數(shù)據(jù)源的特點，本文采用常見的K-means算法，其高可靠性、高精準性以及低復(fù)雜度使其成為主流的聚類算法。本文選用SPSSClementine作為數(shù)據(jù)挖掘工具進行K-means聚類分析。獲取原始數(shù)據(jù)并進行預(yù)處理之后，選擇參與聚類的細分變量，輸入簇的個數(shù)k，選擇k=7，然后點擊“聚類”按鈕，使用K-means算法對固網(wǎng)漏話用戶數(shù)據(jù)進行聚類。經(jīng)過正常值選擇、極值處理等一系列的數(shù)據(jù)清洗工作，最后用于研究的記錄有251284條。
3.4分析結(jié)果和解釋
93%的遇忙話務(wù)都出現(xiàn)在8∶00~18∶00的工作時段，這說明該時段遇忙話務(wù)較多，話務(wù)量流失嚴重，特別需要遇忙話務(wù)的解決方法。而這一時間段遇忙話務(wù)量最多的就是政企用戶，這些話務(wù)量流失對政企用戶將造成巨大的損失：30000政企用戶一個月遇忙話務(wù)損失達到260萬次，本網(wǎng)超過120萬次，每個月預(yù)計損失20萬；以電信中等發(fā)達省份為例：符合條件的政企高端用戶約為60萬；每年度損失的潛在業(yè)務(wù)收入為50000萬。經(jīng)過分析，得到該市各地區(qū)已開通和未開通漏話保護業(yè)務(wù)的用戶分布，如圖4所示。C區(qū)屬于政務(wù)新區(qū)，未開通漏話業(yè)務(wù)的用戶較多，而F區(qū)屬于工業(yè)園區(qū)，企業(yè)較多，很多用戶已開通漏話保護業(yè)務(wù)，但是還有大量用戶未開通該業(yè)務(wù)，所以C區(qū)和F區(qū)應(yīng)該作為該業(yè)務(wù)的重點推廣地區(qū)。綜上分析，固網(wǎng)漏話業(yè)務(wù)是一個非常有潛力的業(yè)務(wù)，解決漏話問題是提高用戶滿意度和忠誠度的重要途徑。根據(jù)上文的分析，在8∶00~18∶00時間段，用戶遇忙話務(wù)量非常多，在這段時間內(nèi)，企業(yè)需要更多的漏話接入服務(wù)器，而在其他時間段可以減少接入服務(wù)器以節(jié)約成本。而在不同的地區(qū)，用戶數(shù)量和精準用戶的數(shù)量也不同，應(yīng)該選擇精準用戶較為集中的地區(qū)優(yōu)先推廣漏話保護業(yè)務(wù)。由于精準高端用戶帶來的收益遠遠超過普通用戶，所以要對經(jīng)過篩選的精準用戶采取針對性措施，比如在C區(qū)和F區(qū)大力宣傳，以各種形式讓精準客戶看到該業(yè)務(wù)帶來的收益，還可以電話推廣為精準用戶提供信息。
2煤礦安全生產(chǎn)大數(shù)據(jù)分析系統(tǒng)
2.1大數(shù)據(jù)分析的概念大數(shù)據(jù)分析
是指數(shù)據(jù)量急劇積累迅速超出主流軟件工具和人類思維處理的極限，大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)比較起來，有四大特征：數(shù)據(jù)體量巨大（Volume）、數(shù)據(jù)類型繁多（Variety）、數(shù)據(jù)價值密度低（Value）、更新速度快時效高（Velocity）。大數(shù)據(jù)分析需要全新的數(shù)據(jù)處理理念和分析工具，洞察發(fā)現(xiàn)海量高速增長信息中潛藏的價值［4］。從理念上，大數(shù)據(jù)分析與傳統(tǒng)數(shù)據(jù)分析有三大轉(zhuǎn)變：要全體不要抽樣，要效率不要絕對精確，要相關(guān)不要因果。針對大數(shù)據(jù)，既有的技術(shù)架構(gòu)和分析工具已經(jīng)無法滿足要求，需要全新的數(shù)據(jù)分析方法和技術(shù)，這其中包括：（1）大數(shù)據(jù)分析可視化方法；（2）大數(shù)據(jù)挖掘算法；（3）預(yù)測性分析能力；（4）語義處理能力；（5）數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理技術(shù)。
2.2大數(shù)據(jù)分析系統(tǒng)的建設(shè)
根據(jù)大數(shù)據(jù)處理和分析的理念，煤礦安全大數(shù)據(jù)分析系統(tǒng)的建設(shè)目標包括：數(shù)據(jù)綜合集成、安全知識集成、三維虛擬可視化展示、煤礦安全動態(tài)分析診斷。具體建設(shè)內(nèi)容包括：（1）基于物聯(lián)網(wǎng)/云計算技術(shù)的煤礦安全綜合數(shù)據(jù)庫。建設(shè)煤礦安全大數(shù)據(jù)分析診斷系統(tǒng)，首先要利用物聯(lián)網(wǎng)和云計算技術(shù)實現(xiàn)全面綜合的數(shù)據(jù)集成，將基礎(chǔ)空間和屬性數(shù)據(jù)、在線監(jiān)測的實時性數(shù)據(jù)、專業(yè)業(yè)務(wù)系統(tǒng)的事務(wù)性數(shù)據(jù)綜合集成起來，構(gòu)建煤礦安全綜合數(shù)據(jù)庫。（2）基于專家系統(tǒng)的煤礦安全專家知識庫。針對知識集成的目標，整理規(guī)范規(guī)程體系中的經(jīng)驗或者理論知識（煤礦安全規(guī)程、煤礦作業(yè)規(guī)程、三違行為知識、隱患界定知識、評估模型、設(shè)備操作規(guī)程知識、工種操作規(guī)程知識），構(gòu)建煤礦安全動態(tài)分析診斷的專家知識庫。（3）建設(shè)三維虛擬礦井可視化平臺。針對信息和知識三維虛擬礦井可視化展示分析，主要的建設(shè)內(nèi)容是基于高精度地質(zhì)模型理論研究開發(fā)三維虛擬礦井平臺，實現(xiàn)地層建模、鉆孔建模、斷層建模、工作面建模和巷道建模等工作。然后，基于三維虛擬礦井平臺，實現(xiàn)數(shù)據(jù)和知識可視化、煤礦安全生產(chǎn)活動可視化、分析和決策過程可視化。（4）研發(fā)煤礦安全動態(tài)分析系統(tǒng)。針對基于專家知識庫的煤礦安全生產(chǎn)分析決策，需要利用煤礦安全綜合數(shù)據(jù)庫中的基礎(chǔ)數(shù)據(jù)、實時監(jiān)測數(shù)據(jù)以及事務(wù)性數(shù)據(jù)，根據(jù)煤礦安全專家知識庫進行煤礦安全生產(chǎn)狀況評估、推理和演繹，動態(tài)分析診斷煤礦安全生產(chǎn)的現(xiàn)狀與趨勢、預(yù)測未來，并針對煤礦應(yīng)急現(xiàn)象做出科學(xué)合理的響應(yīng)對策。
1.引言
目前發(fā)展大數(shù)據(jù)產(chǎn)業(yè)已經(jīng)上升為國家戰(zhàn)略，大數(shù)據(jù)的價值也得到了社會的廣泛認可。眾多研究[1-5]表明，大數(shù)據(jù)不僅為政府治理開辟了新思路，還是企業(yè)創(chuàng)新的重要源泉和高?？蒲械闹匾巍４髷?shù)據(jù)交易平臺是整個大數(shù)據(jù)產(chǎn)業(yè)的基礎(chǔ)與核心，它使得數(shù)據(jù)資源可以在不同組織之間流動，從而讓單個組織能夠獲得更多、更全面的數(shù)據(jù)。這樣不僅提高了數(shù)據(jù)資源的利用效率，更重要的是，當(dāng)一個組織擁有的數(shù)據(jù)資源不斷豐富和立體化，有助于其通過數(shù)據(jù)分析發(fā)現(xiàn)更多的潛在規(guī)律，從而對內(nèi)提高自身的效率，對外促進整個社會的不斷進步。
在現(xiàn)有的大數(shù)據(jù)交易平臺上，數(shù)據(jù)供應(yīng)方和需求方各自供需信息，交易雙方瀏覽這些信息，如果發(fā)現(xiàn)合適的交易對象，則進行大數(shù)據(jù)資源的買賣，交易平臺只作為信息中介存在。這類大數(shù)據(jù)交易的本質(zhì)，其實是單獨的大數(shù)據(jù)資源交易，現(xiàn)有平臺可以統(tǒng)稱為第一代大數(shù)據(jù)交易平臺。第一代大數(shù)據(jù)交易平臺在供需平衡、數(shù)據(jù)定價和時效性三個方面都存在較大的不足。本文針對這些不足進行改進，設(shè)計了一種全新的第二代大數(shù)據(jù)交易平臺，命名為：融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺，該平臺將數(shù)據(jù)資源交易與數(shù)據(jù)分析服務(wù)進行深度融合，實現(xiàn)了數(shù)據(jù)與服務(wù)的一體化交易。本研究不僅為當(dāng)下正在建設(shè)的各類大數(shù)據(jù)交易平臺提供有益的借鑒，也豐富了大數(shù)據(jù)交易的基礎(chǔ)理論體系。
2.相關(guān)研究
目前大數(shù)據(jù)交易的相關(guān)研究中，比較有代表性的有：
（1）大數(shù)據(jù)的財產(chǎn)屬性和所有權(quán)。王玉林等[6]對大數(shù)據(jù)的財產(chǎn)屬性展開研究，認為大數(shù)據(jù)的法律屬性會直接影響大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，而大數(shù)據(jù)交易實踐本身就反映出大數(shù)據(jù)具有財產(chǎn)屬性。但大數(shù)據(jù)與傳統(tǒng)的財產(chǎn)權(quán)客體存在較大不同，它符合信息財產(chǎn)的特征，是信息財產(chǎn)權(quán)的客體，應(yīng)受到相關(guān)法律的保護。齊愛民等[7]從宏觀的角度分析了國家對于其主權(quán)范圍內(nèi)數(shù)據(jù)的所有權(quán)，剖析了個人擁有的數(shù)據(jù)權(quán)以及數(shù)據(jù)的財產(chǎn)權(quán)。
（2）大數(shù)據(jù)的定價問題。劉朝陽[8]對大數(shù)據(jù)的定價問題展開研究，首先分析了大數(shù)據(jù)的基本特征、價值特征等定價基礎(chǔ)。接著討論了效用價格論、成本價格論等定價模式。最后分析了大數(shù)據(jù)的定價策略，并對大數(shù)據(jù)定價的雙向不確定問題進行了詳細論述。劉洪玉等[9]認為在大數(shù)據(jù)交易過程中，由于缺乏足夠的歷史參考，其數(shù)據(jù)資源的交易價格很難確定，因此提出一種基于競標機制的魯賓斯坦模型，用于大數(shù)據(jù)交易雙方進行討價還價，以求達成一個交易的均衡價格。翟麗麗等[10]從資產(chǎn)的期權(quán)價值角度來評估大數(shù)據(jù)資源的價值，并指出數(shù)據(jù)在不斷變化和更新，加上數(shù)據(jù)的非獨占性等情況的出現(xiàn)，數(shù)據(jù)資產(chǎn)的價值可能會下降，最后綜合這些因素構(gòu)建了一個評估模型來計算數(shù)據(jù)資產(chǎn)的價值。
（3）大數(shù)據(jù)交易的安全與隱私保護。史宇航[11]認為非法的數(shù)據(jù)交易會對個人數(shù)據(jù)等高價值信息的安全造成影響，對非法數(shù)據(jù)交易的購買方和協(xié)助方都應(yīng)進行處罰。提出應(yīng)先明確數(shù)據(jù)的法律屬性，再以數(shù)據(jù)交易所為平臺進行交易，并對數(shù)據(jù)交易所的法律地位進行了分析。殷建立等[12]為應(yīng)對大數(shù)據(jù)時代數(shù)據(jù)采集、交易等過程中的安全問題，綜合考慮技術(shù)、政策和管理平臺等方面的因素，構(gòu)建了一種個人數(shù)據(jù)溯源管理體系，該體系可在數(shù)據(jù)應(yīng)用時實現(xiàn)個人數(shù)據(jù)的追蹤溯源，從而保護其個人隱私。王忠[13]認為大數(shù)據(jù)環(huán)境下強大的數(shù)據(jù)需求會導(dǎo)致個人數(shù)據(jù)的非法交易，為應(yīng)對這種情況，應(yīng)該建立個人數(shù)據(jù)交易許可機制，通過發(fā)放交易許可證、拍賣授予等措施實現(xiàn)隱私保護。
（4）大數(shù)據(jù)交易的發(fā)展現(xiàn)狀與問題。楊琪等[14]認為我國的大數(shù)據(jù)交易還處于行業(yè)發(fā)展的早期，大量數(shù)據(jù)源未被激活，原因是大數(shù)據(jù)產(chǎn)業(yè)價值鏈的各個專業(yè)環(huán)節(jié)發(fā)展滯后，并且對數(shù)據(jù)交易中的安全問題和隱私泄露等有較大的擔(dān)憂。應(yīng)該對數(shù)據(jù)產(chǎn)品進行改造，使其更商品化，并且通過政府開放公共數(shù)據(jù)等措施逐漸消除數(shù)據(jù)流通中的安全顧慮。唐斯斯等[15]首先分析了我國大數(shù)據(jù)交易的發(fā)展特點、交易類型等現(xiàn)狀，接著指出目前大數(shù)據(jù)交易存在法律法規(guī)相對滯后、行業(yè)標準不完善、交易平臺定位不明確、數(shù)據(jù)質(zhì)量不高等問題，最后提出應(yīng)加快相關(guān)法律和標準建設(shè)，并推動數(shù)據(jù)開放，加強交易方式的創(chuàng)新。
除了上述四個主要研究方向以外，李國杰等[16]從理論的角度分析了大數(shù)據(jù)研究在行業(yè)應(yīng)用和科學(xué)研究方面的重要作用，這從客觀上反映了大數(shù)據(jù)流通的必要性。涂永前等[17]認為大數(shù)據(jù)時代企業(yè)管理和運用數(shù)據(jù)資源的相關(guān)成本會成為企業(yè)的主要交易成本，這會改變企業(yè)的組織結(jié)構(gòu)，并導(dǎo)致企業(yè)邊界的變化，企業(yè)會進行多方向的擴張，這為促進大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的相關(guān)法律的制定提供了理論支持?？偟膩砜矗捎诖髷?shù)據(jù)交易本身屬于較新的領(lǐng)域，因此相關(guān)研究總體上較少，已有研究也大多集中在上述幾個研究方向上。實際上，大數(shù)據(jù)交易平臺是實現(xiàn)大數(shù)據(jù)交易的重要載體，是大數(shù)據(jù)資源流通轉(zhuǎn)換的主要節(jié)點，交易平臺本身需要隨著整個大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，不斷的改進和升級，而現(xiàn)有研究中恰恰缺少對大數(shù)據(jù)交易平臺本身進行創(chuàng)新的研究。由此，本文針對現(xiàn)有大數(shù)據(jù)交易平臺的不足，結(jié)合實際設(shè)計了一種全新的融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺，為實踐和科研提供借鑒和參考。
3.現(xiàn)有大數(shù)據(jù)交易平臺的不足
大數(shù)據(jù)本身作為一種新興事物，當(dāng)把它作為一種商品進行交易時，其交易平臺的設(shè)計很自然會參照傳統(tǒng)的商品交易模式，即：交易雙方先供求信息，再經(jīng)過討價還價，達到一個均衡的價格則成交，賣方將大數(shù)據(jù)資源經(jīng)過脫敏處理后，交付給買方。目前無論是政府主導(dǎo)的大數(shù)據(jù)交易所，還是企業(yè)或者高校創(chuàng)建的大數(shù)據(jù)交易平臺，都是采用類似的交易模式，這也是第一代大數(shù)據(jù)交易平臺的突出特點。實際上大數(shù)據(jù)與傳統(tǒng)商品有很大的區(qū)別，照搬傳統(tǒng)商品的交易模式會出現(xiàn)很多問題。本文將從供需平衡、數(shù)據(jù)定價和時效性三個方面分析現(xiàn)有大數(shù)據(jù)交易平臺的不足。
3.1 數(shù)據(jù)供需的錯配
現(xiàn)有大數(shù)據(jù)交易平臺的第一點不足就是數(shù)據(jù)供需的錯配，即：供應(yīng)方提供的數(shù)據(jù)資源往往不是需求方所需要的，而需求方需要的數(shù)據(jù)在交易平臺上找不到，即使有相近的數(shù)據(jù)資源，也存在很大的數(shù)據(jù)缺失或冗余，買回去也無法使用。對數(shù)據(jù)供應(yīng)方來說，由于無法準確預(yù)知數(shù)據(jù)買方多樣性的需求，它只能從自身角度出發(fā)，將可以公開的、并且自認為有價值的數(shù)據(jù)資源放到平臺上待售。對需求各異的買方來說，供應(yīng)方提供的標準數(shù)據(jù)很難與自己的應(yīng)用方向精準匹配，這也是目前大數(shù)據(jù)交易還不夠活躍的原因。當(dāng)然，當(dāng)供需雙方建立初步聯(lián)系以后，供應(yīng)方甚至可以為需求方個性化定制大數(shù)據(jù)資源，但即使這樣，供需錯配的問題仍然無法解決，原因就在于單個的數(shù)據(jù)供應(yīng)方無法提供多維的數(shù)據(jù)資源，只有多維的數(shù)據(jù)資源才具有較高的分析價值。
3.2 大數(shù)據(jù)資源定價困難
大數(shù)據(jù)資源定價困難是現(xiàn)有大數(shù)據(jù)交易平臺的第二點不足。大數(shù)據(jù)資源和普通商品不同，普通商品可以直接消費或者作為再加工的原材料，其價值都可以通過最終的消費品價格得到體現(xiàn)。而大數(shù)據(jù)本身的價值無法直接衡量，需求方購買它的目的是作為數(shù)據(jù)分析的信息源，但是否能發(fā)現(xiàn)潛在的規(guī)律還未可知。因此無法在購買前，準確判斷出待售數(shù)據(jù)資源的價值大小。此外，需求方在不確定某大數(shù)據(jù)資源是否能真正能給組織帶來收益情況下，很難給出一個較高的價格，這在客觀上會影響數(shù)據(jù)供應(yīng)方的交易積極性，加大了供需雙方達成交易的難度。
3.3 數(shù)據(jù)的時效性不強
現(xiàn)有大數(shù)據(jù)交易平臺的第三點不足，就是數(shù)據(jù)資源的時效性不強。目前很多大數(shù)據(jù)交易平臺上待售的數(shù)據(jù)資源都以歷史數(shù)據(jù)為主，這是因為數(shù)據(jù)資源在交易前需要經(jīng)歷脫敏處理，將涉及政府信息安全、企業(yè)商業(yè)機密和個人隱私等敏感信息進行變換和替代。此外，供應(yīng)方還需要對原始數(shù)據(jù)進行初步的清洗，整理成一定的數(shù)據(jù)格式集中存貯和交付，方便需求方進行數(shù)據(jù)分析。由于一般的數(shù)據(jù)供應(yīng)方并不具備對大數(shù)據(jù)進行實時脫敏和清洗的能力，只能將采集到的數(shù)據(jù)資源，經(jīng)過一段時間的離線處理后，再放到交易平臺上，所以只能供應(yīng)歷史數(shù)據(jù)。隨著社會節(jié)奏的不斷加快，歷史數(shù)據(jù)很可能并不能反映當(dāng)下的真實情況，越來越多的數(shù)據(jù)分析都需要用到實時數(shù)據(jù)作為信息源，這是未來大數(shù)據(jù)交易必須克服的一個短板。
4.融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺設(shè)計
本文提出將數(shù)據(jù)分析服務(wù)融合到目前的大數(shù)據(jù)交易中，以此來克服現(xiàn)有交易平臺的不足，本節(jié)將首先對數(shù)據(jù)分析服務(wù)進行概念界定，再依次介紹平臺設(shè)計的總體思路和核心模塊的設(shè)計，具體如下。
4.1 數(shù)據(jù)分析服務(wù)的概念界定
數(shù)據(jù)分析是指運用各類數(shù)據(jù)處理模型和信息技術(shù)手段，對數(shù)據(jù)資源進行深度的挖掘，從而發(fā)現(xiàn)其中蘊含的規(guī)律，作為管理決策的依據(jù)。數(shù)據(jù)分析本身是一種能力，如果一個組織將其數(shù)據(jù)分析能力提供給其他組織或個人，并收取一定的費用，這就是數(shù)據(jù)分析服務(wù)。在大數(shù)據(jù)環(huán)境下，數(shù)據(jù)資源不僅體量巨大而且種類多，對數(shù)據(jù)分析能力的要求不斷提高。在這種情況下，只有少數(shù)組織具備獨立處理大數(shù)據(jù)的能力，其他的組織比如大量的中小企業(yè)，都需要從組織外部尋求專業(yè)的數(shù)據(jù)分析服務(wù)，來滿足自身的需要。因此，數(shù)據(jù)分析服務(wù)和大數(shù)據(jù)資源一樣存在巨大的市場需求。
4.2 平臺設(shè)計的總體思路
本文將提出的融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺，定位為第二代大數(shù)據(jù)交易平臺，它將大數(shù)據(jù)資源交易與數(shù)據(jù)分析服務(wù)兩者進行深度融合，在交易平臺上實現(xiàn)數(shù)據(jù)與服務(wù)的一體化交易。大數(shù)據(jù)交易平臺的角色也從原來的數(shù)據(jù)資源買賣的信息中介，轉(zhuǎn)變?yōu)榇髷?shù)據(jù)綜合服務(wù)商。在融合后的大數(shù)據(jù)交易平臺上，數(shù)據(jù)需求方不再提交數(shù)據(jù)資源的需求信息，而是直接提出自己的應(yīng)用方向和想要得到的結(jié)果，交易平臺再根據(jù)需求方的應(yīng)用方向，反向匹配數(shù)據(jù)資源和數(shù)據(jù)分析服務(wù)。這個匹配的過程不是單一的數(shù)據(jù)集或服務(wù)的查找，而是對全平臺的數(shù)據(jù)資源進行有效整合，形成高價值的多維數(shù)據(jù)，再結(jié)合復(fù)合型的數(shù)據(jù)分析技術(shù)，得到最終的分析結(jié)果，最后將分析結(jié)果與基礎(chǔ)數(shù)據(jù)一同交付給需求方。交付基礎(chǔ)數(shù)據(jù)的目的，一是方便需求方進行分析結(jié)果的對照，為決策提供更精準的參考。二是需求方可以根據(jù)基礎(chǔ)數(shù)據(jù)進行衍生挖掘，進一步提高數(shù)據(jù)的利用效率。平臺設(shè)計的總體思路繪制成圖1。
圖1 平臺設(shè)計的總體思路
4.3 核心模塊的設(shè)計
融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺共劃分為四大模塊，具體如圖2所示。
圖2 融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺的主要模塊
系統(tǒng)管理模塊具體又分為用戶管理、系統(tǒng)維護和安全管理。安全管理是系統(tǒng)管理模塊的重點，主要包含三個方面的功能：第一，負責(zé)整個交易平臺的系統(tǒng)安全，通過對交易平臺進行實時監(jiān)控，阻止外部的非法入侵行為，保障平臺的正常運行。第二，對數(shù)據(jù)供應(yīng)方提交的數(shù)據(jù)資源進行審核，如果發(fā)現(xiàn)是非法數(shù)據(jù)，則阻止其交易，并及時將有關(guān)情況反饋給相關(guān)的政府監(jiān)管部門，由它們進行調(diào)查處理。第三，檢查所有數(shù)據(jù)是否經(jīng)過脫敏處理。如果發(fā)現(xiàn)部分數(shù)據(jù)存在未脫敏或者脫敏不合格的情況，交易平臺將負責(zé)對該數(shù)據(jù)資源進行脫敏處理，從而保護數(shù)據(jù)中的隱私不被泄露。
大數(shù)據(jù)資源池模塊、數(shù)據(jù)分析服務(wù)模塊和協(xié)同模塊是交易平臺的三大核心模塊，是數(shù)據(jù)與服務(wù)兩者融合并實現(xiàn)一體化交易的關(guān)鍵，本文接下來將對這三個核心模塊的功能進行詳細設(shè)計。
4.3.1 大數(shù)據(jù)資源池模塊
大數(shù)據(jù)資源池模塊主要包含三個方面的功能：數(shù)據(jù)資源格式的整理、數(shù)據(jù)的多維度整合、大數(shù)據(jù)資源的云存貯。具體如下。
（1）數(shù)據(jù)資源格式的整理。由于大數(shù)據(jù)交易平臺上的數(shù)據(jù)資源來自不同的數(shù)據(jù)供應(yīng)方，因此其數(shù)據(jù)資源的格式會有較大的差異。如果不經(jīng)過格式整理就直接進行數(shù)據(jù)分析，很可能會因部分數(shù)據(jù)無法準確讀取，而影響數(shù)據(jù)處理的效率，嚴重者還會導(dǎo)致數(shù)據(jù)分析中斷。數(shù)據(jù)資源格式整理的主要任務(wù)是將同一類型數(shù)據(jù)的格式進行統(tǒng)一，對部分缺失的數(shù)據(jù)屬性進行補充，對錯誤的數(shù)據(jù)格式進行修正。
（2）數(shù)據(jù)的多維度整合。在上文3.1中提到供需錯配的一個重要原因，就是單個數(shù)據(jù)供應(yīng)方無法提供高價值的多維數(shù)據(jù)。所謂多維數(shù)據(jù)是包含用戶或者行業(yè)多個背景和情境的大數(shù)據(jù)資源，這些多維數(shù)據(jù)使用戶或行業(yè)多個側(cè)面的信息產(chǎn)生了關(guān)聯(lián)，有利于發(fā)現(xiàn)深層次的潛在規(guī)律。融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺應(yīng)該作為數(shù)據(jù)整合的主體，將單個數(shù)據(jù)供應(yīng)方提供的零散的數(shù)據(jù)資源，進行多維度的整合，當(dāng)缺少某一個維度的數(shù)據(jù)時，再向相應(yīng)的數(shù)據(jù)供應(yīng)方進行定向的采集，最后得到相對完整的多維數(shù)據(jù)，具有很高的分析價值。
（3）大數(shù)據(jù)資源的云存貯。大數(shù)據(jù)資源經(jīng)過格式整理和多維度整合以后，已經(jīng)可以作為數(shù)據(jù)分析服務(wù)的信息源。下一步就是將這些數(shù)據(jù)資源進行統(tǒng)一的云存貯，以便數(shù)據(jù)分析服務(wù)調(diào)用。以往部分大數(shù)據(jù)資源由于體量巨大或?qū)崟r更新的需要，無法上傳到交易平臺上，或者只提供部分調(diào)用接口。融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺通過建立云存貯中心，將整合后的多維數(shù)據(jù)進行統(tǒng)一存放和調(diào)用，有助于提高數(shù)據(jù)資源的存取效率。
4.3.2 數(shù)據(jù)分析服務(wù)模塊
數(shù)據(jù)分析服務(wù)模塊首先根據(jù)數(shù)據(jù)需求方的應(yīng)用方向，匹配出合適的多維數(shù)據(jù)資源，再選擇相應(yīng)的數(shù)據(jù)分析模型分配所需的計算能力，最后將得到的分析結(jié)果反饋給需求方。本文將數(shù)據(jù)分析服務(wù)劃分為三個大類：基礎(chǔ)性分析服務(wù)、高級分析服務(wù)、深度定制的分析服務(wù)。具體如下。
（1）基礎(chǔ)性分析服務(wù)。基礎(chǔ)性分析服務(wù)是指那些常規(guī)的數(shù)據(jù)統(tǒng)計，比如：總體中不同對象的占比分析，基于不同屬性的關(guān)聯(lián)分析或相關(guān)性分析等。這些分析服務(wù)耗時較短，分析技術(shù)較為簡單，只要數(shù)據(jù)資源本身完備，就可以迅速得到結(jié)果?；A(chǔ)性分析服務(wù)由大數(shù)據(jù)交易平臺本身來提供，可以面對不同的需求方，實現(xiàn)快速交付。
（2）高級分析服務(wù)。高級分析服務(wù)是指那些較為復(fù)雜的數(shù)據(jù)分析服務(wù)，比如：精準的趨勢預(yù)測、全面的用戶興趣畫像、非結(jié)構(gòu)化的信息挖掘等。這些分析服務(wù)需要大量專業(yè)的數(shù)據(jù)處理技術(shù)，比如：興趣建模、視頻分析，音頻分析、深度語義分析等，必須由大數(shù)據(jù)交易平臺對接第三方的數(shù)據(jù)分析服務(wù)商，由它們來提供高級分析服務(wù)。大數(shù)據(jù)交易平臺在同一數(shù)據(jù)分析領(lǐng)域，應(yīng)引入多家數(shù)據(jù)分析服務(wù)商，通過動態(tài)的競爭，來保證服務(wù)的質(zhì)量。
（3）深度定制的分析服務(wù)。大數(shù)據(jù)分析目前還處在快速發(fā)展階段，很多前瞻性的技術(shù)還在試驗當(dāng)中，應(yīng)該說數(shù)據(jù)分析技術(shù)的發(fā)展相對于旺盛的現(xiàn)實需求來說是滯后的。當(dāng)需要用的某一數(shù)據(jù)分析技術(shù)，在目前的市場上還找不到現(xiàn)成的提供方時，就需要大數(shù)據(jù)交易平臺為其進行深度的定制，交易平臺通過多方位的研發(fā)能力評估，尋找合適的技術(shù)主體來進行專門的技術(shù)攻關(guān)。
4.3.3 協(xié)同模塊
協(xié)同模塊主要包含兩個方面的功能：數(shù)據(jù)分析服務(wù)之間的技術(shù)協(xié)同、交易各方的管理協(xié)同。具體如下。
（1）數(shù)據(jù)分析服務(wù)之間的技術(shù)協(xié)同。在面臨較為復(fù)雜的數(shù)據(jù)分析任務(wù)時，可能需要用到多個領(lǐng)域的數(shù)據(jù)分析技術(shù)，這時單個的數(shù)據(jù)分析服務(wù)商可能無法獨立完成。因為不同的行業(yè)領(lǐng)域，都有其行業(yè)技術(shù)的獨特性，需要長時間的專業(yè)積累。在這種情況下，就需要多個數(shù)據(jù)分析服務(wù)商相互合作才能完成。數(shù)據(jù)分析服務(wù)之間的技術(shù)協(xié)同，就是通過一定的技術(shù)標準和操作規(guī)范，讓多個數(shù)據(jù)分析技術(shù)提供方，能夠在完成同一任務(wù)時，在技術(shù)上不沖突，能夠相互并行的完成對數(shù)據(jù)資源的處理，按時按質(zhì)的交付最終的分析結(jié)果。
（2）交易各方的管理協(xié)同。在融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺上，交易的參與者一共有四類，分別是數(shù)據(jù)資源的供應(yīng)方、數(shù)據(jù)分析服務(wù)商、需求方和交易平臺自身。數(shù)據(jù)需求方在提交自己的應(yīng)用方向和預(yù)期結(jié)果的同時，提交自己的交易預(yù)算。交易平臺根據(jù)需求方提交的應(yīng)用方向和預(yù)期結(jié)果，對數(shù)據(jù)資源和數(shù)據(jù)分析服務(wù)進行反向的選擇。如果數(shù)據(jù)分析任務(wù)中只用到了基礎(chǔ)性分析服務(wù)，則整個交易為平臺方、需求方、數(shù)據(jù)資源供應(yīng)方的三方交易。如果某數(shù)據(jù)分析任務(wù)，平臺自身無法完成，需要用到第三方的數(shù)據(jù)分析服務(wù)商，則整個交易包含了全部四類參與者，是一個四方交易。交易的基本原則是實現(xiàn)參與各方的利益共享。交易各方的具體利益分配如圖3所示。
圖3 交易各方的利益分配
需求方希望在獲得預(yù)期結(jié)果的同時，其支付的成本在可接受的范圍內(nèi)。交易平臺在對數(shù)據(jù)和服務(wù)進行反向匹配后，會出現(xiàn)兩種不同的情況：第一種情況是在原交易預(yù)算下，可以達到需求方預(yù)期的結(jié)果，則可成交。第二種情況是，原交易預(yù)算較低，在該預(yù)算下無法達到需求方要求的結(jié)果，這時交易平臺會和需求方溝通，提出新的報價，需求方經(jīng)過考慮后，與平臺進行討價還價，它們在價格上達成一致時才能完成交易。由于交易數(shù)據(jù)是整合后的多維數(shù)據(jù)，因此原始數(shù)據(jù)資源供應(yīng)方的收益，由平臺從總交易價中支付，具體的支付方式可分為平臺一次性買斷或按次數(shù)支付。同一數(shù)據(jù)資源對于不同的需求者來說，其價值是不一樣的，融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺根據(jù)最終的一體化交易成交價，反向?qū)?shù)據(jù)資源進行定價，相對于現(xiàn)有的大數(shù)據(jù)交易平臺來說，是一種進步。交易平臺的深度參與，會使數(shù)據(jù)交易的頻率加快，原始數(shù)據(jù)資源供應(yīng)方會獲得更多的收益。數(shù)據(jù)分析服務(wù)商根據(jù)具體的數(shù)據(jù)分析任務(wù)，直接參與由平臺發(fā)起的競價，達成交易后由平臺支付。交易平臺本身的收益則是需求方支付額減去其他各方收益的差價。
5.融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺的優(yōu)勢
本文3.1到3.3中指出現(xiàn)有大數(shù)據(jù)交易平臺存在數(shù)據(jù)供需錯配、大數(shù)據(jù)資源定價困難、數(shù)據(jù)的時效性不強三大不足。融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺作為改進后的第二代大數(shù)據(jù)交易平臺，可以很好地克服上述三點不足。除了這三個方面的優(yōu)勢以外，由于融合后可實現(xiàn)數(shù)據(jù)與服務(wù)的一體化交易，這將擴大交易對象的覆蓋范圍，提升交易的活力，具體如下。
5.1 直接面向應(yīng)用，從根本上避免了數(shù)據(jù)供需的錯配
在融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺上，需求方對交易平臺直接提出應(yīng)用方向和預(yù)期結(jié)果。交易平臺對全平臺的數(shù)據(jù)進行多維度整合，如果缺失某個維度的數(shù)據(jù)，可以進行定向的采集和補充，最后形成高價值的多維數(shù)據(jù)。這些多維數(shù)據(jù)才是真正具有分析價值的數(shù)據(jù)資源，這是單個數(shù)據(jù)供應(yīng)方無法提供的。在得到多維數(shù)據(jù)后，結(jié)合平臺自身和第三方數(shù)據(jù)服務(wù)商的分析能力，得到最終的分析結(jié)果。交易平臺最后交付給需求方的是數(shù)據(jù)分析結(jié)果和基礎(chǔ)數(shù)據(jù)，這種直接面向最終應(yīng)用的大數(shù)據(jù)交易方式，從根本上避免了數(shù)據(jù)供需的錯配。
5.2 融合后定價更有根據(jù)
在現(xiàn)有的大數(shù)據(jù)平臺上，數(shù)據(jù)需求方是將數(shù)據(jù)資源買回去以后自己分析，而在購買數(shù)據(jù)資源之前，不能預(yù)知數(shù)據(jù)分析效果的好壞，因此無法進行有效的價值判斷，這是定價困難的關(guān)鍵點。在融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺上，需求方不再直接對數(shù)據(jù)資源付費，而是對最終的數(shù)據(jù)分析結(jié)果付費，并且數(shù)據(jù)分析結(jié)果是根據(jù)需求方的要求反向定制的，是符合需求方利益的。需求方可以通過評估預(yù)期結(jié)果對自身的重要性或收益的改進程度，給出適當(dāng)?shù)慕灰最A(yù)算。交易平臺以該預(yù)算為參照，對數(shù)據(jù)和服務(wù)進行選擇，若出現(xiàn)原預(yù)算約束下無法實現(xiàn)預(yù)期結(jié)果的情況，交易平臺再與需求方進行溝通，雙方討價還價后達成交易。這樣相對于現(xiàn)有的大數(shù)據(jù)交易平臺來說，融合后定價更有依據(jù)。
5.3 融合后可提供實時數(shù)據(jù)
在融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺上，數(shù)據(jù)資源采用云存貯的模式，由平臺進行統(tǒng)一管理，這提高了數(shù)據(jù)資源的安全性。在數(shù)據(jù)安全有保障的前提下，由交易平臺出面和數(shù)據(jù)資源供應(yīng)方進行實時數(shù)據(jù)的對接，將實時數(shù)據(jù)納入大數(shù)據(jù)資源池中。對于單個的數(shù)據(jù)資源供應(yīng)方來說，實時的數(shù)據(jù)脫敏難度太大。但大數(shù)據(jù)交易平臺不一樣，它可以利用規(guī)模優(yōu)勢，組建強大的計算能力，對大數(shù)據(jù)資源進行實時的脫敏和清洗，極大地提高了數(shù)據(jù)資源的時效性。
5.4 融合后將擴大交易對象的覆蓋范圍，提升交易的活力
融合后可實現(xiàn)數(shù)據(jù)和服務(wù)的一體化交易，讓很多自身不具備數(shù)據(jù)分析能力的組織和個人，也能方便地利用大數(shù)據(jù)，特別是大量的中小企業(yè)，這將大大增加交易對象的覆蓋范圍。
交易對象的增多會促進交易頻率的增長，從而為數(shù)據(jù)資源供應(yīng)方帶來更多的收益，這樣會提升它們參與交易的積極性，鼓勵它們供應(yīng)更多的數(shù)據(jù)資源，從而提升交易的活力，整個大數(shù)據(jù)交易行業(yè)就形成了正向循環(huán)的良好發(fā)展態(tài)勢。
6結(jié)語
本文對大數(shù)據(jù)交易平臺本身進行了改進與創(chuàng)新，設(shè)計了一種全新的第二代大數(shù)據(jù)交易平臺，即：融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺。該交易平臺可以直接面向需求方的應(yīng)用方向，實現(xiàn)數(shù)據(jù)和服務(wù)的一體化交易，不僅從根本上避免了數(shù)據(jù)供需的錯配，還使大數(shù)據(jù)交易的定價更有依據(jù)，平臺的深度參也讓提供實時數(shù)據(jù)成為可能，這些將從整體上提升大數(shù)據(jù)交易的效率。融合后數(shù)據(jù)和服務(wù)的一體化交易降低了大數(shù)據(jù)應(yīng)用的技術(shù)門檻，鼓勵更多組織和個人參與，增加了交易活力。未來筆者將繼續(xù)關(guān)注大數(shù)據(jù)交易平臺的創(chuàng)新研究，為實際應(yīng)用和學(xué)術(shù)科研提供更多有益的參考。
參考文獻
[1]趙強，單煒.大數(shù)據(jù)政府創(chuàng)新：基于數(shù)據(jù)流的公共價值創(chuàng)造[J].中國科技論壇，2014（12）：23-27.
[2]徐繼華，馮啟娜，陳貞汝.智慧政府：大數(shù)據(jù)治國時代的來臨[M].北京：中信出版社，2014.
[3]李文蓮，夏健明.基于“大數(shù)據(jù)”的商業(yè)模式創(chuàng)新[J].中國工業(yè)經(jīng)濟，2013（5）：83-95.
[4]侯錫林，李天柱，馬佳，等.大數(shù)據(jù)環(huán)境下企業(yè)創(chuàng)新機會研究[J].科技進步與對策，2014，31（24）：82-86.
[5]張峰，張迪.論大數(shù)據(jù)時代科研方法新特征及其影響[J].科學(xué)學(xué)研究，2016，34（2）：166-170，202.
[6]王玉林，高富平.大數(shù)據(jù)的財產(chǎn)屬性研究[J]。圖書與情報，2016（1）：29-35，43.
[7]齊愛民，盤佳.數(shù)據(jù)權(quán)、數(shù)據(jù)主權(quán)的確立與大數(shù)據(jù)保護的基本原則[J].蘇州大學(xué)學(xué)報：哲學(xué)社會科學(xué)版，2015（1）：64-70.
[8]劉朝陽.大數(shù)據(jù)定價問題分析[J].圖書情報知識，2016（1）：57-64.
[9]劉洪玉，張曉玉，侯錫林.基于討價還價博弈模型的大數(shù)據(jù)交易價格研究[J].中國冶金教育，2015（6）：86-91.
[10]翟麗麗，王佳妮，何曉燕.移動云計算聯(lián)盟企業(yè)數(shù)據(jù)資產(chǎn)評估方法研究[J].價格理論與實踐，2016（2）：153-156.
[11]史宇航.個人數(shù)據(jù)交易的法律規(guī)制[J].情報理論與實踐，2016，39（5）：34-39.
[12]殷建立，王忠.大數(shù)據(jù)環(huán)境下個人數(shù)據(jù)溯源管理體系研究[J].情報科學(xué)，2016，34（2）：139-143.
[13]王忠.大數(shù)據(jù)時代個人數(shù)據(jù)交易許可機制研究[J].理論月刊，2015（6）：131-135.
2電力在線監(jiān)測過程中異常數(shù)據(jù)的分析和解讀
根據(jù)《國家電網(wǎng)報》的報道可以看到，在2014年，在南方某地區(qū)電力工作人員通過監(jiān)測發(fā)現(xiàn)轄區(qū)內(nèi)的一個電度表出現(xiàn)了電壓不穩(wěn)的情況，這種情況的出現(xiàn)，就淺析“量價費損”在線監(jiān)測過程中異常數(shù)據(jù)分析及處理楊娟國網(wǎng)山東鄄城縣供電公司274600說明此電表所管轄的區(qū)域內(nèi)有違規(guī)用電戶，或者是記電表出現(xiàn)了問題。通過工作人員的連夜分析，發(fā)現(xiàn)是記電表的內(nèi)部芯片出現(xiàn)了問題，正是因為這個問題才導(dǎo)致了整個電力系統(tǒng)的不穩(wěn)。工作人員將所有記電表的內(nèi)置芯片全部更換，發(fā)現(xiàn)電力系統(tǒng)開始正常運行，芯片更換后，追補到了六千余瓦電量，取得了階段性內(nèi)的成功。這就說明，通過監(jiān)測發(fā)現(xiàn)了數(shù)據(jù)異常后，需要及時的分析才能排除可能，從而“對癥下藥”。
3如何處理電力監(jiān)測中的異常問題
隨著科技和時代的發(fā)展“，量價費損”在線系統(tǒng)在國家電網(wǎng)公司逐步實施使用，此種工具有著不同功能和作用，使用得當(dāng)可以為企業(yè)增加經(jīng)濟效益，如果使用不得當(dāng)那么就會引起一系列的問題。國家電網(wǎng)公司在2013年上線試點了電力在線監(jiān)測系統(tǒng)，對多個城市開展全面性的試點監(jiān)測。主要工作原理是通過第三方平臺，對區(qū)域內(nèi)的用電量、電價、電力傳輸線路等細節(jié)進行監(jiān)測，如果在監(jiān)測過程中發(fā)現(xiàn)了任何異常問題，就自動采用“閉環(huán)協(xié)調(diào)運作”的形式，可以讓工作人員在第一時間了解問題，從而解決問題。這個監(jiān)測工具可以深入到用電系統(tǒng)的方方面面，將以往遺漏的地方全都納入監(jiān)測之中。通過監(jiān)測工具形成了按時匯報，定點處理的營銷機制，從根本上為復(fù)雜多樣的電力系統(tǒng)監(jiān)測提供了高效優(yōu)良手段。
3.1“量價費損”在線監(jiān)測工具的運行機制
此監(jiān)測工具主要是進行電力預(yù)警，將有可能出現(xiàn)的問題以形象直觀的方式及時反饋。一般來說，監(jiān)測工具是使用多種類型的監(jiān)測盤構(gòu)成的，不同的監(jiān)測盤負責(zé)監(jiān)測電力系統(tǒng)的不同方面。監(jiān)測盤可以通過人工定時的方式自動刷新，沒更新一次數(shù)據(jù)就是一次新的監(jiān)測。通過監(jiān)測盤，可以展現(xiàn)出電費、電價、電力使用情況等方方面面的數(shù)據(jù)，各種數(shù)據(jù)指標都是各電力工作人員需要著重構(gòu)建用電系統(tǒng)的依據(jù)。其中不同顏色表示風(fēng)險預(yù)警的不同狀態(tài)，如果是紅色，那么就說明電力系統(tǒng)存在高危風(fēng)險，此時應(yīng)該特別注意，全力排查有關(guān)問題。監(jiān)測盤的指針如果落到了黃色區(qū)域，那就說明高危風(fēng)險出現(xiàn)的幾率增加，此時應(yīng)該防患于未然，如果指針在綠色區(qū)域，就說明一切指標和數(shù)據(jù)處于一個安全的狀態(tài)內(nèi)，所有用電系統(tǒng)一切正常。
3.2“量價費損”監(jiān)測過程中的問題預(yù)測
在電力監(jiān)測過程中，除了有不同顏色的標注之外，還有彈出窗口作為提醒。這區(qū)別于不同的顏色風(fēng)險區(qū)域，可以以更加醒目的方式提醒有關(guān)人員，引起全部人員的注意力。在電力監(jiān)測過程中會發(fā)現(xiàn)，電費問題一直是一個難以解決的重要難題。因為用電戶繁多，沒法及時將電費收回，影響了電力公司的正常運轉(zhuǎn)。而在監(jiān)測工具中，新增了智能運算這一個過程，可以通過有關(guān)程序，計算出有關(guān)的電費和電價，從而對相應(yīng)的用電客戶做出提醒，降低電力系統(tǒng)的風(fēng)險，這種省時省力的方式受到了良好的效果。
3.3“量價費損”在線監(jiān)測的優(yōu)點
在線監(jiān)測工具在用電系統(tǒng)中的廣泛應(yīng)用，使得各大城市可以在宏觀上把握各大電網(wǎng)的運行狀態(tài)。對于供電企業(yè)的決策處理水平有了一個很大的提高。供電企業(yè)的數(shù)據(jù)分析擺脫了低效的機制，從而構(gòu)建了一個全新的用電管理系統(tǒng)。對于廣大市民來說，此種監(jiān)測工具成為了溝通用電戶和電力公司的橋梁，在二者之間建立起一個良好的信譽體系，促進了節(jié)約用電的意識，規(guī)范了用電機制和模式。可以保證日常生活中電費的順利上繳和回收。此種用電監(jiān)測工具能在源頭上防止不正確的用電行為，保證了供電企業(yè)的經(jīng)濟效益?？梢源_保供電企業(yè)的資金合理運轉(zhuǎn)，杜絕了以往用電過多、蓄意浪費等不良行為。如果有蓄意欠費用戶，也可以通過監(jiān)測第一時間發(fā)現(xiàn)，從而避免了供電企業(yè)的經(jīng)濟損失。根據(jù)調(diào)查表明，在監(jiān)測工具使用后，違章用電客戶比之前減少了百分之六十，大大增強了電力資源的利用率。
BI商業(yè)智能軟件一般都會提供若干數(shù)據(jù)整合、數(shù)據(jù)查詢、分析與評價、數(shù)據(jù)可視化及數(shù)據(jù)分享的手段，但是在BI項目的構(gòu)建與實施過程中，如果不按照一定的應(yīng)用組織思路、數(shù)據(jù)分析模式及分析流程使用這些工具或手段，呈現(xiàn)給最終用戶的將是獨立的工具集和離散的分析內(nèi)容，BI系統(tǒng)的整體應(yīng)用效果將大打折扣。同時，最終用戶也了解數(shù)據(jù)分析模式及數(shù)據(jù)分析流程方面的一些常用理論和方法，以便形成自己的分析內(nèi)容組織思路，從而有效開展數(shù)據(jù)決策分析工作。這方面目前已有多種卓有成效的理論及實踐體系，本文基于既往經(jīng)歷的典型BI/DW項目實施經(jīng)驗及對BI軟件規(guī)劃研發(fā)和實施經(jīng)驗，給出一種BI系統(tǒng)中的數(shù)據(jù)分析內(nèi)容及分析流程組織思路。
1.整體應(yīng)用模式
在商業(yè)智能項目(DW/BI項目)中，通過梳理和優(yōu)化現(xiàn)有的指標、報表體系和分析體系，同時整合主要的業(yè)務(wù)系統(tǒng)數(shù)據(jù)(業(yè)務(wù)核心支撐系統(tǒng)、財務(wù)系統(tǒng)、HR系統(tǒng)、手工維護的數(shù)據(jù)如行業(yè)數(shù)據(jù)、競爭對手數(shù)據(jù)等)，從而建立面向總部和子公司的業(yè)務(wù)及IT等部門，集中使用、管理和維護的BI商業(yè)智能系統(tǒng)，以強化信息共享、業(yè)務(wù)分析、輔助管理決策工作。
在系統(tǒng)構(gòu)建思路(系統(tǒng)整體應(yīng)用模式)方面，面向數(shù)據(jù)分析的BI商業(yè)智能系統(tǒng)構(gòu)建工作應(yīng)達到如下目標：
2.數(shù)據(jù)分析模式
在數(shù)據(jù)分析的原理及模式方面，BI商業(yè)智能系統(tǒng)可采取PDCA管理循環(huán)理論的分析問題的模式，PDCA管理循環(huán)理論起初應(yīng)用于質(zhì)量檢查與保障優(yōu)化領(lǐng)域，后來在精細化管理及數(shù)據(jù)分析與決策領(lǐng)域卓有成效。
應(yīng)用在商業(yè)智能項目(BI/DW類)中時，PDCA管理循環(huán)理論的P、D、C、A四個英文字母所代表的意義如下：
1)P(Plan)——計劃
包括方針和目標的確定以及活動計劃的制定，包括業(yè)務(wù)發(fā)展目標(goal)，中期計劃(plan)，年度、季度及月度預(yù)算等(budget)。
計劃環(huán)節(jié)的內(nèi)容觸發(fā)了BI商業(yè)智能系統(tǒng)應(yīng)當(dāng)具有導(dǎo)入并集成計劃與預(yù)算等相關(guān)數(shù)據(jù)的能力這一要求，而計劃及預(yù)算的制定工作，一般則是通過在專項的計劃與預(yù)算管理系統(tǒng)中進行。也有個別BI廠商基于自定義的填報方案為客戶提供計劃和預(yù)算的下發(fā)與上報等管理功能。
2)D(DO)——執(zhí)行
執(zhí)行就是具體運作，實現(xiàn)計劃中的內(nèi)容。在BI商業(yè)智能系統(tǒng)需要對及時、準確的反應(yīng)業(yè)務(wù)的現(xiàn)狀提供必要的、充分的手段，包括圍繞業(yè)務(wù)整體狀況及各個業(yè)務(wù)面構(gòu)建的Dashboard、報表、查詢、預(yù)警及其他數(shù)據(jù)分析及可視化手段。
有比較才能明了現(xiàn)狀，有參照才能進行比較。因此BI商業(yè)智能系統(tǒng)還應(yīng)該提供來自內(nèi)部、外部的參照體系，比如計劃數(shù)據(jù)、歷史數(shù)據(jù)、標桿數(shù)據(jù)、競爭數(shù)據(jù)等，以便對業(yè)務(wù)現(xiàn)狀的健康程度有足夠的參照依據(jù)。
3)C(Check)——檢查
就是要檢查并總結(jié)執(zhí)行計劃的結(jié)果，分清哪些對了，哪些錯了，明確效果，找出問題。
在BI商業(yè)智能系統(tǒng)中，應(yīng)提供相應(yīng)的對比和評價手段，如各類計劃的達成情況分析、標桿分析、綜合績效評價、EVA評價等手段，以便對一個業(yè)務(wù)周期的效果進行分析與評價。
該部分的分析粒度應(yīng)有所提高(如沿著時間、人員等維度)，分析的范圍相應(yīng)縮窄，結(jié)合管理及業(yè)務(wù)現(xiàn)狀有針對性對總體及關(guān)鍵業(yè)務(wù)環(huán)節(jié)設(shè)立專項檢查與評價手段，檢查評價的內(nèi)容一般集中在業(yè)務(wù)效率及財務(wù)表現(xiàn)等方面。
4)A(Action)——處理
對上文Check環(huán)節(jié)檢查的結(jié)果進行處理，管理人員通過仔細分析內(nèi)在原因之后對檢車結(jié)果認可、否定或調(diào)整改進相關(guān)參數(shù)及結(jié)果。并利用有效的結(jié)果針對性的開展相關(guān)商務(wù)政策及管理措施等。
比如，在既往實施的多個經(jīng)銷商網(wǎng)絡(luò)管理商業(yè)智能項目中，Action環(huán)節(jié)落實為相應(yīng)銷售政策、獎罰措施及總部向各經(jīng)銷商、商的利潤返還計劃，同時也落實為對下一輪業(yè)務(wù)目標計劃數(shù)據(jù)的調(diào)整。
3.數(shù)據(jù)分析流程
1引言
本課題來源于中央廣播電視大學(xué)教務(wù)管理系統(tǒng)的后續(xù)開發(fā)。隨著中央電大在開放式教育思想指導(dǎo)下的教學(xué)改革的展開，系統(tǒng)業(yè)務(wù)量急劇猛增，原有的教學(xué)管理系統(tǒng)已經(jīng)逐漸的滿足不了應(yīng)用需求。所以新一代教學(xué)管理系統(tǒng)正在開發(fā)中，同時由于教育業(yè)務(wù)本身的連貫性，導(dǎo)致了新舊系統(tǒng)并行的局面出現(xiàn)。但是由于新舊系統(tǒng)間缺少關(guān)聯(lián)和通信以及必要的規(guī)范，導(dǎo)致信息“孤島”現(xiàn)象嚴重，而舊系統(tǒng)又恰恰是電大不可放棄的重要投資。同時由于各個系統(tǒng)集成度不足，運行業(yè)務(wù)的數(shù)據(jù)庫和應(yīng)用程序也是在不同時期部署的，它們來自不同的供應(yīng)商，使用各不相同的定制技術(shù)。從而面臨著如何構(gòu)建一個強壯的、可靠的，將新舊系統(tǒng)中的分散功能組織成可共用的標準服務(wù)來滿足業(yè)務(wù)要求的平臺，成為我們需要研究的難點。
通過實踐我們可以發(fā)現(xiàn)，應(yīng)用程序始終都與數(shù)據(jù)有關(guān)，企業(yè)級的服務(wù)程序更是如此。今天，企業(yè)應(yīng)用程序開發(fā)中有高達70％的時間都是用于訪問不同的數(shù)據(jù)。因此，對企業(yè)信息和數(shù)據(jù)按業(yè)務(wù)邏輯進行梳理和抽取，形成企業(yè)數(shù)據(jù)的統(tǒng)一表現(xiàn)實體，該實體可以在全企業(yè)范圍內(nèi)得到一致性的使用，是邁向面向服務(wù)的體系架構(gòu)的第一步。因此我們提出了主題數(shù)據(jù)平臺的概念。
2主題數(shù)據(jù)平臺結(jié)構(gòu)
主題數(shù)據(jù)平臺結(jié)構(gòu)見圖1。主題數(shù)據(jù)平臺由：主題數(shù)據(jù)服務(wù)層、數(shù)據(jù)處理構(gòu)件、數(shù)據(jù)處理管道、適配器構(gòu)件組成。
圖1數(shù)據(jù)主題平臺的設(shè)計構(gòu)架
主題數(shù)據(jù)服務(wù)層：是底層接口與上層應(yīng)用的中間層，用于屏蔽底層接口，向上提供統(tǒng)一的服務(wù)。有兩種角色：一種角色是數(shù)據(jù)中轉(zhuǎn)站，用于保存臨時數(shù)據(jù)，并等數(shù)據(jù)傳輸完整之后，進一步對數(shù)據(jù)進行分析和處理；另一種角色是主題數(shù)據(jù)服務(wù)層角色，用于保存數(shù)據(jù)處理的最終結(jié)果：主題數(shù)據(jù)。
數(shù)據(jù)處理構(gòu)件：是數(shù)據(jù)處理的基礎(chǔ)構(gòu)件，每一個數(shù)據(jù)處理構(gòu)件都封裝了一部分相對獨立的數(shù)據(jù)處理邏輯，包括刪除不需要的數(shù)據(jù)、補充缺少的數(shù)據(jù)、對數(shù)據(jù)進行簡單的四則運算、代碼轉(zhuǎn)換和按主題建立新的數(shù)據(jù)結(jié)構(gòu)等功能。
數(shù)據(jù)處理管道：是由多個數(shù)據(jù)處理構(gòu)件組成，它合理的組合和安排這些數(shù)據(jù)處理構(gòu)件，從而完成復(fù)雜的數(shù)據(jù)處理邏輯。
適配器構(gòu)件：用于實現(xiàn)異構(gòu)數(shù)據(jù)庫與數(shù)據(jù)處理管道的無縫連接，從而能夠方便的從異構(gòu)數(shù)據(jù)庫中抽取或插入數(shù)據(jù)。
3基于局域網(wǎng)的主題數(shù)據(jù)平臺的實現(xiàn)方案
基于局域網(wǎng)的主題數(shù)據(jù)平臺的實現(xiàn)方案見圖2。
圖2基于局域網(wǎng)的數(shù)據(jù)主題平臺的實現(xiàn)方案
由于局域網(wǎng)有著：網(wǎng)絡(luò)傳輸速度快、網(wǎng)絡(luò)故障率低、即時性強、服務(wù)器固定等優(yōu)點。所以我們采用：DTS技術(shù)、Nmake技術(shù)、臨時庫等技術(shù)來解決基于局域網(wǎng)的主題數(shù)據(jù)平臺的實現(xiàn)問題。
3.1DTS技術(shù)的應(yīng)用
采用DTS技術(shù)可以實現(xiàn)在局域網(wǎng)中從異構(gòu)的數(shù)據(jù)庫中提取或插入數(shù)據(jù)，并能對數(shù)據(jù)進行簡單的邏輯操作。它可以把相對獨立的數(shù)據(jù)處理邏輯封裝在對應(yīng)的DTS包中，從而把公用的數(shù)據(jù)處理邏輯從數(shù)據(jù)處理業(yè)務(wù)中提煉了出來，以備復(fù)用。并提供了工作流支持，保證了DTS包中數(shù)據(jù)處理業(yè)務(wù)的事務(wù)性和完整性。
⑴適配器構(gòu)件
適配器構(gòu)件只是一個數(shù)據(jù)處理通道和異構(gòu)數(shù)據(jù)源的連接器，它負責(zé)從異構(gòu)數(shù)據(jù)源中抽取或者插入數(shù)據(jù)并將數(shù)據(jù)轉(zhuǎn)移到數(shù)據(jù)處理通道中。每一個數(shù)據(jù)源對應(yīng)一個或多個適配器構(gòu)件，每個適配器構(gòu)件包含在對應(yīng)的DTS包中。整個DTS包中包含一個原數(shù)據(jù)源、一個目標數(shù)據(jù)源和一個數(shù)據(jù)對應(yīng)轉(zhuǎn)換任務(wù)。將整個數(shù)據(jù)轉(zhuǎn)換邏輯封裝為一個構(gòu)件，有利于適配器構(gòu)件的復(fù)用。
⑵數(shù)據(jù)處理構(gòu)件
數(shù)據(jù)處理構(gòu)件封裝了數(shù)據(jù)處理邏輯，這些處理邏輯由數(shù)據(jù)業(yè)務(wù)驅(qū)動，包括刪除不需要的數(shù)據(jù)、從不同的數(shù)據(jù)來源補齊缺少的數(shù)據(jù)、對數(shù)據(jù)進行簡單的四則運算、不同信息系統(tǒng)之間的代碼轉(zhuǎn)換等功能。數(shù)據(jù)處理邏輯按其獨立性和公用性被封裝在不同的DTS包中，增強了數(shù)據(jù)處理構(gòu)件的可變性和復(fù)用性。DTS包提供了驗證機制這既可以保證數(shù)據(jù)處理邏輯的正確性，又可以保證數(shù)據(jù)處理邏輯的事務(wù)性。DTS包內(nèi)包含工作流，可以針對不同的情況做出不同的處理，極大地提高了數(shù)據(jù)處理構(gòu)件的復(fù)用性，并可對業(yè)務(wù)性錯誤做出必要的處理。
3.2Nmake技術(shù)的應(yīng)用
Microsoft程序維護實用工具Nmake是一個32位基于說明文件中包含的命令生成項目的工具。NMake具有豐富的選項，可以完成復(fù)雜的處理操作，并有樹狀文件任務(wù)處理結(jié)構(gòu)，并且易于編寫，結(jié)構(gòu)清晰，對于實現(xiàn)復(fù)雜的數(shù)據(jù)處理業(yè)務(wù)提供了很大的方便。采用Nmake技術(shù)可以有效的將結(jié)構(gòu)松散的、相對獨立的數(shù)據(jù)處理構(gòu)件聚合起來，從而能夠處理復(fù)雜的數(shù)據(jù)處理業(yè)務(wù)。
數(shù)據(jù)處理管道
數(shù)據(jù)處理管道是將數(shù)據(jù)處理構(gòu)件有機的組合起來并封裝好，對主題數(shù)據(jù)服務(wù)層提供統(tǒng)一的訪問接口，從而把數(shù)據(jù)服務(wù)邏輯與數(shù)據(jù)處理邏輯分割開來。數(shù)據(jù)處理管道可以極大地提高數(shù)據(jù)處理構(gòu)件的復(fù)用率，并把復(fù)雜的數(shù)據(jù)處理邏輯從數(shù)據(jù)處理構(gòu)件中抽離了出來，當(dāng)數(shù)據(jù)處理業(yè)務(wù)變動的時候不需要修改構(gòu)件只要按著業(yè)務(wù)需求，重新組織構(gòu)件即可解決問題。Nmake可以按著業(yè)務(wù)需求輕松地把數(shù)據(jù)處理構(gòu)件組合起來形成帶有業(yè)務(wù)邏輯關(guān)系的數(shù)據(jù)處理管道，并且Nmake提供了業(yè)務(wù)流功能，針對不同的業(yè)務(wù)需求可以提供不同的業(yè)務(wù)流支持，從而極大的提高業(yè)務(wù)本身的靈活性。當(dāng)業(yè)務(wù)需求變動時，Nmake可以通過重新組合數(shù)據(jù)處理構(gòu)件來完成業(yè)務(wù)，而不需修改或者重新編寫數(shù)據(jù)處理構(gòu)件，從而提高數(shù)據(jù)處理構(gòu)件的可復(fù)用性。
4基于互聯(lián)網(wǎng)的主題數(shù)據(jù)平臺的解決方案
基于互聯(lián)網(wǎng)的主題數(shù)據(jù)平臺面臨的主要問題是如何通過遠程數(shù)據(jù)傳輸將互聯(lián)網(wǎng)的異地、異構(gòu)的數(shù)據(jù)源中的數(shù)據(jù)傳輸?shù)街黝}數(shù)據(jù)服務(wù)層中。數(shù)據(jù)一旦進入主題數(shù)據(jù)平臺的主題數(shù)據(jù)服務(wù)層，就可以使用和基于局域網(wǎng)的解決方案相同的技術(shù)對數(shù)據(jù)進行整理。通過遠程數(shù)據(jù)傳輸將互聯(lián)網(wǎng)的異構(gòu)數(shù)據(jù)傳輸?shù)街黝}數(shù)據(jù)服務(wù)層之后的功能與基于局域網(wǎng)的數(shù)據(jù)轉(zhuǎn)換接口的功能相同。
中央廣播電視大學(xué)遠程開放教育的教務(wù)管理系統(tǒng)是一個跨越44個省面向全國的開放式教育體系結(jié)構(gòu)。該系統(tǒng)包含四級平臺、五種角色，由于其獨特性中央電大教務(wù)管理系統(tǒng)基于互聯(lián)網(wǎng)的主題數(shù)據(jù)平臺的搭建有如下4方面需求：
1）中央電大各個系統(tǒng)之間、中央電大教務(wù)管理系統(tǒng)各級平臺之間需要能進行靈活的數(shù)據(jù)交換。
2）每次交換數(shù)據(jù)的數(shù)據(jù)量可能達到GB級。
3）部分數(shù)據(jù)交換有實時性要求，在規(guī)定時間內(nèi)客戶端必須收到響應(yīng)，不能因為數(shù)據(jù)傳輸而推遲業(yè)務(wù)進度。
4）需要在網(wǎng)絡(luò)狀況不穩(wěn)定的情況下完成數(shù)據(jù)交換，因為中央電大教務(wù)系統(tǒng)是跨越44個省的開放式教育系統(tǒng)，所以中央電大需要同44所省電大交換數(shù)據(jù)，在這種情況下網(wǎng)絡(luò)狀況不可預(yù)知、穩(wěn)定性難以保證，但傳輸仍然需要進行。
4.1SOAP協(xié)議與Hessian協(xié)議的比較
目前，Web服務(wù)技術(shù)是解決異構(gòu)平臺系統(tǒng)的集成及互操作問題的主流技術(shù)[1]。它所基于的XML已經(jīng)是Internet上交換數(shù)據(jù)的實際標準，基于通用的進程間通信協(xié)議和網(wǎng)絡(luò)傳輸協(xié)議屏蔽平臺的差異，可以將各種異構(gòu)環(huán)境下的通信及調(diào)用請求均統(tǒng)一為標準的Web服務(wù)格式[3]。
但是由于SOAP協(xié)議的結(jié)構(gòu)問題會使封裝的數(shù)據(jù)膨脹數(shù)倍。當(dāng)傳輸數(shù)據(jù)量比較小時，問題不是那么明顯，但是當(dāng)進行大數(shù)據(jù)量傳輸時就會導(dǎo)致Web服務(wù)的傳輸性能在實際運用中降低了很多。這對于經(jīng)常有大數(shù)據(jù)量數(shù)據(jù)交換的應(yīng)用系統(tǒng)來說是不適用的。
CauchoTechnology公司制定的HBWSP（HessianBinaryWebServiceProtocol）[2]在這方面的有所突破。Hessian協(xié)議和webservice常用的SOAP協(xié)議類似，也是將協(xié)議報文封裝在HTTP封包中，通過HTTP信道進行傳輸?shù)?。因此Hessian協(xié)議具有與SOAP協(xié)議同樣的優(yōu)點，即傳輸不受防火墻的限制（防火墻通常不限制HTTP信道）。Hessian協(xié)議的優(yōu)勢在于：它把本地格式的數(shù)據(jù)編碼為二進制數(shù)據(jù)，僅用一個字符作為結(jié)構(gòu)化標記，HBWSP封裝后的數(shù)據(jù)增量明顯小于SOAP封裝后的數(shù)據(jù)增量。并且相對于SOAP，Hessian協(xié)議的外部數(shù)據(jù)表示有3個顯著的優(yōu)勢：
1）采用簡單的結(jié)構(gòu)化標記。簡單的結(jié)構(gòu)化標記減少了編碼、解碼操作對內(nèi)存的占用量。編碼時，只需寫少量的數(shù)據(jù)，就可以標記結(jié)構(gòu)；解碼時，只需讀少量的數(shù)據(jù)就可以確定結(jié)構(gòu)。而且，簡單的結(jié)構(gòu)化標記減少了編碼后的數(shù)據(jù)增量。
2）采用定長的字節(jié)記錄值。用定長的字節(jié)記錄值，解碼時，就可以使用位操作從固定長度的位獲得值。這樣不僅操作簡單，而且可以獲得較高的性能。
3）采用引用取代重復(fù)遇到的對象。使用引用取代重復(fù)遇到的對象可以避免對重復(fù)對象的編碼，而且也減少了編碼后的數(shù)據(jù)量。
因此使用Hessian協(xié)議傳輸數(shù)據(jù)量比SOAP協(xié)議要小得多。實踐證明，傳輸同樣的對象Hessian協(xié)議傳輸?shù)臄?shù)據(jù)量比SOAP協(xié)議低一個數(shù)量級。因此Hessian協(xié)議比SOAP協(xié)議更適用于分布式應(yīng)用系統(tǒng)間大數(shù)據(jù)量的數(shù)據(jù)交換。
4.2Hessian協(xié)議的實現(xiàn)構(gòu)架
Hessian協(xié)議的實現(xiàn)構(gòu)架如圖3所示：為了實現(xiàn)Hessian構(gòu)架，設(shè)計了下列組件：編碼組件、解碼組件、通信組件、報告故障組件、組件、調(diào)用服務(wù)過程組件。
圖3Hessian協(xié)議的實現(xiàn)構(gòu)架
首先客戶端發(fā)出本地請求，組件響應(yīng)請求依據(jù)服務(wù)接口，生成客戶端存根，并調(diào)用編碼組件對本地請求進行基于HessianBinaryWebServiceProtocol標準的二進制編碼。然后調(diào)用通信組件將請求發(fā)送給服務(wù)器端。服務(wù)器端通信組件接收到請求后把請求轉(zhuǎn)發(fā)給調(diào)用服務(wù)過程組件，調(diào)用服務(wù)過程組件會首先調(diào)用解碼組件，得到過程標識，將過程標識轉(zhuǎn)給服務(wù)器端存根，并依據(jù)部署文件和客戶端的請求加載服務(wù)過程的實現(xiàn)類。然后根據(jù)過程標識、過程參數(shù)調(diào)用服務(wù)過程。最后調(diào)用編碼組件將響應(yīng)結(jié)果進行編碼并通過通信組件返回給客戶端。
當(dāng)數(shù)據(jù)傳輸、通信發(fā)生錯誤的時候就需要啟用報告故障組件，它可以以異常的形式，報告發(fā)送端、接收端、或者網(wǎng)絡(luò)連接發(fā)生的故障，并把錯誤記錄以日志的方式記錄下來保存在文件中，以備日后查閱。
4.3實現(xiàn)結(jié)構(gòu)
針對教務(wù)管理系統(tǒng)互聯(lián)網(wǎng)傳輸存在的一系列問題，基于互聯(lián)網(wǎng)的主體數(shù)據(jù)平臺采用基于HBWSP的輕量級跨平臺通信技術(shù)實現(xiàn)數(shù)據(jù)交換，如圖4所示。在客戶端，應(yīng)用服務(wù)器從主題數(shù)據(jù)服務(wù)層中抽取數(shù)據(jù)，并按著HBWSP的外部數(shù)據(jù)表示對本地格式數(shù)據(jù)進行編碼。然后通過internet網(wǎng)進行傳輸，在服務(wù)器端，數(shù)據(jù)交換的服務(wù)負責(zé)按照HBWSP的外部數(shù)據(jù)表示對接收到的數(shù)據(jù)進行解碼，然后再對數(shù)據(jù)進行分析、處理后把數(shù)據(jù)插入到服務(wù)器端的主題數(shù)據(jù)服務(wù)層中。
圖4非持久同步方式的數(shù)據(jù)交換解決方案
該解決方案的主要特點包括：
1）采用了HBWSP的二進制編碼方式解決了異地、異構(gòu)平臺系統(tǒng)的通信問題，并使數(shù)據(jù)交互具有了一定的實時性。
2）由于HBWSP簡潔的編碼方式以及編碼、解碼性能高等特點使數(shù)據(jù)交換具有交換GB級數(shù)據(jù)的能力。
3）采用了HBWSP的二進制編碼方式有助于縮短整個數(shù)據(jù)交換所需要的時間。其編碼性能高的特點，有助于提高編碼速度，減少發(fā)送方編碼本地數(shù)據(jù)的時間。其解碼性能高的特點，可以減少接收方解碼、重構(gòu)本地數(shù)據(jù)的時間。從而減少了數(shù)據(jù)交換的響應(yīng)時間。
4）采用了HBWSP的二進制編碼方式和數(shù)據(jù)分批傳送技術(shù)有助于充分利用網(wǎng)絡(luò)狀況良好的時段。可以在網(wǎng)絡(luò)狀況良好的時段盡可能多的完成數(shù)據(jù)交換。
5）采用了斷點續(xù)傳技術(shù)，保證了當(dāng)網(wǎng)絡(luò)斷連或響應(yīng)超時導(dǎo)致正在進行的數(shù)據(jù)交換被中斷，在故障修復(fù)后仍然可以從中斷處開始，繼續(xù)完成上次沒有完成的數(shù)據(jù)交換的能力。斷點的粒度可以調(diào)節(jié)，可以是一條數(shù)據(jù)，也可以是多條數(shù)據(jù)。
6）采用了事務(wù)保護機制，把每批要傳輸?shù)臄?shù)據(jù)定義為一個事務(wù)，本批要傳輸?shù)臄?shù)據(jù)的事務(wù)完整性不依賴于已經(jīng)完成的各批數(shù)據(jù)，本批數(shù)據(jù)傳輸發(fā)生錯誤也不會對已經(jīng)完成的各批數(shù)據(jù)造成影響。采用這種方法，可以在數(shù)據(jù)交換過程被中斷的情況下保證數(shù)據(jù)交換事務(wù)的完整性。
5總結(jié)和展望
本文在SOA理論的基礎(chǔ)上提出了一個主題數(shù)據(jù)平臺的概念，力圖把異地、異構(gòu)的數(shù)據(jù)綜合起來，組成一個強壯的、高可靠性的、可共用的標準數(shù)據(jù)服務(wù)平臺。從而解決中央電大新舊教學(xué)管理系統(tǒng)數(shù)據(jù)“孤島”的問題。我們再進一步針對現(xiàn)實環(huán)境：局域網(wǎng)和互聯(lián)網(wǎng)兩種情況進行了分析，并給出了實現(xiàn)框架和技術(shù)細節(jié)。
但是如何在信息暴露的基礎(chǔ)上，對業(yè)務(wù)應(yīng)用進行進一步的梳理、劃分、整合，從而封裝成用戶可以隨意組合、使用的標準服務(wù)，從而實現(xiàn)真正的SOA，是需要我們進一步研究的內(nèi)容。
參考文獻
二、數(shù)據(jù)挖掘技術(shù)在財務(wù)分析中的應(yīng)用
財務(wù)分析的主要目的是改善經(jīng)營管理,提高企業(yè)的經(jīng)濟效益,其主要目的是保證會計信息資料的正確可靠性,以保證企業(yè)財產(chǎn)的安全性、完整性。比如某生態(tài)園林企業(yè)需要投入大量資金完善生產(chǎn)基礎(chǔ)設(shè)施,并保證現(xiàn)場作業(yè)的有序,如有必要還要投資于企業(yè)產(chǎn)品周邊附屬產(chǎn)業(yè)的發(fā)展,因此財務(wù)決策的重要性不言而喻,而在財務(wù)決策中應(yīng)用數(shù)據(jù)挖掘技術(shù)十分必要。財務(wù)分析中應(yīng)用數(shù)據(jù)挖掘的基本流程包括問題識別、數(shù)據(jù)準備、數(shù)據(jù)開采及結(jié)果表達與解釋等四個步驟,圖1可將財務(wù)分析數(shù)據(jù)挖掘的過程直觀的表達出來:
(一)問題識別
典型的財務(wù)決策包括投資決策、籌資決策、成本決策、銷售決策等,企業(yè)要進行財務(wù)分析前必須識別決策問題,明確需要達到的決策目標等,再將決策目標轉(zhuǎn)換為數(shù)據(jù)挖掘的目標,最后進行準確的數(shù)據(jù)定義。如企業(yè)需要投資企業(yè)產(chǎn)品周邊附屬產(chǎn)業(yè),則需要利用數(shù)據(jù)挖掘技術(shù)明確以下問題:
(1)企業(yè)經(jīng)營中可隨時支配的資金額度,需要財務(wù)人員建立數(shù)據(jù)庫模型,將可用于投資的資金情況準確、詳細的計算出來;
(2)編制投資方案,即與本企業(yè)實際情況相結(jié)合,考慮具體投資計劃,并對投資方案的可操作性進行分析,比如上述園林生態(tài)企業(yè)需要投資進口園林機械的項目,就需要在投資前對該項目的大小做出合理評估,了解該品牌園林機械在國際市場的占有份額、品質(zhì)、成本及銷售價格等信息;
(3)投資收益分析,投資的主要目的是獲得更高收益,因此在數(shù)據(jù)挖掘過程中,問題識別時必須做出可靠的收益預(yù)算。
(二)數(shù)據(jù)準備
在完成問題識別后,需要根據(jù)不同的需求、從相關(guān)數(shù)據(jù)庫信息中選擇適用的數(shù)據(jù)信息,即進行數(shù)據(jù)準備,該過程需要收集大量與企業(yè)財務(wù)分析相關(guān)的數(shù)據(jù)信息,以保證數(shù)據(jù)挖掘的真實性、客觀性,比如花卉市場分布信息、裝飾裝潢市場信息、園林設(shè)計與市場銷售等信息。通常情況下,數(shù)據(jù)準備又可分為數(shù)據(jù)集成、數(shù)據(jù)選擇及數(shù)據(jù)預(yù)處理等三個步驟,其中數(shù)據(jù)集成是把多數(shù)據(jù)庫運行環(huán)境中的數(shù)據(jù)進行合并處理,去除信息噪聲,剔除虛假數(shù)據(jù);而數(shù)據(jù)選擇則是分辨需要分析的數(shù)據(jù)集合,進一步縮小數(shù)據(jù)處理的范圍,提高數(shù)據(jù)質(zhì)量,從而保證數(shù)據(jù)挖掘的有效性;數(shù)據(jù)預(yù)處理的主要目的是解決數(shù)據(jù)挖掘工具局限性的問題。
(三)數(shù)據(jù)挖掘
當(dāng)上述準備工作完成后即可進行深入的數(shù)據(jù)挖掘處理,挖掘過程中需要注意,必須以財務(wù)分析核心思想為指導(dǎo),明確數(shù)據(jù)挖掘的目的性,數(shù)據(jù)挖掘的主要內(nèi)容包括:選擇合適的挖掘工具、具體的挖掘操作及證實發(fā)現(xiàn)的知識等,其中選擇合適的挖掘工具至關(guān)重要,限于篇幅此處對神經(jīng)網(wǎng)絡(luò)及決策樹兩種方法進行簡單介紹。神經(jīng)網(wǎng)絡(luò)是以自學(xué)習(xí)數(shù)學(xué)模型為基礎(chǔ)的,利用該方法可以很容易的解決具有上百個參數(shù)的問題,為高復(fù)雜度的問題提供一種相對簡單的方法;視經(jīng)網(wǎng)絡(luò)既可以表現(xiàn)為有指導(dǎo)的學(xué)習(xí),也可以是無指導(dǎo)聚類,不過輸入神經(jīng)網(wǎng)絡(luò)中的值均為數(shù)值型的。實際應(yīng)用中通常采用該方法進行財務(wù)預(yù)警分析。決策樹法是現(xiàn)階段應(yīng)用最廣泛的歸納推理算法之一,其提供了一種展示在何種條件下會獲得對應(yīng)值的規(guī)則的方法,是一種簡單的知識表示方法,在數(shù)據(jù)挖掘過程中,決策樹法主要用于數(shù)據(jù)挖掘的分類。
(四)結(jié)果表達
結(jié)果表達即是在處理數(shù)據(jù)庫信息的基礎(chǔ)上客觀的表達出數(shù)據(jù)挖掘的結(jié)果,以為企業(yè)財務(wù)分析提供可靠依據(jù)。可以說結(jié)果表達是數(shù)據(jù)挖掘的成果展示,其所表達的是最有價值的信息,如結(jié)果表達所提供的信息達不到?jīng)Q策的要求,則可重復(fù)挖掘過程,直至決策者滿意為止。
