“ 大數據” 時(shí)代的腳步已悄然而至，“大數據”（Big Data）已迅速成為近期爭相傳誦的熱門(mén)科技概念。未來(lái)的十年將是一個(gè)“大數據”引領(lǐng)的智慧科技的時(shí)代。專(zhuān)家們認為：“‘大數據’技術(shù)就是下一個(gè)經(jīng)濟、國防、安全、社會(huì )活動(dòng)等領(lǐng)域的制高點(diǎn)！”“大數據”是繼云計算、物聯(lián)網(wǎng)之后信息技術(shù)領(lǐng)域的又一熱點(diǎn)， “大數據”時(shí)代的來(lái)臨，給各行各業(yè)帶來(lái)了根本性變革，讓所有人都看到了“大數據”的挑戰與機會(huì )。對于工業(yè)控制行業(yè)同樣也是如此。本文即從“大數據”技術(shù)及其在工控行業(yè)中的應用研究的角度來(lái)探討一下“大數據”技術(shù)問(wèn)題。

   NO1 吹響大數據“集結號”！

   “大數據”（Big Data）之所以會(huì )成為熱點(diǎn)，主要應歸因于近年來(lái)互聯(lián)網(wǎng)、云計算、移動(dòng)和物聯(lián)網(wǎng)的迅猛發(fā)展。無(wú)所不在的移動(dòng)設備、射頻識別技術(shù)（RFID）、無(wú)線(xiàn)傳感器每分每秒都在產(chǎn)生著(zhù)成千上億的數據，數以?xún)|計用戶(hù)的互聯(lián)網(wǎng)服務(wù)時(shí)時(shí)刻刻都在產(chǎn)生巨量的數據，需要處理的數據量實(shí)在是太多、增長(cháng)實(shí)在是太快了，而業(yè)務(wù)需求和競爭壓力對數據處理的實(shí)時(shí)性、有效性又提出了更高要求，傳統的常規技術(shù)手段根本無(wú)法應對“大數據”浪潮。國際數據公司（IDC- InternationalData Corporation）預計，大量新數據無(wú)時(shí)不刻不在涌現，它們以每年50%的速度在增長(cháng)，或者說(shuō)每?jì)赡昃鸵环唷?br />
  人類(lèi)社會(huì )發(fā)展的核心驅動(dòng)力， 目前，已由“動(dòng)力驅動(dòng)”轉變?yōu)?ldquo;數據驅動(dòng)”；經(jīng)濟活動(dòng)重點(diǎn)，已從材料的使用轉移到“大數據”的使用。“大數據”正在成為各個(gè)業(yè)界的焦點(diǎn)話(huà)題。2012年1月，在瑞士達沃斯舉行的世界經(jīng)濟論壇上，“大數據”是框定的主題之一。該論壇的一份報告——《大數據，大影響》，宣告了“大數據時(shí)代”的到來(lái)！今天已經(jīng)進(jìn)入“大數據”時(shí)代，身邊的一切都在“大數據”范圍內。人們似乎再也沒(méi)有什么秘密可言，各種信息都暴露在“大數據”之中。“大數據”幾乎是無(wú)處不在。傳統行業(yè)創(chuàng )新升級，“大數據”成背后推手！企業(yè)必須直面“大數據”的挑戰。

  NO2 關(guān)于“大數據”的基本認識

   2.1　“大數據”的定義

   什么是“大數據”？從一般意義上說(shuō)，“大數據”是指那些超過(guò)傳統數據庫系統處理能力的數據，數據量通常在10TB（1TB=1024GB，為1萬(wàn)億字節）以上。因為數據庫、“大數據”已經(jīng)成為變革的中心，事實(shí)上成為一場(chǎng)信息革命，在IT領(lǐng)域、能源業(yè)、制造業(yè)、零售業(yè)、政府管理、科技與國防軍事等，“大數據”都改變了整個(gè)世界的運行方式。因此，我們稱(chēng)之為“大數據“時(shí)代。對于什么是“大數據”，目前業(yè)界并沒(méi)有統一的定義。而根據維基百科的定義：“‘大數據’是指無(wú)法在可承受的時(shí)間范圍內用常規軟件工具進(jìn)行捕捉、管理、處理的數據集合。”從產(chǎn)業(yè)角度，常常把這些數據與采集它們的工具、平臺、分析系統一起統稱(chēng)為“大數據”。

   縱觀(guān)人類(lèi)歷史，每一次劃時(shí)代的變革都是以新工具的出現和應用為標志的。蒸汽機把人們從農業(yè)時(shí)代帶入了工業(yè)時(shí)代，計算機和互聯(lián)網(wǎng)把人們從工業(yè)時(shí)代帶入了信息時(shí)代，而如今“大數據”時(shí)代已經(jīng)到來(lái)，它源自信息時(shí)代，又是信息時(shí)代全方位的深化應用與延伸。“大數據”時(shí)代的生產(chǎn)原材料是數據，生產(chǎn)工具則是“大數據”技術(shù)，是對信息時(shí)代所產(chǎn)生的海量數據的挖掘和分析，從而快速地獲取有價(jià)值信息的技術(shù)和應用。

   2.2　“大數據”的量級20多年來(lái)，各個(gè)領(lǐng)域特別是信息領(lǐng)域的數據量的加速增長(cháng)，是“大數據”概念產(chǎn)生的基礎。專(zhuān)家測算，2000年全球新產(chǎn)生的數據量為1000PB到2000PB，到2010年僅僅全球企業(yè)一年新存儲的數據量就超過(guò)了7000PB。

   大數據＝ 海量數據＋ 復雜類(lèi)型數據。目前全球每年產(chǎn)生的數據量是ZB級，到2015年會(huì )達到35個(gè)ZB。這表明，海量存儲已經(jīng)達到了ZB級（1ZB=1000PB，1PB=1000TB，1TB=1000GB，1GB=1000MB），對于硬件系統的需求已經(jīng)超出了傳統的設計概念。

  2.3　“大數據”的特點(diǎn)

   國際數據公司（ IDC） 認為， 某項技術(shù)要想成為“ 大數據” 技術(shù)， 必須滿(mǎn)足IBM所描述的三個(gè) “V”：多樣性(variety)、大容量(volume)和時(shí)效性高(velocity)。多樣性是指數據應包含結構化的和非結構化的數據；大容量是指聚合在一起供分析的數據量必須是非常龐大的；時(shí)效性高則是指數據處理的速度必須很快。具體來(lái)說(shuō)，“大數據”具有4個(gè)基本特征：一是數據體量巨大。百度資料表明，其新首頁(yè)導航每天需要提供的數據超過(guò)1.5PB（1PB=1024TB），這些數據如果打印出來(lái)將超過(guò)5千億張A4紙。有資料證實(shí)，到目前為止，人類(lèi)生產(chǎn)的所有印刷材料的數據量?jì)H為200PB。二是數據類(lèi)型多樣?，F在的數據類(lèi)型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類(lèi)型的數據，個(gè)性化數據占絕對多數。三是處理速度快。數據處理遵循“1秒定律”，可從各種類(lèi)型的數據中快速獲得高價(jià)值的信息。四是價(jià)值密度低。以視頻為例，一小時(shí)的視頻，在不間斷的監控過(guò)程中，可能有用的數據僅僅只有一兩秒。

  2.4　“大數據”技術(shù)的構成

   如果說(shuō)“大數據”是一種技術(shù)，又具體包括哪些技術(shù)？專(zhuān)家認為，“大數據”技術(shù)由四種技術(shù)構成：它們包括：分析技術(shù)、存儲數據庫、NoSQL數據庫、分布式計算技術(shù)。

   各種研究表明，“大數據”是與智能制造、無(wú)線(xiàn)網(wǎng)絡(luò )革命并行的又一次顛覆性的技術(shù)變革。其具體內容包括：海量數據分析技術(shù)、“大數據”處理技術(shù)、分布式計算技術(shù)、數據可視化技術(shù)。

   NO3 美國正在全面推進(jìn)“大數據”研發(fā)

   2012年3月29日，奧巴馬總統發(fā)布《大數據研究和發(fā)展倡議》，開(kāi)啟了美國“大數據”全面研發(fā)工作，“大數據”作為信息時(shí)代獲取、處理與利用信息的一項核心技術(shù)，正改變著(zhù)國家安全、社會(huì )經(jīng)濟發(fā)展乃至人類(lèi)生活的各個(gè)方面，已成為信息時(shí)代大國競爭的一個(gè)戰略性的新領(lǐng)域。美國甚至流行一句諺語(yǔ)叫“除了上帝，任何人都必須用數據來(lái)說(shuō)話(huà)”。美國政府把“大數據”看成是“未來(lái)的新石油”。

   美國政府宣布“大數據研究和發(fā)展倡議（Big Data Research and DevelopmentInitiative）”，來(lái)推進(jìn)從大量的、復雜的數據集合中獲取知識和洞見(jiàn)的能力?！洞髷祿芯亢桶l(fā)展倡議》提出，將提升美國利用收集的龐大而復雜的數字資料提煉真知灼見(jiàn)的能力，協(xié)助加速科學(xué)、工程領(lǐng)域創(chuàng )新步伐，強化美國國土安全，轉變教育和學(xué)習模式?！洞髷祿芯亢桶l(fā)展倡議》還承諾將在科學(xué)研究、環(huán)境保護、生物醫藥研究、教育以及國家安全等領(lǐng)域利用“大數據”技術(shù)進(jìn)行突破。

   該倡議涉及聯(lián)邦政府的美國國家科學(xué)基金（NSF）、美國國家衛生研究院（NIH）、美國能源部（DOE）、美國國防部（DOD）、美國國防部高級研究計劃局（DARPA）、美國地質(zhì)勘探局（USGS）等六個(gè)部門(mén)。這些部門(mén)承諾將投資總共超過(guò)兩億美元，來(lái)大力推動(dòng)和改善與“大數據”相關(guān)的收集、組織和分析工具及技術(shù)。在這份倡議中還透露了多項正在進(jìn)行中的聯(lián)邦政府各部門(mén)的大數據計劃。主要內容如下：美國國家科學(xué)基金和美國國家衛生研究院主要推進(jìn)大數據科學(xué)和工程的核心方法及技術(shù)研究，項目包括管理、分析、可視化、以及從大量的多樣化數據集中提取有用信息的核心科學(xué)技術(shù)；國防部高級研局項目主要推進(jìn)大數據輔助決策，集中在情報、偵查、網(wǎng)絡(luò )間諜等方面，匯集傳感器、感知能力和決策支持建立真正的自治系統， 實(shí)現操作和決策的自動(dòng)化；美國能源部試圖通過(guò)先進(jìn)的計算進(jìn)行科學(xué)發(fā)現，提供2500萬(wàn)美元基金來(lái)建立可擴展的數據管理、分析和可視化研究所；美國地質(zhì)勘探局通過(guò)給科學(xué)家提供深入分析的場(chǎng)所和時(shí)間、最高水平的計算能力和理解大數據集的協(xié)作工具，催化在地理系統科學(xué)的創(chuàng )新思維。

  NO4 “大數據”技術(shù)在工控行業(yè)中的若干應用研究

  4.1　在電力行業(yè)的若干應用研究

   在電力行業(yè)，堅強智能電網(wǎng)建設及“三集五大”管理體系的決策部署，對數據的管理、共享及互操作提出了更高的要求。電力行業(yè)面臨著(zhù)正在形成的大數據環(huán)境，為此，需要不斷挖掘大數據環(huán)境下的業(yè)務(wù)數據處理的潛在需求，探索適應電力數據的理論和方法，使得電力信息系統的運維的外延向數據運維的范疇進(jìn)一步地拓展。以更好地適應數據量的迅速增長(cháng)、數據類(lèi)型的多樣化、數據時(shí)效性不斷提高。

   以智能電網(wǎng)為例，電網(wǎng)互聯(lián)是電力系統發(fā)展的客觀(guān)規律，有必要加強研發(fā)大規?；ヂ?lián)電網(wǎng)的安全穩定運行技術(shù)、先進(jìn)可靠的配電網(wǎng)與共用技術(shù)及微電網(wǎng)技術(shù)為主的分布式電力系統。因此，采集、分析并有效應用“大數據”是解決能源與公共事業(yè)關(guān)鍵業(yè)務(wù)的重要因素，可以實(shí)現向智能電網(wǎng)轉型、改善分布式可再生發(fā)電的資產(chǎn)預報與調度、提高發(fā)電效率以及改變客戶(hù)運營(yíng)模式。

   《大數據時(shí)代》的作者舍恩伯格說(shuō)，可以抽象地認為，智能電網(wǎng)就是“大數據”這個(gè)概念在電力行業(yè)中的應用，就是通過(guò)網(wǎng)絡(luò )將用戶(hù)的用電習慣等信息傳回給電網(wǎng)企業(yè)的信息中心，進(jìn)行分析處理，并對電網(wǎng)規劃、建設、服務(wù)等提供更可靠的依據。同時(shí)，對于風(fēng)能、太陽(yáng)能等具有間歇性的新能源，通過(guò)“大數據”分析進(jìn)行有效地調節，也可以使新能源更好地與傳統的水火電進(jìn)行互補，更為靈活地出力。在本質(zhì)上，智能電網(wǎng)是“大數據”在電力上的應用。在電力行業(yè)，堅強智能電網(wǎng)的迅速發(fā)展使信息通信技術(shù)正以前所未有的廣度、深度與電網(wǎng)生產(chǎn)、企業(yè)管理快速融合，信息通信系統已經(jīng)成為智能電網(wǎng)的“中樞神經(jīng)”，支撐新一代電網(wǎng)生產(chǎn)和管理發(fā)展。

   “大數據”與電網(wǎng)的融合可組成智能電網(wǎng)，涉及發(fā)電到用戶(hù)的整個(gè)能源轉換過(guò)程和電力輸送鏈，主要包括智能電網(wǎng)基礎技術(shù)、大規模新能源發(fā)電及并網(wǎng)技術(shù)、智能輸電網(wǎng)技術(shù)、智能配電網(wǎng)技術(shù)及智能用電技術(shù)等，是未來(lái)電網(wǎng)的發(fā)展方向等。電力企業(yè)是不是符合“大數據”應用的企業(yè)？享譽(yù)信息產(chǎn)業(yè)界多年的梅特卡夫定律指出，網(wǎng)絡(luò )的價(jià)值與聯(lián)網(wǎng)的用戶(hù)數的平方成正比。隨著(zhù)電力工業(yè)與信息化的深度融合，智能電網(wǎng)將承載著(zhù)電力流、信息流和業(yè)務(wù)流，電網(wǎng)和電力信息通信網(wǎng)的用戶(hù)將發(fā)生疊加，電網(wǎng)的整體價(jià)值會(huì )躍升。這種價(jià)值的躍升將使電力企業(yè)具有大數據的時(shí)代特征。電力信息通信將突破傳統運維、產(chǎn)生更多的增值服務(wù)，甚至催生新的管理模式創(chuàng )新。數據中心將被賦予更多的職能，比如強大的數據挖掘、數據分析和決策能力。電力企業(yè)業(yè)務(wù)數據主要來(lái)自生產(chǎn)數據和運營(yíng)管理數據。電力企業(yè)生產(chǎn)數據既包括發(fā)電量、電壓穩定性等實(shí)時(shí)采集的數據，也包括物聯(lián)網(wǎng)、云計算、新能源并網(wǎng)、移動(dòng)互聯(lián)、電動(dòng)汽車(chē)充換電、車(chē)聯(lián)網(wǎng)等技術(shù)帶來(lái)的新數據業(yè)務(wù)。電力企業(yè)運營(yíng)管理數據，則包括交易電價(jià)、售電量、用電客戶(hù)、ERP、一體化平臺、協(xié)同辦公等方面的數據。如能充分利用這些基于電力生產(chǎn)、使用等實(shí)際數據，對其進(jìn)行深入分析，便可以提供大量的高附加值服務(wù)。這些增值服務(wù)將有利于電網(wǎng)安全檢測與控制，客戶(hù)用電行為分析與客戶(hù)細分，電力企業(yè)精細化運營(yíng)管理等，實(shí)現更科學(xué)的需求側管理。數據、信息和知識的“按需分配、恒值供給、多次挖掘”將成為新經(jīng)濟形態(tài)的不竭動(dòng)力，而“大數據”技術(shù)和應用成為決策的輔助系統。

   “大數據”時(shí)代對電力行業(yè)發(fā)展提出新的挑戰，但也帶來(lái)新的發(fā)展機遇。通過(guò)良好的數據管理，并運用數據挖掘手段踐行大數據戰略，將切實(shí)提高電力生產(chǎn)、營(yíng)銷(xiāo)，以及電網(wǎng)運維等各方面生產(chǎn)管理水平，為使中國電力企業(yè)繼續立于世界先進(jìn)行列提供強大的信息技術(shù)支撐。

  據悉，2013年3月，中國電機工程學(xué)會(huì )電力信息化專(zhuān)委會(huì )擬編制發(fā)布《中國電力大數據發(fā)展白皮書(shū)（2013）》，這將是我國首次就電力“大數據”問(wèn)題發(fā)布的白皮書(shū)。作為電力信息化專(zhuān)委會(huì )秘書(shū)處所在單位，國網(wǎng)信息通信有限公司承擔白皮書(shū)的調研和編寫(xiě)工作。白皮書(shū)全文12000 余字，分為引言、迎接電力“大數據‘時(shí)代、展望電力“大數據”時(shí)代、邁向電力“大數據”時(shí)代、結束語(yǔ)等五部分。

  這充分表明，電力工業(yè)作為國家基礎性能源設施，與社會(huì )發(fā)展和人民生活息息相關(guān)，是國民經(jīng)濟社會(huì )健康穩定持續發(fā)展的重要條件。積極應用“大數據”技術(shù)，推動(dòng)中國電力“大數據”事業(yè)健康發(fā)展，對實(shí)現中國電力工業(yè)科學(xué)發(fā)展具有極大的現實(shí)意義。

  完全可以預期，“大數據”技術(shù)的在電力行業(yè)中的應用研究，僅僅是開(kāi)始。隨著(zhù)電力行業(yè)的不斷發(fā)展，“大數據技術(shù)”應用，將會(huì )不斷擴展與深化。

  4.2　有助于提升工控行業(yè)的“洞察力”

  所謂“洞察力”，指的是人對任何特定情況作出預見(jiàn)的能力。在企業(yè)管理上，“洞察力”更意味著(zhù)管理者必須擁有以數據為基礎、深入觀(guān)察分析，透過(guò)現象看本質(zhì)、將理論應用到實(shí)際工作中的能力。隨著(zhù)數據總量的持續增長(cháng)和急速膨脹，“大數據”時(shí)代已經(jīng)來(lái)臨，2013年電力、石油等能源細分行業(yè)紛紛拉開(kāi)了“大數據”開(kāi)發(fā)應用的序幕。“大數據”技術(shù)強調的是從海量數據中快速獲取有價(jià)值信息的能力，如何從海量數據中高效獲取數據，有效地深加工并最終得到有用的數據是能源企業(yè)涉足“大數據”的目的。“大數據”是以大量資料為基礎，以更加科學(xué)的方式，進(jìn)行分析、洞察的創(chuàng )新能力。

  實(shí)際上， 進(jìn)入“ 大數據” 時(shí)代以來(lái)，現代企業(yè)正經(jīng)歷著(zhù)規?；?、多樣化和高速化的數據挑戰。越來(lái)越多的管理者開(kāi)始意識到，若無(wú)法對海量信息進(jìn)行有效的分析處理，預測出潛在的業(yè)務(wù)風(fēng)險，便容易在競爭中處于劣勢；若無(wú)法通過(guò)有效的溝通，確保洞察到的信息被較好地執行，則可能致使企業(yè)商機的流失。

   未來(lái)，企業(yè)會(huì )依靠洞悉數據中的信息更加了解自己，也更加了解客戶(hù)。在這個(gè)瞬息萬(wàn)變的時(shí)代，面對各種隨時(shí)可能發(fā)生變化的形勢，管理者不妨使用“以洞察獲取先機、用溝通確保執行”的方式，制定各種應對戰略，保證企業(yè)這艘“大船”平穩行駛，在不斷的競爭中獲得勝利。企業(yè)管理公司SAP（全球知名的企業(yè)管理和協(xié)同化商務(wù)解決方案供應商）曾做過(guò)一項調查，發(fā)現在任何行業(yè)中，將最具競爭力的企業(yè)與最不具競爭力的企業(yè)相比，前者的員工受到更強洞察力的影響的比例是后者兩倍，由此可見(jiàn)，強大的洞察力對企業(yè)競爭優(yōu)勢起推動(dòng)作用。

   歸根到底，“大數據”的最終意義在于獲得提升“洞察力”的能力和價(jià)值。移動(dòng)互聯(lián)時(shí)代，數據已經(jīng)被認為是寶貴資源，任何一家有雄心、渴望獲取洞察力的企業(yè)，都應及早制定“大數據”戰略和方案。否則，所有的機會(huì )將被“數據鴻溝”所延宕。

   4.3　“大數據”的核心：更準確地預測企業(yè)數據

  在“大數據”時(shí)代，數據與機器將在人類(lèi)的日H常決策中占有重要的地位。未來(lái)，人類(lèi)必須學(xué)會(huì )如何和海量的數據相處。從個(gè)體角度而言，人類(lèi)需要學(xué)會(huì )如何平衡個(gè)人直覺(jué)與數字證據之間的關(guān)系；從企業(yè)與組織角度而言，人類(lèi)需要探索企業(yè)組織架構和決策流程與數據之間的關(guān)系；從創(chuàng )新角度而言，人類(lèi)需要探索如何打造合適的產(chǎn)業(yè)環(huán)境，促進(jìn)更多的創(chuàng )新的“大數據”應用的誕生。“大數據”時(shí)代，海量數據處理與挖掘的技術(shù)固然十分重要，但是，更為重要的因素仍然是人。只有人，才能利用新技術(shù)與新方法創(chuàng )造性地搜集與探索數據中隱含的意義；只有人，才能最大限度地發(fā)揮數據的作用，在機器與數據的支持下更有效地決策。換句話(huà)說(shuō)，“大數據”的核心：是要求更準確地預測企業(yè)的數據。為了適應“大數據”時(shí)代的來(lái)臨，企業(yè)需要從管理者的思維方式、企業(yè)的組織架構和信息環(huán)境等多方面進(jìn)行改變以與之相適應。

   企業(yè)“大數據”的應用一方面是與宏觀(guān)經(jīng)濟、人民生活、社會(huì )保障、道路交通的信息融合，促進(jìn)經(jīng)濟社會(huì )發(fā)展；另一方面，是各個(gè)行業(yè)或企業(yè)內部，跨專(zhuān)業(yè)、跨單位、跨部門(mén)的數據融合，提升行業(yè)、企業(yè)管理水平和經(jīng)濟效益。

  4.4　數據挖掘技術(shù)在工控行業(yè)里的應用

  數據挖掘， 又稱(chēng)為知識發(fā)現(Knowledge Discovery)，是通過(guò)分析每個(gè)數據，從大量數據中尋找其規律的技術(shù)。利用大數據可對業(yè)務(wù)進(jìn)行分析，加工成有用的數據，進(jìn)而全面掌控企業(yè)業(yè)務(wù)。對電力行業(yè)來(lái)說(shuō)，大數據是電力企業(yè)深化應用、提升應用層次、強化集團企業(yè)管控的有力技術(shù)手段。隨著(zhù)電力企業(yè)各類(lèi)IT系統對業(yè)務(wù)流程的基本覆蓋，采集到的數據量迅速增長(cháng)。電力行業(yè)面臨的問(wèn)題不僅僅是收集和存儲數據，而是圍繞數據采用相應的定量和統計信息，挖掘更加有價(jià)值的信息。如國網(wǎng)信通公司在北京亦莊的數據中心里，就設有10200個(gè)傳感器，它們及時(shí)采集數據，存儲到云并進(jìn)行分析和利用。

  數據挖掘是從海量實(shí)際應用數據中，提取隱含在其中的、潛在有用信息和知識的過(guò)程，是一個(gè)知識發(fā)現過(guò)程。整個(gè)過(guò)程分為業(yè)務(wù)理解、數據理解、數據準備、建立挖掘模型、評估和部署六個(gè)步驟。即在開(kāi)始數據挖掘之前，我們必須了解業(yè)務(wù)需求，根據需求明確挖掘主題、要求和最終目標；接下來(lái)便是對現有數據進(jìn)行評估，并對原始數據進(jìn)行組織、清理、集成、變換等一系列數據收集和預處理工作；在搞好數據治理的基礎上，便可應用數據挖掘算法和工具建立挖掘模型；之后對所建立的模型進(jìn)行評估，重點(diǎn)具體考慮得出的結果是否符合最初的業(yè)務(wù)目標；最后，便可將發(fā)現的結果以及過(guò)程利用各種可視化技術(shù)（報表、報告、圖形等）呈現出來(lái)。

   4.5　工控行業(yè)的“大數據”應用案例

   工業(yè)控制系統中“大數據”的應用研究?，F舉例如下：

  案例之一，《SCADA系統中大數據處理的研究與開(kāi)發(fā)》

  在SCADA (Supervisory Control AndData Acquisition)系統，即數據采集與監控系統的實(shí)際應用過(guò)程中，由于很多應用企業(yè)的數據采集點(diǎn)很多，同時(shí)由于應用方面的實(shí)際需要，通常需要把采集的數據保留一段很長(cháng)的時(shí)間，用于查詢(xún)、分析和統計。另一方面，很多數據的采集要求實(shí)時(shí)性較高，需要保持著(zhù)較高的采集頻率，從而，數據庫中的數據勢必會(huì )越來(lái)越多，因此，在保證系統穩定與正常訪(fǎng)問(wèn)的前提下，將不可避免地面臨著(zhù)大數據的處理問(wèn)題。

   如：某城市供水管網(wǎng)數據SCADA系統中有多個(gè)水廠(chǎng)，每個(gè)水廠(chǎng)有多達上百個(gè)數據采集點(diǎn)，包括了水溫、水流量、水壓力、水位以及其它多項監測數據。針對此類(lèi)問(wèn)題， 在不改變數據采集周期、不增加硬件設備的情況下，通過(guò)優(yōu)化數據結構和算法，完全可以達到提高數據訪(fǎng)問(wèn)速度、提高系統運行效率的目的，可具體進(jìn)行優(yōu)化。

   案例之二，《大數據推動(dòng)自動(dòng)化和信息化融合》

   2012年9月20日，“第二屆云計算大會(huì )暨大數據高峰論壇 ”在北京召開(kāi)。在此次以“云計算與大數據融合發(fā)展方向”為主要探討話(huà)題的高峰論壇上，與會(huì )嘉賓北京首鋼自動(dòng)化信息技術(shù)有限公司總工程師郭雨春做主題演講。

   郭雨春認為，“縱覽首鋼對數據應用歷史，原來(lái)數據是一種資料，到后來(lái)變成資源，到現在是一種資產(chǎn)。”“兩化融合在制造業(yè)來(lái)講應該是比較新的課題，結合企業(yè)的信息化，從管理角度來(lái)講，應該是精細化管理，從生產(chǎn)流程來(lái)講應該是產(chǎn)業(yè)升級。這兩個(gè)都離不開(kāi)自動(dòng)化和信息化支持。建立數字化企業(yè)是兩化深度融合必然結果， 而其中最關(guān)鍵的是數據。因為兩化融合進(jìn)程中，首先要提到就是自動(dòng)化和信息化之間關(guān)系，就是因為有大數據，有了數據的融合，所以才出現了自動(dòng)化和信息化的融合。” 毫無(wú)疑問(wèn)，大數據創(chuàng )業(yè)的前景十分廣闊，“看不見(jiàn)的數據，看得見(jiàn)的價(jià)值”正給新興的通過(guò)數據創(chuàng )業(yè)的公司帶來(lái)難以估量的市場(chǎng)潛力。

   案例之三，《“大數據”支撐智慧城市建設》

   未來(lái)智慧城市的建設將帶來(lái)數據量的爆發(fā)式增長(cháng)，“大數據”將像血液一樣遍布智慧交通、智慧醫療、智慧生活等智慧城市建設的各個(gè)方面，城市管理正在從“經(jīng)驗治理”向“科學(xué)治理”轉變。智慧城市是否真正“智慧”源自“大數據”，如何挖掘海量數據的潛在價(jià)值并為城市治理提供可靠決策和建議，成為智慧城市建設的關(guān)鍵。專(zhuān)家建議，中國必須抓住“大數據”時(shí)代的機遇，挖掘海量數據的潛在價(jià)值，進(jìn)而推進(jìn)智能城市建設。

   結合智慧城市對信息的需求，“大數據”在智慧城市中的落腳點(diǎn)為——為智慧城市的各個(gè)領(lǐng)域提供強大的決策支持。在城市規劃方面，通過(guò)對城市地理、氣象等自然信息和經(jīng)濟、社會(huì )、文化、人口等人文社會(huì )信息的挖掘，可以為城市規劃提供強大的決策支持，強化城市管理服務(wù)的科學(xué)性和前瞻性。在交通管理方面，通過(guò)對道路交通信息的實(shí)時(shí)挖掘，能有效緩解交通擁堵，并快速響應突發(fā)狀況，為城市交通的良性運轉提供科學(xué)的決策依據。在安防與防災領(lǐng)域，通過(guò)大數據的挖掘，可以及時(shí)發(fā)現人為或自然災害、恐怖事件，提高應急處理能力和安全防范能力等。

   中國工程院院士鄔賀銓在2013年1月11日舉行的《2013中國智慧城市年會(huì )》上說(shuō)：“‘大數據’挖掘對智慧城市的經(jīng)濟發(fā)展和社會(huì )管理是無(wú)形的生產(chǎn)資料，‘大數據’價(jià)值的合理共享和利用將創(chuàng )造巨大財富。” 鄔賀銓認為，智慧城市是城鎮化進(jìn)程的下一階段，是城市信息化的新高度，是現代城市發(fā)展的愿景。智慧城市在產(chǎn)生大數據的同時(shí)，“大數據”也支撐著(zhù)智慧城市的建設和發(fā)展。

   NO5 “大數據”技術(shù)應用的局限性

   這里，我并不是想說(shuō)大數據分析不是一個(gè)好的工具。而是想說(shuō)，就像任何好的工具一樣， 它有它所擅長(cháng)的地方， 也會(huì )其局限的地方。 而世界正因為不能單從一個(gè)方面解釋而顯得有趣。

   5.1　就像任何工具一樣，“大數據”分析也有其局限性。

   “大數據”的局限性是算法不能完全代替人的判斷。實(shí)際上“大數據”在很多方面都無(wú)法取代人類(lèi)的智慧和判斷，“大數據”可以處理大量非結構化數據，彌補管理者過(guò)于依賴(lài)直覺(jué)的不足；但是人們也應當意識到，“大數據”也有很多不擅長(cháng)的地方：例如，無(wú)法對“情感”和“社會(huì )關(guān)系”等進(jìn)行定性分析，原始數據和分析結果會(huì )受到人類(lèi)主觀(guān)意識影響；又如，“大數據”不擅長(cháng)上下文情景分析；再如，“大數據”不擅長(cháng)處理真正的巨型問(wèn)題；還如，原始數據往往會(huì )被扭曲，數據分析的結論往往基于大眾偏好。

   “大數據技術(shù)目前存在局限性，還不適用于所有企業(yè)。“大數據”最美的地方，就是我們不再受數據容量的局限，它可以不斷的增加一些變量，然后增加價(jià)值，幫助我們做出更好的決策。

   斯坦福大學(xué)專(zhuān)家特來(lái)沃爾•哈斯蒂也指出，“大數據”的理論是“在稻草堆里找一根針”，而面臨的問(wèn)題則是“所有稻草看上去都挺像那根針”。而喬治•梅森大學(xué)專(zhuān)家瑞貝克•高爾丁則提出“數據提供者造假”的危險，在“大數據時(shí)代”變得更有害，因為“大數據”理論建立在“海量數據都是事實(shí)”的基礎上，但人們無(wú)法控制數據提供者和搜集者本人的偏見(jiàn)和篩選。近年來(lái)已有不少學(xué)者指出，擁有最完善數據庫、最先接受“大數據”理念的華爾街投行和歐美大評級機構，卻每每在重大問(wèn)題上判斷出錯，這本身就揭示了“大數據”的局限性。

   5.2　企業(yè)信息安全成為重大問(wèn)題“大數據”堪稱(chēng)一把雙刃劍，不論是企業(yè)還是個(gè)人，都會(huì )因為“大數據”的爆發(fā)而獲益匪淺，但同時(shí)，個(gè)人隱私也無(wú)處遁形。站在不同的角度看“大數據”，它既可能是大機會(huì )、大發(fā)展、大創(chuàng )新，也可能是大危機、大破壞、大淘汰。由于“大數據”炙手可熱，數據的流失、泄露和私下買(mǎi)賣(mài)也成為噩夢(mèng)，全球各地不時(shí)發(fā)生的個(gè)人信息被盜可被看作“大數據時(shí)代”對個(gè)人生活的傷害，而“維基泄密事件”則提醒強力部門(mén)和各國政府，“大數據”的魔力同樣會(huì )對強者構成反嚙。數字世界擴大的同時(shí)也意味著(zhù)危險隨之擴大。

   最近，通過(guò)美國人斯諾登的持續爆料，“棱鏡門(mén)”公之于眾，全球在感到觸目驚心的同時(shí)，也不得不對美國收集數據的廣泛和浩瀚嘆為觀(guān)止。美國政府的神通廣大，一部分就是基于“大數據”。進(jìn)入2013年6月，美國“棱鏡門(mén)”事件不斷發(fā)酵，為全球信息安全敲響了警鐘。“棱鏡”折射出的隱憂(yōu)：大數據時(shí)代你我都是透明人！未知的安全威脅，讓人不寒而栗。

   數據已經(jīng)成為“企業(yè)的命脈”。然而，我們既不應該過(guò)分迷信大數據、將現有非“大數據”技術(shù)馬上棄之不顧，也不應該將一切問(wèn)題都推在“大數據”身上。很顯然，傳統技術(shù)不會(huì )瞬間“過(guò)時(shí)”、新技術(shù)也無(wú)法一手遮天。

  5.3　“大數據”理論并非人人相信

   然而“大數據”概念似乎正被不顧后果、毫無(wú)章法地過(guò)度使用;即使偶爾使用方法對路，其適用范圍也并不像技術(shù)人員想象的那么寬泛。例如：美國學(xué)者就質(zhì)疑過(guò)“大數據”理論。微軟研究院首席研究員、麻省理工學(xué)院公民媒體中心客座教授凱特•克勞福德的文章《對大數據的再思考》，就從五個(gè)方面對大數據理論提出了質(zhì)疑：

  （1）大數據中存在偏見(jiàn)和盲區?？藙诟５抡J為，數字無(wú)法自己說(shuō)話(huà)。不論其規模有多大，數據集歸根到底是人類(lèi)設計的產(chǎn)物，而大數據的工具并不能使人們擺脫曲解、隔閡和錯誤的成見(jiàn)。

  （2）大數據在一定程度上可以使城市變得更加智能和高效，但具體效果如何取決于市政官員對數據及其局限性的了解。

  （3）大數據可能導致基于群體的歧視。大數據的倡導者認為 ，“大數據對不同的社會(huì )群體不會(huì )‘厚此薄彼’”，克勞福德認為，實(shí)際情況并非如此。大數據不僅不會(huì )避免群體歧視，還可能加重這一趨勢。

   （4）隱私泄露是大數據應用中的重要問(wèn)題?？藙诟５抡J為，大數據的倡導者關(guān)于“大數據是匿名的，因此它不會(huì )侵犯我們的隱私”一說(shuō)是大錯特錯。

   （5）大數據為科學(xué)研究提供了新的途徑，但不可斷言“大數據是科學(xué)的未來(lái)”?？藙诟５路Q(chēng)，大數據的研究方法只能統計某件事情發(fā)生的頻率和相關(guān)性，但不能得出因果關(guān)系。將大數據策略和小數據研究相結合也許是更好的科學(xué)研究途徑。

   現今對于“大數據”的預測或悲觀(guān)或樂(lè )觀(guān)，它究竟會(huì )如何改變人類(lèi)社會(huì )，我們還將拭目以待。但是，專(zhuān)家認為：“大數據”的創(chuàng )新性、先進(jìn)性與前瞻性，是值得肯定的。因此，辯證地看“大數據”對人類(lèi)活動(dòng)的影響才是正確地。

  5.4　“大數據”概念常常被過(guò)度濫用

   “大數據”這個(gè)概念常常被過(guò)度濫用，要么就是被完全錯誤理解。對于某個(gè)特定應用程序中數據量的增加而言，無(wú)論這種增長(cháng)幅度有多么迅猛，我們都不能就將其稱(chēng)之為大數據應用。我們需要做的是對這套系統進(jìn)行擴容，而這個(gè)過(guò)程根本沒(méi)那么復雜——只需做一些設計調整，如果系統本身就預留了擴展設計，連調整都不需要。

   不過(guò)，一些學(xué)者指出，由于“大數據”理論過(guò)于依靠數據的匯集，那么一旦數據本身有問(wèn)題，在“只問(wèn)有什么，不問(wèn)為什么”的模式下就很可能出現“災難性大數據”，即因為數據本身的問(wèn)題，而導出錯誤的預測和決策。

   “大數據”在業(yè)務(wù)層面也給企業(yè)帶來(lái)多重挑戰，其中三條最為緊迫。一是法律環(huán)境的缺失和民眾不客觀(guān)的情緒。在歐盟，什么是信息隱私、什么是信息安全是有明確規定的，有很明確的規范。美國的互聯(lián)網(wǎng)企業(yè)比較強勢，通常是做了再說(shuō)，如果出了問(wèn)題會(huì )通過(guò)游說(shuō)國會(huì )，通過(guò)立法的形式加以肯定、保護。但是在中國，從整體上相關(guān)法律是缺失甚至說(shuō)是空白的，電信運營(yíng)商既沒(méi)有法律規范作為依據，也做不到像美國的運營(yíng)商和互聯(lián)網(wǎng)企業(yè)對政府擁有強勢的影響力。

  NO6結束語(yǔ)

   根據IDC預測，中國的“大數據”市場(chǎng)從2012年到2016年將增長(cháng)5倍，政府、電信、能源、銀行等將是最先使用“大數據”工具的行業(yè)。還預測，未來(lái)三年我國“大數據”市場(chǎng)將突破百億元。整個(gè)行業(yè)發(fā)展空間巨大。毫無(wú)疑問(wèn)，“大數據”創(chuàng )業(yè)的前景廣闊，“看不見(jiàn)的數據，看得見(jiàn)的價(jià)值”正給新興的通過(guò)數據創(chuàng )業(yè)公司帶來(lái)不可估量的市場(chǎng)潛力。

  “大數據”時(shí)代的到來(lái)，充滿(mǎn)了機遇與挑戰，誰(shuí)能夠最快地習慣這種新形式下的數據模式，熟悉和掌握處理這種數據處理方法，誰(shuí)就會(huì )在之后的信息爭奪戰中占得先機，取得主動(dòng)權。“大數據”引領(lǐng)我們走向數據智能化時(shí)代，“大數據”時(shí)代將會(huì )智謀未來(lái)！得“大數據”者得天下！中國的工控行業(yè)應當在“大數據”浪潮里，迎頭趕上，奪取勝利果實(shí)。

   摘自《自動(dòng)化博覽》2013年10月