引言

   工業(yè)企業(yè)已進(jìn)入了“大數據”時(shí)代，企業(yè)所管理數據的規模、種類(lèi)和復雜度都在以前所未有的速度呈爆炸式增長(cháng)。據麥肯錫咨詢(xún)公司統計，“制造業(yè)的數據存儲量高于其它行業(yè)——2010年的新數據存儲量接近2EB”。

   大數據源自各種系統、設備和應用程序數據量的激增，使用傳統軟件解決方案，在可以接受的時(shí)間內完成這些數據的采集、管理和處理會(huì )非常困難。一個(gè)數據集內的大數據規模從幾十TB到許多PB不等。隨著(zhù)高級裝置和設備的數量不斷增加，大量運行數據隨之上線(xiàn)，這種趨勢經(jīng)常被稱(chēng)為工業(yè)互聯(lián)網(wǎng)。前瞻型企業(yè)正在利用這些數據實(shí)現卓越運營(yíng)和預測性分析，獲得競爭優(yōu)勢，加速企業(yè)成長(cháng)。

   云計算已成為數據處理、儲存和分配的可行、主流解決方案，但對于具有TB量級數字內容的企業(yè)，大量數據在云內外的傳輸成為了難以解決的困難。作為在企業(yè)內實(shí)現高速海量數據傳輸的先導企業(yè)，GE采用行業(yè)領(lǐng)先的歷史數據庫解決方案，提供適用于大數據的云技術(shù)。

   基于實(shí)時(shí)和歷史過(guò)程信息的數據驅動(dòng)策略有助于企業(yè)優(yōu)化績(jì)效。信息是實(shí)現工業(yè)企業(yè)競爭力和增長(cháng)的核心要素，因此利用大數據云勢在必行。

   云技術(shù)前景

   云計算可帶來(lái)按需擴展、逐步投資的計算和存儲能力。與企業(yè)內部數據中心相比，云技術(shù)不需要大量的前期IT投資，企業(yè)可以方便地升級基礎實(shí)施，只對需要的能力進(jìn)行投資。這就難怪越來(lái)越多的企業(yè)開(kāi)始采用云技術(shù)——亞馬遜網(wǎng)絡(luò )服務(wù)（AWS）S3云存儲系統內儲存的數據量從2010年的2620億個(gè)對象激增至2012年第一季度末的9050億個(gè)對象。

   工業(yè)數據面臨的難題

   目前，大數據的創(chuàng )建和使用已經(jīng)擴展到了雅虎、谷歌和Facebook等大型網(wǎng)絡(luò )公司之外的領(lǐng)域。各個(gè)領(lǐng)域的企業(yè)（包括工業(yè)企業(yè)）都面臨不斷上升的壓力，須利用數據推動(dòng)的策略保持競爭優(yōu)勢——這需要不斷增長(cháng)的數據，致使數據集的規模日益龐大。此外，不斷發(fā)展和日趨嚴格的監管要求也需要采集更多信息，作為審計和合規性的證明。

   制造型企業(yè)須記錄大量的過(guò)程數據，不斷增長(cháng)的數據量成為了普遍存在的情況。例如，生產(chǎn)個(gè)人護理產(chǎn)品的CPG公司每33毫秒產(chǎn)生5000個(gè)數據樣本，其結果是：

   • 每秒152000個(gè)樣本

   • 每分鐘9百萬(wàn)個(gè)樣本

   • 每小時(shí)5.45億個(gè)樣本

   • 每個(gè)輪班40億個(gè)樣本

   • 每天130億個(gè)樣本

   • 每年4萬(wàn)億個(gè)樣本
 
                    

   顯然，用于提取值的數據量超出了傳統數據管理系統的能力范圍。此外，管理工業(yè)大數據的困難并不只限于信息量；由于數據具有不同的格式和來(lái)自不同來(lái)源，還存在數據多樣性和復雜度問(wèn)題。經(jīng)常存在過(guò)程信息“島”，必須進(jìn)行合并、儲存和分析，以便獲取背景和有意義的值。

   為了利用大數據，企業(yè)需要具備支持多種信息類(lèi)型的能力、儲存大數據集的基礎設施及信息采集和儲存后對信息進(jìn)行利用的靈活性——能夠對關(guān)鍵趨勢進(jìn)行歷史分析，以實(shí)現實(shí)時(shí)預測性分析。隨著(zhù)企業(yè)愈發(fā)了解到其價(jià)值主張源自于信息，大數據處理技術(shù)正快速獲得發(fā)展動(dòng)力。

   幾乎每一種企業(yè)感興趣的分析洞察都涉及時(shí)間元素，這要求專(zhuān)為利用大時(shí)間序列數據集實(shí)現關(guān)鍵洞察而設計的解決方案對其數據的值加以利用。

   尋求工業(yè)數據解決方案

   工業(yè)企業(yè)應感到慶幸的是，谷歌、雅虎和Facebook對大數據具有更高的需求。這幾家公司對點(diǎn)擊流、網(wǎng)絡(luò )日志和社會(huì )互動(dòng)的分析需求迫使它們創(chuàng )建新型的大數據集存儲和分析工具。這些公司打下的基礎也可應用到工業(yè)領(lǐng)域，用于管理今后只會(huì )繼續增長(cháng)的數據爆炸。

   例如，Hadoop是一種可通過(guò)使用標準硬件，實(shí)現數據存儲擴展的工具，可在許多低成本計算機間分配數據。數據分配后，隨之而來(lái)的是數據定位和處理難題，這可以使用Map Reduce解決，Map Reduce提供一個(gè)框架，數據在一個(gè)簇內的許多節點(diǎn)間并行處理，允許將處理映射給許多位置的數據，然后將類(lèi)似數據元素的輸出縮減成一個(gè)結果。

   雖然Hadoop可能在處理大數據集方面具有良好前景，但創(chuàng )建Hadoop環(huán)境時(shí)的復雜度和要求的專(zhuān)業(yè)技能超出了工業(yè)企業(yè)的能力范圍。但這些企業(yè)仍須在整個(gè)企業(yè)內進(jìn)行升級，以處理生產(chǎn)過(guò)程和其它工業(yè)運營(yíng)中產(chǎn)生的大量時(shí)間序列數據。

   例如，生產(chǎn)經(jīng)理可能想要了解通過(guò)生產(chǎn)線(xiàn)的原料流速變化時(shí)，溫度改變對品質(zhì)的影響；電廠(chǎng)主管可能想要分析過(guò)去5年的數據，研究異常情況和變化，了解之后是否發(fā)生了斷電，以實(shí)現預測性分析。

   這種層面的運營(yíng)洞察需要能夠對特定時(shí)間段的大數據集進(jìn)行快速查詢(xún)的能力——這種獨特、強大的能力需要一種工業(yè)數據解決方案。

   GE高級歷史數據庫的強大之處

   對于工業(yè)大數據解決方案，人們首先想到的可能并不是歷史數據庫軟件，但許多企業(yè)可能沒(méi)有意識到的是：這些先進(jìn)、開(kāi)箱即用的解決方案是專(zhuān)為高效采集、存儲和管理大量時(shí)間序列過(guò)程數據而設計，而這正是工業(yè)大數據的難點(diǎn)所在。

   隨著(zhù)數據集的規模和復雜度不斷增加，高級歷史數據庫為企業(yè)提供了一種有效、簡(jiǎn)單、方便的方法，能夠高效地利用大量實(shí)時(shí)和歷史過(guò)程數據，這是優(yōu)化決策支持的關(guān)鍵要求。它們可以幫助企業(yè)連接和采集不同系統和設備的數據，發(fā)掘數據中隱含的信息。

   高級歷史數據庫采用了時(shí)間序列友好的數據結構，使其性能大大優(yōu)于傳統的關(guān)系或關(guān)鍵值數據結構，可在大數據集和相關(guān)時(shí)間段內高效地進(jìn)行查詢(xún)。歷史數據庫為真正的實(shí)時(shí)數據提供速度大幅加快的讀寫(xiě)性能和微秒級分辨率，能夠采集過(guò)程級的信息值，持續推動(dòng)改良。

   此外，高級歷史數據庫能夠與過(guò)程數據源連接，直接獲取數據——合并整個(gè)企業(yè)的數據并進(jìn)行壓縮，實(shí)現高效存儲，極大減少了精確再生時(shí)間序列信號所需的數據量。

   對于前文提及的CPG公司，與采用傳統數據庫相比，歷史數據庫可把每個(gè)樣本需要的磁盤(pán)空間減少85%。由于采用了智能記錄，歷史數據庫本質(zhì)上能比傳統方法更加高效地儲存時(shí)間序列數據，智能記錄精簡(jiǎn)了占用大量磁盤(pán)空間的無(wú)附加值數據點(diǎn)，但仍能表示“真實(shí)的全貌”。

   推動(dòng)創(chuàng )新、競爭和增長(cháng)

   擁有了完備的歷史數據庫性能，工業(yè)企業(yè)就能夠充分利用高級分析，有效地查詢(xún)幾年內的歷史數據，明確趨勢和模式，從而支持實(shí)時(shí)決策。企業(yè)能夠更充分地了解產(chǎn)品質(zhì)量或生產(chǎn)時(shí)間損失等影響關(guān)鍵領(lǐng)域的因素，作出更明智的決策。

   隨著(zhù)越來(lái)越便宜的云存儲和越來(lái)越強大的云處理，云正成為存儲和分析公司所收集數據的不二選擇。借助云服務(wù)以及隨之而來(lái)的大數據工作流和其他類(lèi)型的應用程序，用戶(hù)不再需要或同等程度的新軟件和新分析方法的培訓過(guò)程，耗費勞力。

   借助Proficy Historian， GE的M&D中心持續管理整個(gè)系統內的數據流，通過(guò)大數據更好、更快地作出決策，從而優(yōu)化運營(yíng)和財務(wù)績(jì)效。

   案例研究：大數據幫助GE能源節省數百萬(wàn)

   只有實(shí)現輕松的時(shí)間序列過(guò)程數據訪(fǎng)問(wèn)，從而通過(guò)數據分析確定關(guān)鍵業(yè)務(wù)的趨勢，工業(yè)企業(yè)才能從大數據中獲益。有了這一洞察力，企業(yè)能夠提高自身的運營(yíng)響應度和靈敏度，憑借差異化競爭信息從業(yè)內同行中脫穎而出。

   例如，位于亞特蘭大的GE能源監測和診斷（M&D）中心，喬治亞州收集全球50多個(gè)國家上千臺燃氣輪機的數據，每天為客戶(hù)收集10千兆字節的數據。中心不得不組織并闡明來(lái)自系統內傳感器振動(dòng)和溫度信號的恒定數據流。

   • 高數據壓縮和實(shí)時(shí)數據訪(fǎng)問(wèn)

   監測和診斷中心仰仗GE的Proficy Historian軟件收集并管理其連續數據流。軟件強大的數據壓縮性能實(shí)現了極其高效的海量數據收集、存儲和集中。它將年度存儲容量從之前的60百萬(wàn)兆字節縮減到10百萬(wàn)兆字節，降低了每百萬(wàn)兆字節存儲數據的管理成本，從而顯著(zhù)削減了成本。

   使用Proficy Historian之前，中心只能以多個(gè)關(guān)系數據庫為基準，在線(xiàn)存儲3個(gè)月原有應用程序的數據，優(yōu)化數據的能力有限。從存檔中拉出數據，手動(dòng)加載離線(xiàn)數據，然后運行數據查詢(xún)，落實(shí)數據請求需要幾天甚至幾周的時(shí)間，這是一項耗時(shí)且艱巨的任務(wù)。

   現在，借助Historian，中心能夠在線(xiàn)存儲長(cháng)達10年的數據，無(wú)需手動(dòng)移動(dòng)數據，即可高效查詢(xún)更大的數據集，從而實(shí)現近乎實(shí)時(shí)的數據分析。它能夠快速地給出自安裝后設備性能劣化等影響運營(yíng)性能的關(guān)鍵問(wèn)題的答案。更快地確定問(wèn)題，從而及時(shí)地作出決策，更快地實(shí)行糾正措施。

   • 更快的分析和預測診斷

   如今，中心每天連續運行上百個(gè)不同的數據算法，企業(yè)得以更快地進(jìn)行歷史數據的分析，為實(shí)時(shí)運營(yíng)系統帶來(lái)意義和上下文，從而獲得關(guān)鍵競爭優(yōu)勢。它也能通過(guò)比較歷史數據和當前資產(chǎn)績(jì)效，查看劣化跡象的趨勢和模式，提前數周預測資產(chǎn)故障和停機時(shí)間，在問(wèn)題發(fā)生之前進(jìn)行檢測、診斷和預測。

   例如，中心避免了多起由閥門(mén)伺服和執行機構問(wèn)題引起的故障，利用歷史和高級分析實(shí)現數據脈絡(luò )化和可行性情報，減少停機時(shí)間，為客戶(hù)節省了數百萬(wàn)的支出。安裝Historian后，通過(guò)系統內大數據的使用，每年能節約和免除0.75億美元的成本，同時(shí)將性能增強為雙倍，為客戶(hù)帶來(lái)價(jià)值。

   結語(yǔ)

   業(yè)務(wù)和IT主管們需要捫心自問(wèn)，他們的工業(yè)企業(yè)是否最大化過(guò)程數據的潛在價(jià)值，并通過(guò)對過(guò)程數據的分析推動(dòng)實(shí)時(shí)改進(jìn)。隨著(zhù)數據容量的不斷增大，信息驅動(dòng)的戰略將成為一種很普遍的競爭力來(lái)源，在工業(yè)領(lǐng)域應用大數據比以往任何時(shí)候都來(lái)的迫切。

   仔細分析高級歷史，不難發(fā)現技術(shù)是如何通過(guò)對大量歷史數據集的高效、實(shí)時(shí)分析幫助企業(yè)利用其時(shí)間序列過(guò)程數據的。這些解決方案能夠為企業(yè)提供關(guān)鍵見(jiàn)解，以便及時(shí)地作出運營(yíng)決策，改革業(yè)務(wù)方式，同時(shí)確保整個(gè)企業(yè)內的持續改進(jìn)。

   未來(lái)，通過(guò)信息，企業(yè)能夠更好地了解自身的業(yè)務(wù)，并預見(jiàn)可能發(fā)生的問(wèn)題，利用大數據的價(jià)值，提高績(jì)效，超越競爭對手。企業(yè)擁有更為出眾的創(chuàng )新力和競爭力，推動(dòng)價(jià)值。云中的大數據能夠顯著(zhù)地促進(jìn)業(yè)務(wù)增長(cháng)，持續推動(dòng)績(jì)效優(yōu)化，獲得長(cháng)期成功。 

   摘自《自動(dòng)化博覽》2012年第12期