2012年10月29日，《中國云•移動(dòng)互聯(lián)網(wǎng)創(chuàng )新大獎賽決賽頒獎典禮暨創(chuàng )新創(chuàng )業(yè)論壇》在北航舉行。會(huì )上，中國云產(chǎn)業(yè)聯(lián)盟聯(lián)席理事長(cháng)，中國科學(xué)院院士、北航懷進(jìn)鵬校長(cháng)做主題報告。他表示在大數據時(shí)代面臨三大挑戰：1.軟件和數據處理能力。2.資源和共享管理的挑戰。3.數據處理的可信能力?，F場(chǎng)速記如下。

   中國科學(xué)院院士懷進(jìn)鵬：尊敬的各位臨時(shí)，特別是從美國專(zhuān)程趕來(lái)參加我們這次論壇的陸奇先生，親愛(ài)的益民老總、李彥宏老總，我今天快點(diǎn)講，把時(shí)間留給陸奇先生，因為他晚上還要趕飛機，所以能夠讓他有更多的時(shí)間介紹在這個(gè)領(lǐng)域激動(dòng)人心的事件，以及對未來(lái)的思考。

   互聯(lián)網(wǎng)技術(shù)，我們都知道IT追求的目標，是追求更強更快和更高。所以，從過(guò)去微電子技術(shù)創(chuàng )造了很多新的機會(huì )，我們知道的摩爾定律，傳輸的通訊技術(shù)，給我們插入優(yōu)秀的管道，計算和存儲能力的不斷增強，使得現在的超級計算機和存儲得以加強，但是現在由于新的發(fā)展形式，以及技術(shù)本身的壁壘，完全靠著(zhù)傳統方式的增長(cháng)，已經(jīng)出現極大的局限性，最最重要的就是互聯(lián)網(wǎng)是我們一次重大變革的基礎。

   最近也一本書(shū)說(shuō)是第5次科技革命或者第3次工業(yè)革命。無(wú)一例外就是把互聯(lián)網(wǎng)應用和社會(huì )生活結合起來(lái)，成為一個(gè)最重要的發(fā)展內容。而從現在的大型企業(yè)和IT廠(chǎng)商的發(fā)展和實(shí)際運行的情況，我們已經(jīng)看到數據確實(shí)成為戰略和經(jīng)濟發(fā)展的一個(gè)重要基礎設施。這也得益于我們所談到的對信息技術(shù)快速的發(fā)展，而導致我們現在是以數據和服務(wù)為中心前提下開(kāi)展新的工作和新的探索。數據整個(gè)的變化出現了一個(gè)巨量的增長(cháng)。我們看全球數據增長(cháng)的內容，每天現在的大數據量，以及現在目前完成的內容來(lái)看，90%的數字內容和十年前、二十年前、六十年前相比，有一個(gè)巨大的變化。但回過(guò)來(lái)，面對這么大的數據空間，我們可能帶來(lái)的一個(gè)新的挑戰就出現了，比如說(shuō)到2007年的時(shí)候，Facebook使用數據倉庫存儲15個(gè)TB的數據，但到了2010年，每天是壓縮過(guò)的數據，都不是數據倉庫來(lái)存放的數據就比過(guò)去總和多4倍，商業(yè)并行數據很少有超過(guò)100個(gè)節點(diǎn)以上?，F在雅虎的Hadoop集群超過(guò)4000個(gè)節點(diǎn)，Facebook倉庫節點(diǎn)超過(guò)2700個(gè)。而在大量的數據應用當中，還有在科學(xué)的私人計算、醫學(xué)的數據。也就是說(shuō)大量的數據現在實(shí)時(shí)性開(kāi)始影響我們整個(gè)的工作，生活，甚至經(jīng)濟。

   所以，有人也提到，從過(guò)去資本經(jīng)濟的時(shí)代進(jìn)入數字經(jīng)濟的時(shí)代。特別是我們所看到的虛擬世界、物理世界與人類(lèi)社會(huì )相關(guān)聯(lián)的時(shí)候，創(chuàng )造出了更多與以前所不一樣的。所以有學(xué)者說(shuō)，18個(gè)月翻一番的數據量導致存儲和處理能力的提高，開(kāi)始落后于現有數據增長(cháng)的幅度，導致現在我們知識社會(huì )當中面臨的最大的瓶頸。而在這個(gè)瓶頸下，過(guò)去的數據，以商業(yè)數據為主，是確定了數據。而現在的數據都是不確定的數據，還有大量實(shí)時(shí)內的數據。作為數據處理的能力，究竟應該在哪里，應該說(shuō)最近這十年來(lái)，大家一直在探索，比如說(shuō)以科學(xué)計算為基礎的網(wǎng)格計算，以邊緣數據之間的P2P計算，以及最近這幾年非常熱的智慧地球、智慧城市和物聯(lián)網(wǎng)。

   究竟在最近這幾年已經(jīng)城成為實(shí)時(shí)性的大規模的云計算，是否是未來(lái)解決海量?jì)热莸闹匾矫?，大家仍然在探索，是比較集聚的領(lǐng)域。無(wú)論從哪個(gè)角度來(lái)講，云計算公開(kāi)處理得問(wèn)題，對于海量的數據如何提高智能的處理能力。但是，面對的同樣技術(shù)問(wèn)題出現，第一，數據管理能力，數據處理能力，高可靠安全服務(wù)的能力。正是因為這三個(gè)能力的局限性和發(fā)展空間，也為現在的數據處理帶來(lái)了新的機會(huì )，就是數據和經(jīng)濟社會(huì )密切相連。

   所以，我們以前說(shuō)，過(guò)去科學(xué)研究的三種模式，從實(shí)驗到理論分析到計算，一直成為我們當前科學(xué)研究和重大發(fā)現的基本手段。那么，現在的另一種模式出現，就是所謂的Data intensive，已經(jīng)在影響科研和生產(chǎn)當中，有第四種形式出現支持新的科學(xué)研究發(fā)展，可能也會(huì )為時(shí)不晚。作為在應用當中，實(shí)際上云計算也好，移動(dòng)互聯(lián)網(wǎng)也好，更多的期望在互聯(lián)網(wǎng)這個(gè)虛擬世界當中，建立一體化的系統，構造這樣的云計算或者一個(gè)虛擬計算環(huán)境，能夠使得所有的資源和數據，傳統的數據，能夠集中被人類(lèi)共享和創(chuàng )造新的知識，形成一個(gè)更有效的一體化的環(huán)境和發(fā)展空間。云計算究竟是什么？現在很多人說(shuō)它是四維，量大，類(lèi)型大，價(jià)值密度低，不像過(guò)去手工業(yè)當中的數據，價(jià)值遠高于現在云計算的價(jià)值。

   而這樣一個(gè)價(jià)值密度低的情況，按常理來(lái)講就是創(chuàng )造無(wú)窮的價(jià)值，這個(gè)帶來(lái)的挑戰是遠大于對無(wú)關(guān)數據一般性的分析，同時(shí)更新速度極快，一個(gè)商業(yè)數據保留是有時(shí)效性的，現在的數據，我們看到的網(wǎng)頁(yè)，看到各種新聞，都在快速重復數據，人體健康、教育的數據在大量的更新，一個(gè)時(shí)刻的數據不足以重要，但是一個(gè)長(cháng)時(shí)間的積累和斷面的結合，新的數據時(shí)空觀(guān)出現了，這種價(jià)值給我們帶來(lái)的創(chuàng )造性，我覺(jué)得可能是大數據是前所未有的。正是因為這樣的情況，我舉個(gè)例子，相當什么情況呢？我以前提到過(guò)這個(gè)例子，北航有2000人在食堂就餐，突然有20萬(wàn)人，滿(mǎn)足基本生活保障，還有基本提高，怎么做？多了十倍的人要吃飯，保持生存狀態(tài)，最簡(jiǎn)單的方式，中國的白菜燉豆腐，怎么燉？煮開(kāi)水，加豆腐、白菜，最后來(lái)做，形成了一個(gè)新的福特汽車(chē)生產(chǎn)線(xiàn)一樣，一個(gè)流程的管理，一個(gè)生產(chǎn)線(xiàn)的管理，數據生產(chǎn)線(xiàn)在形成。這種新的形成方式開(kāi)始出現不同的專(zhuān)業(yè)領(lǐng)域，各類(lèi)的垂直平臺，整合公共處理模式的統一水平的平臺，就在創(chuàng )造。那么這種創(chuàng )造實(shí)際上也是云計算的一種模式，更強調的是根據數據中心為基礎的一種新的服務(wù)應用模式，建立了開(kāi)發(fā)者和運營(yíng)商的一種新的互利共盈的內容。不在于解決過(guò)去商業(yè)數據和科學(xué)數據的高性能，而是要保證一個(gè)新的性能價(jià)格比，不是高質(zhì)量，而是能處理的了，不是要很精確，但是基本可用。所以，對于價(jià)值密度低，但是數據量劇增的新的難題，這是我們數據進(jìn)入規?；陌l(fā)展階段，這樣的發(fā)展階段也是我們搞計算機人的夢(mèng)想，所謂一切都靠計算。我們以前的物理世界通過(guò)仿真建立數據模型，通過(guò)高性能計算機支持發(fā)展，通過(guò)智能活動(dòng)建立我們的裝備，嵌入個(gè)系統，我們說(shuō)可穿戴計算機，嵌入系統也好。還有就是我們互聯(lián)網(wǎng)已經(jīng)做到更好的進(jìn)行通訊的能力。那么，這個(gè)思想是圖靈獎得主巴特爾所談到的，根據他的思路，對于這三個(gè)特點(diǎn)的總結。

   究竟過(guò)去的商業(yè)計算、科學(xué)計算帶來(lái)什么內容？科學(xué)計算解決圖靈機和算法，奠定計算機的基礎，科學(xué)理論。商業(yè)計算是為了實(shí)現流程的管理，工作流是其中的一種代表，社會(huì )計算中，大數據情況下是什么，不太清楚。那個(gè)年代的科學(xué)當中，使得操作系統的發(fā)展非常壯大，管理底下的資源。到了商業(yè)計算當中，數據庫的發(fā)展，而到了大科學(xué)數據當中，大數據量下是什么問(wèn)題？也還不清楚。

   因此，作為這種社會(huì )計算對當前的數學(xué)模型，軟件，系統的能力，都有了新的完全不同的可能變化。所以，我在這里想說(shuō)一下我的理解。

   第一個(gè)大的問(wèn)題就是軟件和數據處理能力。由于軟件的復雜性強和巨大的問(wèn)題，互聯(lián)網(wǎng)巨大規模的應用和數據的不確定性，我們過(guò)去軟件在封閉世界研究的數理邏輯的研究仍然有效，但是遇到更加開(kāi)放、動(dòng)態(tài)的問(wèn)題。比如說(shuō)數據模型和處理，給另一個(gè)海量數據做輸入，如何做輸出，并能找到問(wèn)題的答案。過(guò)去的算法就是看它能不能計算，來(lái)決定計算機能不能處理。計算好和壞?，F在按照傳統計算復雜性，我們看所有的大數據都算不了。所以，怎么在有效的時(shí)間內找出它的近似算法和最逼近的算法，這是對數據新的規模當中新的科學(xué)問(wèn)題。傳統的商業(yè)數據庫為什么做不了？第一，它用授權收費，價(jià)格極高，開(kāi)源數據庫的維護將會(huì )比買(mǎi)一個(gè)授權還要貴。我們看過(guò)去管理傳統數據，一個(gè)TB一萬(wàn)美元，Hadoop系統一個(gè)TB500美金，大部分情況下用到什么內容？傳統的數據庫就是Scarle up，性能的提高，對CPU、存儲等進(jìn)行不斷的擴展，這是傳統的并行計算的模型?，F在的大數據分散在互聯(lián)網(wǎng)，分布式的、動(dòng)態(tài)的增加低成本的計算和服務(wù)能力。因此，這樣的方式也是一個(gè)新的挑戰，同時(shí)對于軟件，什么樣的模型能適應它的發(fā)展。我們知道Hadoop，圖形處理，一種基本的編程模式遠遠超越于我們過(guò)去的程序設計語(yǔ)言，超越于我們網(wǎng)站的設計。而在新的方式當中，它對于最低的延遲和最簡(jiǎn)單的任務(wù)操作開(kāi)始提出新的問(wèn)題，要求的挑戰出現。同時(shí)新的特征出現，因為它是分布式劇增節點(diǎn)的內容，因為它的可擴展性，以提高他的生產(chǎn)效率，吞吐率，通過(guò)新的容錯和可靠性的方式維護系統，互聯(lián)網(wǎng)的系統永遠沒(méi)有短板的原理，每一個(gè)節點(diǎn)都是最高點(diǎn)。因此作為Fault tolerance方式來(lái)講，已經(jīng)有新的變化。作為這個(gè)領(lǐng)域，我們看到模型到軟件都有變化，同時(shí)在數據科學(xué)，過(guò)去以手工分析，以商業(yè)數據為基本的方式，在大科學(xué)數據下，已經(jīng)開(kāi)始顯現的越來(lái)越蒼白，原因就是如果過(guò)去數據是手工農業(yè)社會(huì )的話(huà)，現在進(jìn)入工業(yè)化的社會(huì )。工業(yè)化社會(huì )基本的數學(xué)物理特征就是統計物理學(xué)、實(shí)驗物理學(xué)和我們過(guò)去的隨機過(guò)程。過(guò)去計算機依賴(lài)的，以及有限條件下的數理統計，代數系統建立新的處理的方式，是變成更重要的一種內容。因此，對于我們處理這類(lèi)數據的工具也發(fā)生了很大的變化。

昨天和陸奇先生，也在討論，現在在很多重要的企業(yè)當中，統計科學(xué)、實(shí)驗物理學(xué)成為大家最重要的手段，新藥的發(fā)現，人的習慣，閱讀的分析，商業(yè)的模式，都從這里大量統一分析出現。我以前也提到過(guò)，過(guò)去對50萬(wàn)個(gè)單詞學(xué)習拼寫(xiě)解答，進(jìn)行語(yǔ)音、文字或者句子的理解，現在50萬(wàn)，500萬(wàn)，500億的句組，再用過(guò)去的方式就不適合了，而是大規模的、新的、工業(yè)化的數據為基礎的處理能力。要求我們對新的數據科學(xué)理論，提出對算法、計算方式，以及新的搜索引擎都有新的挑戰。這對學(xué)術(shù)界是大的機遇。以前的文件系統、數據互聯(lián)網(wǎng)、基于不同角度的搜索，從細節到整體，從局部到系統的新的方式，都帶來(lái)新的機會(huì )。這樣的內容還帶來(lái)一個(gè)問(wèn)題，雖然密度低、價(jià)值低，但是數據質(zhì)量仍然是持續的問(wèn)題，怎么解決數據質(zhì)量，新的Qulity，跟過(guò)去的數據處理都不同。

因此，作為新的大數據下，軟件和數據處理能力，成為最重要的，也是未來(lái)科學(xué)研究對于其他學(xué)科當中一種發(fā)展的手段，第二個(gè)挑戰，就是關(guān)于資源和共享管理，如此眾多的資源要解決以及不斷支撐新的需求的Scarleout的模式下，怎樣把存儲、數據能夠作為公共資源的管理，以解決不同類(lèi)型中的應用，這里的問(wèn)題有很多。大家知道，網(wǎng)站的環(huán)境，或者有一些環(huán)境都影響這個(gè)系統生存和擴展規模的能力。

那么，這樣的能力已經(jīng)不僅影響到我們一般的應用，對能源、數據的管理，作為價(jià)值也是極高的情況，所以它的消耗能源也變成一個(gè)重要的問(wèn)題。那么，這里一個(gè)最重要的問(wèn)題，就是未來(lái)的資源管理更向系統，或者是否存在單一的垂直管理系統，以及所謂的統一的操作系統，也變成了現在爭奪的最重要的問(wèn)題。如何管好數據和管好資源，成為重要的內容。這種方式的解決可能又創(chuàng )造互聯(lián)網(wǎng)新的方式，就是數據與服務(wù)運營(yíng)商的出現，因為用戶(hù)是數據的創(chuàng )造者，服務(wù)軟件提供各類(lèi)的服務(wù)，一切能想象到或者數字化都可以作為服務(wù)提供。所以數據與服務(wù)運營(yíng)商將會(huì )成為電信運營(yíng)商的模式，重要而且會(huì )快速發(fā)展的內容。那么，這種模式的出現，可能會(huì )對我們互聯(lián)網(wǎng)，移動(dòng)互聯(lián)網(wǎng)的發(fā)展也會(huì )有重要的內容，解決多樣性和發(fā)展處理存儲的問(wèn)題。

第三個(gè)問(wèn)題，就是數據處理的可信能力，解決云端的一體化的安全監控，系統的恢復，以及再往后發(fā)展的高可靠性的能力。對于這樣一類(lèi)問(wèn)題，應該說(shuō)，隨著(zhù)技術(shù)的發(fā)展，一個(gè)安全的問(wèn)題，可信的問(wèn)題，是和重大系統應用是相伴而生的，但是它確實(shí)是一個(gè)重要的問(wèn)題。不光是沒(méi)有價(jià)值的大量數據出現，而且隱私數據也非常重要。因此，在大數據時(shí)代當中，我覺(jué)得隨著(zhù)數據的分布性，異構性和動(dòng)態(tài)快速變化性，加上個(gè)人擁有的質(zhì)性，可計算的問(wèn)題，可管理的問(wèn)題，可信任的問(wèn)題，共同組成了在大數據時(shí)代的新的三類(lèi)和我們需要有新的手段，可能會(huì )關(guān)注到的三個(gè)典型的科學(xué)問(wèn)題。

我理解，軟件發(fā)展這么多年，幾十年，計算機是以數據處理為中心的。所有的事情的誕生都是以數據處理為核心。但是，進(jìn)入到今天，已經(jīng)超越我們過(guò)去簡(jiǎn)單的數據，如果我們看80年代出現的軟件成為商品，90年代創(chuàng )造出的第二次變革，是簡(jiǎn)單的、基本的、重要的信息服務(wù)業(yè)。在現在來(lái)看，就會(huì )進(jìn)入了一個(gè)新的發(fā)展，數據創(chuàng )造了價(jià)值，而不是一個(gè)簡(jiǎn)單的應用或者信息的堆積。因此以數據為中心下會(huì )給我們帶來(lái)機會(huì )。但是從過(guò)去IT發(fā)展來(lái)看，雖然應用有一段時(shí)間，但是技術(shù)的突破和新的應用載體窗口時(shí)間并不是很長(cháng)。因此理論和技術(shù)上的創(chuàng )新和持續的發(fā)展，會(huì )給我們帶來(lái)機會(huì )。但，同時(shí)應用模式的創(chuàng )新更重要，特別是IT的創(chuàng )新，實(shí)際上在不斷的驗證Case法則，Hadoop就是簡(jiǎn)單編程模型，就是保持它的簡(jiǎn)潔和最有效，就是我們IT領(lǐng)域。

因此在這個(gè)領(lǐng)域當中，年輕的學(xué)生，年輕的人，在這個(gè)領(lǐng)域，你們的腦子里還沒(méi)有被跑馬圈地，還有很大的空間去創(chuàng )造，因此這也是最有機會(huì )的發(fā)展內容，謝謝各位！