云計算（CloudComputing）是一種新近提出的計算模式。是分布式計算（DistributedComputing）、并行計算（ParallelComputing）和網(wǎng)格計算（GridComputing）的發(fā)展。
　　
    目前，亞馬遜、微軟、谷歌、IBM、英特爾等公司紛紛提出了“云計劃”。例如亞馬遜的AWS（AmazonWebServices）、IBM和谷歌聯(lián)合進(jìn)行的“藍云”計劃等。這對云計算的商業(yè)價(jià)值給予了巨大的肯定。同時(shí)學(xué)術(shù)界也紛紛對云計算進(jìn)行深層次的研究。例如谷歌同華盛頓大學(xué)以及清華大學(xué)合作，啟動(dòng)云計算學(xué)術(shù)合作計劃（AcademicCloudComputingInitiative），推動(dòng)云計算的普及，加緊對云計算的研究?？▋然仿〈髮W(xué)等對數據密集型的超級計算（DataIntensiveSuperComputing，DISC）進(jìn)行研究，本質(zhì)上也是對云計算相關(guān)技術(shù)開(kāi)展研究。
　　
    IDC的調查顯示，未來(lái)五年云計算服務(wù)將急速增長(cháng)，預期2012年市場(chǎng)規?？蛇_420億美元。目前企業(yè)導入云計算已逐漸普及，并且有逐年成長(cháng)趨勢。估計在2012年，企業(yè)投入在云計算服務(wù)的支出將占整體IT成本的25%，甚至在2013年提高至IT總支出的三分之一。
　　
    由此可見(jiàn)，在各大公司以及學(xué)術(shù)界的共同推動(dòng)下，云計算技術(shù)將會(huì )持續發(fā)展。云計算有著(zhù)廣泛的應用前景。如表1所示。
　　
    云計算在天文學(xué)、醫學(xué)等各個(gè)領(lǐng)域有著(zhù)廣泛的應用前景。趨勢科技和瑞星等安全廠(chǎng)商紛紛提出了“安全云”計劃。如今，每天有2萬(wàn)多種新的病毒和木馬產(chǎn)生，傳統的通過(guò)更新用戶(hù)病毒庫的防毒模式，受到了嚴峻的挑戰，該模式使用戶(hù)端的病毒庫過(guò)于龐大。趨勢科技和瑞星的“安全云”將病毒資料庫放在“云”端，與客戶(hù)端通過(guò)網(wǎng)絡(luò )相連，當“云”在網(wǎng)絡(luò )上發(fā)現不安全鏈接時(shí)，可以直接形成判斷，阻止其進(jìn)入用戶(hù)機器，從根本上保護機器的安全。
　　
    據趨勢科技大中華區執行總裁張偉欽介紹，趨勢科技已投入了大量資金，在全球數個(gè)地方建設了新型數據中心。同時(shí)，趨勢科技還花費了1000多萬(wàn)美元，租借了34000多臺服務(wù)器，構建了一個(gè)服務(wù)遍及全球的“安全云”。目前趨勢科技已將公司中低端的部分產(chǎn)品線(xiàn)放到“云安全”計劃中，而高端的大部分產(chǎn)品線(xiàn)，仍在準備過(guò)程中。
　　
    谷歌提供的Gmail、GoogleEarth、GoogleAnalytics等服務(wù)都基于其云計算服務(wù)器運行。谷歌基于云計算提供的翻譯服務(wù)具有現今最好的性能。對互聯(lián)網(wǎng)和美國人生活的一項研究顯示，大約70%的在線(xiàn)用戶(hù)使用以上“云計算”服務(wù)。
　　
    1　云計算的定義
　　
    目前，云計算沒(méi)有統一的定義，當前云計算的定義主要包括如下幾種。
　　
    1）維基百科給云計算下的定義。云計算將IT相關(guān)的能力以服務(wù)的方式提供給用戶(hù)，允許用戶(hù)在不了解提供服務(wù)的技術(shù)、沒(méi)有相關(guān)知識以及設備操作能力的情況下，通過(guò)Internet獲取需要的服務(wù)。
　　
    2）中國云計算網(wǎng)將云計算定義為：云計算是分布式計算（DistributedComputing）、并行計算（ParallelComputing）和網(wǎng)格計算（GridComputing）的發(fā)展，或者說(shuō)是這些科學(xué)概念的商業(yè)實(shí)現。
　　
    3）文獻[8]在綜合多個(gè)云計算的定義之后，給“云”下了如下定義。云是一個(gè)包含大量可用虛擬資源（例如硬件、開(kāi)發(fā)平臺以及I/O服務(wù)）的資源池。這些虛擬資源可以根據不同的負載動(dòng)態(tài)地重新配置，以達到更優(yōu)化的資源利用率。這種資源池通常由基礎設施提供商按照服務(wù)等級協(xié)議（ServiceLevelAgreement，SLA）采用用時(shí)付費（Pay2Per2Use，PPU）的模式開(kāi)發(fā)管理。
　　
    對比上述定義，可以發(fā)現，文獻[6]和文獻[8]中給出的定義的相似之處在于它們都提到了云計算提供服務(wù)。文獻[6]中的定義主要從云計算用戶(hù)的角度給出定義，即用戶(hù)在不了解具體實(shí)現的情況下通過(guò)Internet獲取服務(wù)。文獻[7]從云計算的發(fā)展脈絡(luò )的角度給出定義，主要說(shuō)明了云計算的歷史。文獻[8]給出的定義則是從云計算提供者的角度來(lái)給出定義，定義了云計算的后臺實(shí)現方式，以及管理模式。但是，這些定義都僅從一個(gè)方面定義云，并不完善。結合上述定義，可以總結出云計算的一些本質(zhì)特征，即分布式的計算和存儲特性，高擴展性，用戶(hù)友好性，良好的管理性，用時(shí)付費等。
　　
    云計算技術(shù)具有以下特點(diǎn)。
　　
    1）云計算系統提供的是服務(wù)。服務(wù)的實(shí)現機制對用戶(hù)透明，用戶(hù)無(wú)需了解云計算的具體機制，就可以獲得需要的服務(wù)。
　　
    2）用冗余方式提供可靠性。云計算系統由大量商用計算機組成集群向用戶(hù)提供數據處理服務(wù)。隨著(zhù)計算機數量的增加，系統出現錯誤的概率大大增加。在沒(méi)有專(zhuān)用的硬件可靠性部件的支持下，采用軟件的方式，即數據冗余和分布式存儲來(lái)保證數據的可靠性。
　　
    3）高可用性。通過(guò)集成海量存儲和高性能的計算能力，云能提供較高的服務(wù)質(zhì)量。云計算系統可以自動(dòng)檢測失效節點(diǎn)，并將失效節點(diǎn)排除，不影響系統的正常運行。
　　
    4）高層次的編程模型。云計算系統提供高層次的編程模型。用戶(hù)通過(guò)簡(jiǎn)單學(xué)習，就可以編寫(xiě)自己的云計算程序，在“云”系統上執行，滿(mǎn)足自己的需求?，F在云計算系統主要采用Map2Reduce模型。
　　
    5）經(jīng)濟性。組建一個(gè)采用大量的商業(yè)機組成的集群相對于同樣性能的超級計算機花費的資金要少很多。
　　
    6）服務(wù)多樣性。用戶(hù)可以支付不同的費用，以獲得不同級別的服務(wù)等。為了更好地定義云計算，必須從云計算的服務(wù)使用者，服務(wù)提供者，組織方式，內部實(shí)現機制等方面同時(shí)定義。根據現有定義的不足，本文定義云計算為：“云計算是由網(wǎng)格計算發(fā)展而來(lái)的，前臺采用用時(shí)付費的方式通過(guò)Internet向用戶(hù)提供服務(wù)。
　　
    云系統后臺由大量的集群使用虛擬機的方式，通過(guò)高速互聯(lián)網(wǎng)絡(luò )互連，組成大型的虛擬資源池。這些虛擬資源可自主管理和配置。用數據冗余的方式保證虛擬資源的高可用性。并具有分布式存儲和計算、高擴展性、高可用性、用戶(hù)友好性等特征。”
　　
    2　云計算的關(guān)鍵技術(shù)
　　
    云計算是一種新型的超級計算方式，以數據為中心，是一種數據密集型的超級計算。在數據存儲、數據管理、編程模式等多方面具有自身獨特的技術(shù)。同時(shí)涉及了眾多其他技術(shù)，如表2所示。本章主要介紹云計算特有的技術(shù)，包括數據存儲技術(shù)，數據管理技術(shù)，編程模式等。其他相關(guān)技術(shù)請閱讀給出的參考文獻。
　　
    2.1　數據存儲技術(shù)

    為保證高可用、高可靠和經(jīng)濟性，云計算采用分布式存儲的方式來(lái)存儲數據，采用冗余存儲的方式來(lái)保證存儲數據的可靠性，即為同一份數據存儲多個(gè)副本。另外，云計算系統需要同時(shí)滿(mǎn)足大量用戶(hù)的需求，并行地為大量用戶(hù)提供服務(wù)。因此，云計算的數據存儲技術(shù)必須具有高吞吐率和高傳輸率的特點(diǎn)。云計算的數據存儲技術(shù)主要有谷歌的非開(kāi)源的GFS（GoogleFileSystem）和Hadoop開(kāi)發(fā)團隊開(kāi)發(fā)的GFS的開(kāi)源實(shí)現HDFS（HadoopDistributedFileSystem）。
　　
    大部分IT廠(chǎng)商，包括雅虎、英特爾的“云”計劃采用的都是HDFS的數據存儲技術(shù)。云計算的數據存儲技術(shù)未來(lái)的發(fā)展將集中在超大規模的數據存儲、數據加密和安全性保證以及繼續提高I/O速率等方面。
　　
    以GFS為例，GFS是一個(gè)管理大型分布式數據密集型計算的可擴展的分布式文件系統。它使用廉價(jià)的商用硬件搭建系統并向大量用戶(hù)提供容錯的高性能的服務(wù)。
　　
    GFS和普通的分布式文件系統有以下區別，如表3所示。GFS系統由一個(gè)Master和大量塊服務(wù)器構成。Master存放文件系統的所有元數據，包括名字空間、存取控制、文件分塊信息、文件塊的位置信息等。GFS中的文件切分為64MB的塊進(jìn)行存儲。在GFS文件系統中，采用冗余存儲的方式來(lái)保證數據的可靠性。每份數據在系統中保存3個(gè)以上的備份。為了保證數據的一致性，對于數據的所有修改需要在所有的備份上進(jìn)行，并用版本號的方式來(lái)確保所有備份處于一致的狀態(tài)?？蛻?hù)端不通過(guò)Master讀取數據，避免了大量讀操作使Master成為系統瓶頸。
　　
    客戶(hù)端從Master獲取目標數據塊的位置信息后，直接和塊服務(wù)器交互進(jìn)行讀操作。GFS的寫(xiě)操作將寫(xiě)操作控制信號和數據流分開(kāi)，如圖1所示。即客戶(hù)端在獲取Master的寫(xiě)授權后，將數據傳輸給所有的數據副本，在所有的數據副本都收到修改的數據后，客戶(hù)端才發(fā)出寫(xiě)請求控制信號。在所有的數據副本更新完數據后，由主副本向客戶(hù)端發(fā)出寫(xiě)操作完成控制信號。具體請見(jiàn)文獻[17]。當然，云計算的數據存儲技術(shù)并不僅僅只是GFS，其他IT廠(chǎng)商，包括微軟、Hadoop開(kāi)發(fā)團隊也在開(kāi)發(fā)相應的數據管理工具。本質(zhì)上是一種分布式的數據存儲技術(shù)，以及與之相關(guān)的虛擬化技術(shù)，對上層屏蔽具體的物理存儲器的位置、信息等?？焖俚臄祿ㄎ?、數據安全性、數據可靠性以及底層設備內存儲數據量的均衡等方面都需要繼續研究完善。
　　
    2.2　數據管理技術(shù)
　　
    云計算系統對大數據集進(jìn)行處理、分析向用戶(hù)提供高效的服務(wù)。因此，數據管理技術(shù)必須能夠高效地管理大數據集。其次，如何在規模巨大的數據中找到特定的數據，也是云計算數據管理技術(shù)所必須解決的問(wèn)題。云計算的特點(diǎn)是對海量的數據存儲、讀取后進(jìn)行大量的分析，數據的讀操作頻率遠大于數據的更新頻率，云中的數據管理是一種讀優(yōu)化的數據管理。因此，云系統的數據管理往往采用數據庫領(lǐng)域中列存儲的數據管理模式。將表按列劃分后存儲。
　　
    云計算的數據管理技術(shù)中最著(zhù)名的是谷歌在文獻[11]提出的BigTable數據管理技術(shù)。由于采用列存儲的方式管理數據，如何提高數據的更新速率以及進(jìn)一步提高隨機讀速率是未來(lái)的數據管理技術(shù)必須解決的問(wèn)題。
　　
    以BigTable為例。BigTable數據管理方式設計者———Google給出了如下定義：“BigTable是一種為了管理結構化數據而設計的分布式存儲系統，這些數據可以擴展到非常大的規模，例如在數千臺商用服務(wù)器上的達到PB（Petabytes）規模的數據。”BigTable對數據讀操作進(jìn)行優(yōu)化，采用列存儲的方式，提高數據讀取效率。
　　
    BigTable管理的數據的存儲結構為：<row：string，column：string，time：int64>->string。BigTable的基本元素是：行，列，記錄板和時(shí)間戳。其中，記錄板是一段行的集合體。如圖2所示。BigTable中的數據項按照行關(guān)鍵字的字典序排列，每行動(dòng)態(tài)地劃分到記錄板中。每個(gè)節點(diǎn)管理大約100個(gè)記錄板。時(shí)間戳是一個(gè)64位的整數，表示數據的不同版本。列族是若干列的集合，BigTable中的存取權限控制在列族的粒度進(jìn)行。BigTable在執行時(shí)需要三個(gè)主要的組件：鏈接到每個(gè)客戶(hù)端的庫，一個(gè)主服務(wù)器，多個(gè)記錄板服務(wù)器。主服務(wù)器用于分配記錄板到記錄板服務(wù)器以及負載平衡，垃圾回收等。記錄板服務(wù)器用于直接管理一組記錄板，處理讀寫(xiě)請求等。為保證數據結構的高可擴展性，BigTable采用三級的層次化的方式來(lái)存儲位置信息，如圖3所示。
　　
    其中第一級的Chubbyfile中包含RootTablet的位置，RootTablet有且僅有一個(gè)，包含所有METADATAtablets的位置信息，每個(gè)METADATAtablets包含許多UserTable的位置信息。圖當客戶(hù)端讀取數據時(shí)，首先從Chubbyfile中獲取RootTablet的位置，并從中讀取相應METADATAtablet的位置信息。接著(zhù)從該METADATAtablet中讀取包含目標數據位置信息的UserTable的位置，然后從該UserTable中讀取目標數據的位置信息項。據此信息到服務(wù)器中特定位置讀取數據。具體見(jiàn)文獻[11]。
　　
    這種數據管理技術(shù)雖然已經(jīng)投入使用，但是仍然具有部分缺點(diǎn)。例如，對類(lèi)似數據庫中的Join操作效率太低，表內數據如何切分存儲，數據類(lèi)型限定為string類(lèi)型過(guò)于簡(jiǎn)單等。而微軟的DryadLINQ系統則將操作的對象封裝為.NET類(lèi)，這樣有利于對數據進(jìn)行各種操作，同時(shí)對Join進(jìn)行了優(yōu)化，得到了比BigTable+MapReduce更快的Join速率和更易用的數據操作方式。
　　
    2.3　編程模型
　　
    為了使用戶(hù)能更輕松地享受云計算帶來(lái)的服務(wù)，讓用戶(hù)能利用該編程模型編寫(xiě)簡(jiǎn)單的程序來(lái)實(shí)現特定的目的，云計算上的編程模型必須十分簡(jiǎn)單。必須保證后臺復雜的并行執行和任務(wù)調度向用戶(hù)和編程人員透明。云計算大部分采用Map2Reduce的編程模式?，F在大部分IT廠(chǎng)商提出的“云”計劃中采用的編程模型，都是基于Map2Reduce的思想開(kāi)發(fā)的編程工具。Map2Reduce不僅僅是一種編程模型，同時(shí)也是一種高效的任務(wù)調度模型。Map2Reduce這種編程模型并不僅適用于云計算，在多核和多處理器、cellprocessor以及異構機群上同樣有良好的性能。該編程模式僅適用于編寫(xiě)任務(wù)內部松耦合、能夠高度并行化的程序。
　　
    如何改進(jìn)該編程模式，使程序員得能夠輕松地編寫(xiě)緊耦合的程序，運行時(shí)能高效地調度和執行任務(wù)，是Map2Reduce編程模型未來(lái)的發(fā)展方向。Map2Reduce是一種處理和產(chǎn)生大規模數據集的編程模型，程序員在Map函數中指定對各分塊數據的處理過(guò)程，在Reduce函數中指定如何對分塊數據處理的中間結果進(jìn)行歸約。用戶(hù)只需要指定map和reduce函數來(lái)編寫(xiě)分布式的并行程序。當在集群上運行Map2Reduce程序時(shí)，程序員不需要關(guān)心如何將輸入的數據分塊、分配和調度，同時(shí)系統還將處理集群內節點(diǎn)失敗以及節點(diǎn)間通信的管理等。圖4給出了一個(gè)Map2Reduce程序的具體執行過(guò)程。
　　
    從圖4可以看出，執行一個(gè)Map2Reduce程序需要五個(gè)步驟：輸入文件、將文件分配給多個(gè)worker并行地執行、寫(xiě)中間文件（本地寫(xiě)）、多個(gè)Reduceworkers同時(shí)運行、輸出最終結果。本地寫(xiě)中間文件在減少了對網(wǎng)絡(luò )帶寬的壓力同時(shí)減少了寫(xiě)中間文件的時(shí)間耗費。執行Reduce時(shí)，根據從Master獲得的中間文件位置信息，Reduce使用遠程過(guò)程調用，從中間文件所在節點(diǎn)讀取所需的數據。Map2Reduce模型具有很強的容錯性，當worker節點(diǎn)出現錯誤時(shí)，只需要將該worker節點(diǎn)屏蔽在系統外等待修復，并將該worker上執行的程序遷移到其他worker上重新執行，同時(shí)將該遷移信息通過(guò)Master發(fā)送給需要該節點(diǎn)處理結果的節點(diǎn)。
　　
    Map2Reduce使用檢查點(diǎn)的方式來(lái)處理Master出錯失敗的問(wèn)題，當Master出現錯誤時(shí)，可以根據最近的一個(gè)檢查點(diǎn)重新選擇一個(gè)節點(diǎn)作為Master并由此檢查點(diǎn)位置繼續運行。具體請見(jiàn)文獻[12]。Map2Reduce僅為編程模式的一種，微軟提出的DryadLINQ是另外一種并行編程模式。但它局限于.NET的LINQ系統同時(shí)并不開(kāi)源，限制了它的發(fā)展前景。Map2Reduce作為一種較為流行的云計算編程模型，在云計算系統中應用廣闊。但是基于它的開(kāi)發(fā)工具Hadoop并不完善。特別是其調度算法過(guò)于簡(jiǎn)單，判斷需要進(jìn)行推測執行的任務(wù)的算法造成過(guò)多任務(wù)需要推測執行，降低了整個(gè)系統的性能。改進(jìn)Map2Reduce的開(kāi)發(fā)工具，包括任務(wù)調度器、底層數據存儲系統、輸入數據切分、監控“云”系統等方面是將來(lái)一段時(shí)間的主要發(fā)展方向。另外，將Map2Reduce的思想運用在云計算以外的其他方面也是一個(gè)流行的研究方向。
　　
    3　云計算和其他超級計算的區別

    3.1　云計算與網(wǎng)格計算的區別
　　
    IanFoster將網(wǎng)格定義為：支持在動(dòng)態(tài)變化的分布式虛擬組織（VirtualOrganizations）間共享資源，協(xié)同解決問(wèn)題的系統。所謂虛擬組織就是一些個(gè)人、組織或資源的動(dòng)態(tài)組合。圖5和圖6分別為云及網(wǎng)格的結構示意圖。圖5顯示，云計算是一種生產(chǎn)者—消費者模型，云計算系統采用以太網(wǎng)等快速網(wǎng)絡(luò )將若干集群連接在一起，用戶(hù)通過(guò)因特網(wǎng)獲取云計算系統提供的各種數據處理服務(wù)。圖6顯示，網(wǎng)格系統是一種資源共享模型，資源提供者亦可以成為資源消費者，網(wǎng)格側重研究的是如何將分散的資源組合成動(dòng)態(tài)虛擬組織。主要區別如表4所示。
　　
    云計算和網(wǎng)格計算的一個(gè)重要區別在于資源調度模式。云計算采用集群來(lái)存儲和管理數據資源，運行的任務(wù)以數據為中心。即調度計算任務(wù)到數據存儲節點(diǎn)運行。而網(wǎng)格計算，則以計算為中心。計算資源和存儲資源分布在因特網(wǎng)的各個(gè)角落，不強調任務(wù)所需的計算和存儲資源同處一地。由于網(wǎng)絡(luò )帶寬的限制，網(wǎng)格計算中的數據傳輸時(shí)間占總運行時(shí)間的很大一部分。網(wǎng)格將數據和計算資源虛擬化，而云計算則進(jìn)一步將硬件資源虛擬化，活用虛擬機技術(shù)，對失敗任務(wù)重新執行，而不必重啟任務(wù)。同時(shí)，網(wǎng)格內各節點(diǎn)采用統一的操作系統（大部分為UNIX），而云計算放寬了條件，在各種操作系統的虛擬機上提供各種服務(wù)。和網(wǎng)格的復雜管理方式不同，云計算提供一種簡(jiǎn)單易用的管理環(huán)境。另外，網(wǎng)格和云在付費方式上有著(zhù)顯著(zhù)的不同。網(wǎng)格按照固定的資費標準收費或者若干組織之間共享空閑資源。而云則采用用時(shí)付費以及服務(wù)等級協(xié)議的模式收費。其他區別不再贅述。
　　
    3.2　云計算系統與傳統超級計算機的區別
　　
    超級計算機擁有強大的處理能力，特別是計算能力。2008年11月17日，最新一期的Top500[30]榜單發(fā)布。冠軍“RoadRunner”是IBM為美國LosAlamos國家實(shí)驗室建造的計算機系統。它的運算速度達到了1.026PFLOTP。RoadRuner超級計算機包含12960個(gè)IBMPowerXcell8i處理器以及6948個(gè)分布于刀片服務(wù)器上的AMDOpteron芯片。刀片服務(wù)器安裝在288個(gè)IBMBladCener機架上。RoadRuner擁有80TB的內存，外存使用1.5PB容量的Panasas存儲，外存通過(guò)10GbTP的以太網(wǎng)進(jìn)行連接。耗資超過(guò)1億美元。從TOP500對超級計算機的排名方式可以看出，傳統的超級計算機注重運算速度和任務(wù)的吞吐率。以運算速度為核心進(jìn)行計算機的研究和開(kāi)發(fā)。而云計算則以數據為中心，同時(shí)兼顧系統的運算速度。傳統的超級計算機耗資巨大，遠超云計算系統。例如，趨勢科技花費1000多萬(wàn)美元租用34000多臺服務(wù)器，構建自身的“安全云”系統。
　　
    4　結語(yǔ)
　　
    云計算具有廣闊的發(fā)展前景，相關(guān)的各項關(guān)鍵技術(shù)也在迅速發(fā)展。首先，當前的云計算系統的能耗過(guò)大，因此，減少能耗，提高能源的使用效率，建造高效的冷卻系統是當前面臨的一個(gè)主要問(wèn)題。例如，谷歌的數據中心的能耗相當于一個(gè)小型城市的總能耗。因為，過(guò)大的能耗使得數據中心內發(fā)熱量劇增，要保證云計算系統的正常運行，必須使用高效的冷卻系統來(lái)保持數據中心在可接受的溫度范圍內。其次，云計算對面向市場(chǎng)的資源管理方式的支持有限?？梢约訌娤鄳姆?wù)等級協(xié)議，使用戶(hù)和服務(wù)提供者能更好的協(xié)商提供的服務(wù)質(zhì)量。另外，需要對云計算的接口進(jìn)行標準化并且制定交互協(xié)議。這樣可以支持不同云計算服務(wù)提供者之間進(jìn)行交互，相互合作提供更加強大和更好的服務(wù)。再者，需要開(kāi)發(fā)出更易用的編程環(huán)境和編程工具，這樣可以更加方便地創(chuàng )建云計算應用，拓展云計算的應用領(lǐng)域。最后，雖然云計算還有很多問(wèn)題需要解決，但是云計算必將得到更大的發(fā)展。