前言:想要寫出一篇令人眼前一亮的文章嗎?我們特意為您整理了5篇云計算的技術范文,相信會為您的寫作帶來幫助,發現更多的寫作思路和靈感。

隨著計算機信息技術的發展,一種新型的計算模式――云計算逐漸興起,云計算具有超強的計算能力、可靠性、虛擬性、通用性、按需付費等特點,因此云計算近年來發展迅速,已經成為未來計算機發展的方向。本文主要闡述了云計算和云儲存的概念,并分析了云計算環境下云計算數據存儲Google File System和Hadoop Distributed File System兩種存儲數據。
【關鍵詞】云計算 云儲存 數據存儲技術
21世紀是信息知識爆炸的年代,每天產生海量的信息,企業需要處理和存儲的數據信息越來越多。如果按照傳統計算機算法,企業為了存儲信息需要購置大量的硬件設施和軟件設施,并需要專人對數據信息進行管理,對設備進行維護,需要耗費大量的人力和物力成本。而云計算這種計算方式,省去了企業管理和維修的麻煩,企業可以將大量的數據信息放在服務器或者云端,企業只需要支付少量的管理費用,就能隨時調取云端的數據信息,并享受圖片處理、歸檔服務、音視頻轉碼等多種數據增值服務。
1 云計算與云存儲的概念
1.1 云計算
根據美國國家標準與技術研究院的定義:云計算是一種按使用量付費的模式,這種模式提供便捷的、可用的、按需的網絡訪問,用戶只需要進入到可配置的計算資源共享池,包括服務器、存儲、網絡、應用軟件和服務器等,云端管理人員只要通過少量的管理或者與服務商進行少量的交互,就能實現對云端的管理。云其實是互聯網的一種比喻說法,通過云計算可以將數據信息存儲在計算機中,這里的計算機指的是遠程服務器。然后企業根據自己的需求,對計算機存儲系統進行訪問,并將信息資源直接切換到實際應用方面。計算機直接將主機功能交給了云端,云端的計算能力就跟水電一樣,成為了一種商品,這就促使傳統計算機方式向現代計算機方式轉變。
1.2 云儲存
云儲存是在云計算的基礎上提出的,它與云計算有很多相同的地方。云計算主要是通過網絡技術、集群應用和分布式文件系統,利用應用軟件將網絡中大量不同類型的存儲設備連接起來,共同合作,對外提供業務訪問和數據存儲功能。云存儲與傳統的存儲模式相比,它是一種特殊的構架服務,它必須建立在互聯網基礎上,為用戶提供在線的存儲服務。用戶不需要考慮存儲器中的容量、數據存儲位置、安全等問題,只需要按時付費就可以了。
2 云計算的數據存儲技術
云計算存儲技術具有比較明顯的兩個特點:第一是高傳輸率,第二是高吞吐率。當前,云計算存儲技術比較主要有谷歌開發的非開源的GFS和Hadoop團隊開發的HDFS技術。不過后者在IT廠商應用的比較廣泛。
2.1 Google File System
Google File System簡稱GFS,這種存儲技術不僅開源擴展,而且是分布式的,廣泛應用在分布式的數據訪問。它的硬件價格比較低,但是卻提供了容錯的功能。每一個GFS都是由一個master和多個chunkserver構成,能夠提供多用戶的訪問權限,只要用戶的訪問資源不受限制。chunkserver可以和訪問同時進行。GFS系統文件被分成很多個小塊,每一個小塊的標識是chunk―handle,chunk―handle由master分配。為了保證數據的安全性和可靠性,GFS系統文件會被復制在多個chunk―handle上,文件的副本由用戶決定,master會對系統文件進行維護。比如系統訪問控制、空間名字。此外它還可以控制系統的活動范圍,chunkserver間的遷移和單個模塊的垃圾收集等。master還會定期指令給chunkserver,讓chunkserver收集它的發展狀態。目前谷歌公司開發的GFS客戶代碼基本已經實現了系統文件的AP,所以用戶與master的數據交換,之限制元數據操作,存儲數據直接和chunkserver聯系,chunkserver和文件數據客戶不會緩存。
2.2 Hadoop Distributed File System(HDFS)
Hadoop分布式文件系統是HDFS由多個存儲數據的終點和管理節點構成的。它的中心服務器是namenode,客戶端和文件管理系統namenode對文件進行訪問。每一個namenode節點都有一臺普通的計算機對應,運行時與單機計算機文件系統類似,可以在文件系統常見名錄、更改文件名。其實系統的底層已經把文件分割成了Block,并⒄廡Block進行不同的存儲,從而達到容錯的目的。namenode是HDFS文件系統的核心內容,它可以維護一些數據結果,再把記錄文件分割成Block,并在namenode獲得相關的消息。
3 結語
云計算是一種新型的計算模式,它必須依靠大數據或者在大數據的基礎上,為計算機用戶提供服務和幫助。為了確保計算機數據的可靠性和安全性,云計算對云端數據采取了分層存儲的方式,為用戶提供多層次的安全防護。但是如今云計算的安全問題依然是用戶關心的重點。云存儲已經是未來存儲的一種趨勢。當前各大云存儲運營商正在積極開發應用技術、搜索和云存儲相結合的技術,為用戶提供更加便利的服務,但是云存儲的發展還須加強云存儲的安全防護功能和技術研究。
參考文獻
[1]劉曉輝.試析計算機云計算的數據存儲技術[J].通訊世界,2015(21):257-257.
[2]耿麗娟.基于云計算的數據存儲技術探索[J].科技尚品,2016(03):174-174.
[3]蔣穗,祁杰.數據存儲技術在云環境下的應用特性分析[J].移動通信,2013(11):42-44.
[關鍵詞]計算機;云計算;技術;應用;實踐
中圖分類號:P315.69 文獻標識碼:A 文章編號:1009-914X(2014)30-0252-01
隨著信息技術快速發展,大量移動設備涌入網絡系統當中,增加了信息系統負載的壓力,而各項資源負載壓力與有限性,使得與有關信息資料與設備成本間的矛盾加劇,急需新解決方案,在這種情況下,云計算技術進入人們的視野,并成為計算機技術發展的新方向之一,云計算作為信息技術知識產權資產的一種,經過云計算技術的應用與實踐,對人們的生活與工作方式將會產生巨大影響,強化云計算技術的應用研究是大勢所趨。
1 云計算概述
云計算最早來自網絡就是電腦的思想,后來,亞馬遜提供了彈性的計算云服務,而云計算一詞最早是由谷歌公司所提出的,并在谷歌推動下,云計算成為世界各大高校的研發項目,在2008年,IBM公司在我國無錫首先成立了全球的云計算中心,目前,云計算已得到全世界各國認識與重視。云計算是種優秀的計算機網絡的應用模式,其云所指的是因特網與計算機網絡的比喻形式,是個抽象虛擬的網絡資源。廣義云計算所指的是根據需求與易擴展等形式,運用網絡對服務內容進行獲取的統稱。而狹義云計算所指的是用戶終端運用遠程連接,對數據庫、計算與存儲等計算資源進行獲取的應用模式。云計算包括數據中心所提供服務與互聯網應用服務中的軟硬件設施,通過互聯網的基礎設施,目前全部數據與應用軟件均能按照相應形式進行云中存儲。
2 云計算技術
2.1 支持架構與部署的自動化
目前的云計算多采取半臺體系的結構給予支持,具有支持系統自治與架構敏捷的特點,其中,支持系統自治是指支持體系需要把自動化有關技術鑲嵌到其中,降低管理任務與人工部署的影響,用戶各應用要求可被云計算平臺進行自身智能的處理;而其架構敏捷,可對需求變化或者實際需求進行迅速響應,增強效率。云計算經過自動安裝及部署,可實現云計算的自動化應用,并讓計算資源由原始狀態向可用狀態進行轉換,通過資源池資源的劃分,能為用戶提供各類應用服務,并以部署與安裝過程的完成來體現,在系統資源當中,允許采取多步驟部署,對有關腳本進行部署,以實現應用軟件部署配置與不同的設備管理工具配置,防止大量人機的交互,讓部署不再單純依靠人工操作,而是采取工作流的方法進行全過程的部署,以提高云計算的工作效率。
2.2 虛擬機與安全管理
虛擬機作為云計算關鍵技術,虛擬機是虛擬數據中心的操作系統,能把離散硬件資源進行統一,實施共享平臺的創建,虛擬機的優點為:可整合服務器,降低計算機技術的成本;通過暗哨計劃內外停機,能對業務連續性進行改進;對運行很少或不應用服務器能動態關閉。云計算通過計算機資源整合,運用云計算設備當中的任一計算機,對任何隱私的信息均能找到。這使得云計算的安全問題成為亟需解決問題,Siani等人,對云計算的服務設計提出了一些用戶隱私保護設計原則,如加入與退出機制,反饋機制,個人信息少發送到云中,數據應用目的限制與明確,禁止未授權復制、訪問與應用等。
2.3 資源監控
資源監控也是云計算技術當中的關鍵技術,對系統資源進行實時監控,并向其他的子系統進行性能信息的提供,以完成系統資源分配。給云的資源動態部署可提供重要的依據,以監控資源的應用及負載狀況,運用云計算能對資源可用性與性能進行跟蹤,以提供信息問題的解決與資源均衡,對資源池全部資源的監控與管理,可經過監視服務器來實現,經過各種資源服務器的配置監視,可部署程序,并定期將應用有關信息的數據資源上傳給數據庫。
3 云計算技術的應用與實踐
3.1 云計算技術的應用形式
在計算機技術發展下,云計算應用形式主要包括網絡服務、軟件、互聯網整合、商業服務平臺與管理服務的提供商,其中,軟件就是服務,在人力資源管理類的程序當中,常見的一種云計算應用形式,通過網絡瀏覽器,可將程序信息向用戶傳輸,有效節省了資源成本;商業服務平臺為軟件與管理服務混合的系統應用,能為用戶與提供商間提供互動平臺,實施具有針對性的服務;網絡服務或軟件關系較為密切,經過API能促進開發者實施更多計算機網絡應用的研發;互聯網整合是將網絡供給類的服務公司資源優化整合,為用戶提供更恰當快捷服務的供應商;管理服務的提供商,與其它的云計算應用形式相比,這種應用形式最為長遠,所面向的是信息技術行業服務的對象,像病毒處理等。
3.2 云計算技術的應用與實踐狀況
云計算技術起步時間不長,其實力還較為微弱,但隨著云計算技術廣泛研究與應用,在實踐領域以獲得較大進展,對人們的生活工作方式正產生影響。有些運營商把云計算中的虛擬技術應用于數據中心,通過數據中心的虛擬化后,運營商的總體投資能夠得到降低,服務器整合,對服務器數量增長進行了遏制,降低了IT設備采購量,大幅度降低了有關IT設施采購量,設施數量降低,減少了隱性成本消耗,還避免了環境污染,響應了目前節能減排理念。經過虛擬技術,能構建虛擬化的集群,其高可靠功能,可讓應用系統業務得到連續性保障,增強了業務系統的穩定性。
3.3 云計算應用實踐前景
隨著社會經濟發展,信息科技進步,云計算技術發展起來,并在研發應用中獲得了很大進步,逐漸成為國際關注及競爭重點,在計算機領域,未來將向虛擬化與云計算進行發展,其發展前景主要表現下列方面,其一,公共云與私有云間的界限不再明顯,很多企業將采用公共云與私有云兩種技術結合的方式,如因特網一樣,成為任何機構與組織內外交流方式,有些信息資源成為兩種云技術的融合產物,很多廠商會交付新管理工具、基礎架構與安全工具,并用云計算計算看IT發展;其二,軟件服務產品會得到更為廣泛應用,要有效控制用戶訪問,就需要采用更好解決方案,盡管次產可給企業發展提供諸多幫助軟件應用業務會由工具式應用像免費操作系統的基礎軟件進行轉變,并進而轉變為在線企業軟件全面的應用,以提供更為綜合的應用,充分發揮其價值;其三,隨著全球聯系的日益緊密性,云計算應用實踐,為世界廣大用戶提供更為全面信息技術,并讓信息技術設備成為公共設施應用,在云計算技術下,用戶運用云計算,能夠用較小成本獲取較大計算力,在這種變化下,會激發新理念與新創新在社會生活當中的應用,并促進新技術創新,產生蝴蝶效應,促進信息化社會發展。
4 結束語
在社會經濟與計算機技術進不下,云計算技術得以發展,并在應用實踐當中,獲得了很大進展,成為全球關注競爭的關鍵技術之一,隨著信息化社會的到來,市場需求增大,云計算技術將會成為技術的新改革力量,對人們的生產生活會帶來巨大影響,云計算尚處在起步階段,我國有關云計算的普及有限,很多用戶在云計算接受與認知程度較低,要改變計算機傳統應用方法,還需要國家進行大力融合推進,以實現計算機資源的優化整合,為我國生產生活帶來益處。
參考文獻
[1] 高巍,李潔.云計算進入實質性發展階段對ICT產業格局的影響日益明顯[J].世界電信,2011(4).
【關鍵詞】云計算 虛擬化 存儲技術 研究
隨著信息技術的不斷發展,云計算已經把計算機網絡當中的軟件技術和硬件以及相關的服務進行了整合,從而形成了一個非常大的資源庫,同時在這個資源庫中,通過新的計算方法,實現對于用戶的相關服務。云計算是一種新的計算機互聯網計算模式,所以,在進行云計算的時候,云服務是計算機軟件能夠有效運行的基本平臺,也具備非常重要的意義。而且在云計算當中,我們還能夠運用虛擬化的技術手段來不斷實現資源的虛擬化計算。云計算存儲技術,作為現代信息技術發展中的重要研究方向,它的開發研究不僅具有很大的應用研究價值,而且還具有很大的商業經濟價值。
1 云計算概念及技術組成分析
1.1 云計算的概念簡述
當前,現代信息技術在不斷發展,云計算逐漸應用到現代信息技術領域中,以狹義角度分析,云計算作為一種動態的、可以擴展的計算的方式,其主要通過互聯網來提供一種虛擬資源而進行的;以廣義角度分析,基于互聯網的中心作用,云計算屬于一種應用服務的,而服務用戶,沒必要關注云計算內部細節,也沒必要掌握云內部的專業知識,其屬于一種計算用戶應用服務,往往由云內部直接控制基礎設置。從廣義角度分析,云計算的應用與服務的類型有很多種,即基礎設施服務、軟件服務、平臺服務等,這些服務基于互聯網,結合用戶的需求來定制的。
1.2 云計算的組成與核心技術介紹
對于信息技術領域,其中有一種是云計算系統,其以層次化為主,形成的一種架構形式,其層次有六個,即基礎設施層、存儲層、平臺層、應用層、服務層、客戶端層等。在云計算系統中,計算機基礎設施部分,即基礎設施層,其屬于一種虛擬化的平臺環境,實現用戶的需求與服務。在具體服務應用的過程中,基于服務器端的強大計算能力,對其進行單位化,給用戶個人PC機提供計算服務,因其不能實現海量數據的計算與服務;其二,在云計算系統中,存儲層的任務是提供與支持、實現數據的存儲服務,與計算機數據庫的服務類似,計算的基礎,即使用的存儲量,其作為一種云計算的服務結果,也是數據的存儲服務;其三,通過云計算的平臺層,服務與計算平臺與解決的方案;對于云計算的應用層面,憑借云計算的軟件結構進行運行服務;而云計算的服務層體現了云計算的本質,在互聯網信息技術、資源的基礎上,來提供好的服務;其四,在云計算結構層中,有一個重要的組成部分,即云計算客戶端,主要任務是承擔與實施簡單消息以及相應界面顯示的任務。
一般而言,云計算的核心存儲技術有很多,即虛擬化的存儲技術、高性能的存儲技術、分布式的計算存儲技術等。
2 云計算中的虛擬化分析
在一些企業的信息化平臺中,尤其是在系統的建設過程當中,數據中心建設一直是我們啟用信息化平臺的核心,特別是伴隨著當前的信息化技術在企業中的運用得增加。在對于相關的數據資源進行高效的運用后,將這些數據進行靈活地配置后,這已經是企業進行信息化建設的關鍵。基于這樣的背景下,虛擬化的概念和技術便出現了。在云計算中,運用虛擬化技術,這不但能夠有效地簡化信息資源管理的復雜程度,而且也能有效地實現信息資源的不斷優化及合理配置,這對于增強信息資源的運用效率,有著非常大的功能。與此同時,在云計算服務體系中,倘若我們把虛擬化的技術當做是云計算的一種服務方式,提供給用戶,這對于增強用戶的計算能力,有著很大的幫助。
一般來說,在云計算中,虛擬化就是通過一種抽象化的方式,將物理資源進行轉變為虛擬的資源,然而對于物理資源的抽象化方式,這同虛擬資源進行轉化的實現手段以及相關的地理位置等方面是有著極大的聯系的。資源進行虛擬化之后,完全能夠通過有限的硬件進行重新的規劃和分配,這對于擴大硬件容量有著很大的意義。在云計算中,虛擬化的應用技術,主要是通過使用虛擬機的監視器和相關的硬件通信設施進行設置的,基于虛擬系統的架構后,在物理資源和操作系統之間有效地實現操作轉化,從而能夠實現虛擬資源的控制和相關的管理。
3 基于云計算的虛擬化存儲技術分析
基于云計算的虛擬化存儲技術的實現,是在網絡新技術以及產品不斷發展的背景下,數據存儲需求與存儲系統存儲空間之間的矛盾日益顯現的情況下,為了提高數據資源的使用與存儲效率,逐漸進行研究實現的。云存儲是一種通過集群技術、網絡技術和分布式技術等技術手段,把互聯網中不同的數據資源存儲設備,利用軟件技術集合在一起進行工作的運行服務,其主要的目的是要讓用戶進行相關的數據存儲,訪問管理整個系統,以實現對于數據資源的存儲,對于空間的維護方面,同時還要考慮建設成本的問題等。云存儲過程中,應用的技術主要包括最開始應用的直連式存儲技術,以及隨著網絡存儲技術的發展應用,先后出現的網絡連接存儲、區域網存儲和基于IP的存儲等各種不同存儲方式技術,在實際存儲應用中,具有各自不同的特征優勢。
4 結論
綜上所述,在進行云計算的時候,對虛擬化的存儲技術進行相關的研究是很有必要的,這不但能夠順應信息技術的不斷發展,而且也能夠增強云計算服務的存儲力度,不斷促進云存儲的研究開l,起到了很關鍵的作用。
參考文獻
[1]高翔.試論網絡存儲技術及發展趨勢[J].中國新通信,2016(09).
[2]宋顯君.淺析計算機網絡存儲技術與應用[J].信息通信,2016(07).
[3]馬曉峰.淺談計算機網絡存儲技術[J].科技傳播,2016(16).
作者簡介
徐達飛(1983-),男,北京市人。大學本科學歷。現為中材集團財務有限公司高級業務經理、中級工程師。研究方向為信息科技、信息安全。
關鍵詞:云計算;分布式處理;虛擬技術;并行處理
云計算技術在當今的網絡服務中已經隨處可見,比如說為大家所熟知的搜索引擎,網絡電子郵箱等等,使用者若想獲取海量信息,只需在搜索框內輸入簡要的指令即可,由此可知云計算其實離我們并不遠。還有未來手機和GPS等移動設備,都可以通過云計算技術,發展出更多的應用服務,這一方面在iphone上已經有所體現。再舉一個例子,目前,個人計算機在我們工作中的主要任務依然是文檔處理和資料儲存,然后若是機器的硬盤壞了,我們肯定會看著大量的資料丟失而束手無策。而自從有了云計算技術,那樣的時代已不會再來,因為“云”會代替我們來做存儲和計算的工作。那么什么是“云”呢?什么又是“云計算”呢?
云計算是一種新興的計算模型:用戶可以利用該模型在任何地方通過連接的設備訪問應用程序,應用程序位于可大規模伸縮的數據中心,計算資源可在其中動態部署并進行共享。簡言之,有了云計算,用戶不需要計算能力很強的客戶端,而是可以直接從“云”里(服務器端)獲得計算能力。利用高速互聯網的傳輸能力,將數據的處理過程從個人計算機或服務器轉移到互聯網集群中,集群中的計算機都是很普通的工業標準服務器,由一個大型的數據處理中心管理著,數據中心按客戶的需要分配計算資源,達到與超級計算機同樣的效果。
1 計算產生條件、特點
就我理解,云計算其實就是通過數據中心來協同全球各地的各種數據運算,隨時隨地的去滿足用戶應用的各種要求,仔細考慮,其實這也正是互聯網建立的初衷,因此云計算也應該是互聯網發展的必然趨勢。云計算的前身其實是20 世紀80 年代末的網格計算(利用并行計算解決大型問題)和20 世紀90 年代末的公用計算(將計算資源作為可計量的服務提供),互聯網技術的發展,為這些老技術發展而成的云計算的出現創造了成熟的條件:第一,互聯網獲得空間發展,連接了全球各地,并且網絡帶寬極大提高,通過互聯網可以傳遞大容量數據,基于互聯網的軟件提供模式(saas)開始應用;第二,分布/ 并行/ 虛擬化技術的發展,分布的計算機能夠通過硬件和軟件技術實現資源的“虛擬化”,并成為可對外提供的“服務”。
2 計算的內容與現狀
云計算為我們所帶來的改變,是人類對計算機使用方式的改變。從傳統一個以桌面系統為中心的應用模型向新的以網絡為中心的應用模型轉變。在新的模型里,所有的服務和應用都將以在線而不是單機的方式提供給用戶,而接收這些服務的終端將不再更多地受限于硬件,包括個人電腦,移動終端都可以隨時通過互聯網享受到服務和應用,所謂“云”就是成千上萬臺電腦和服務器互聯的電腦云。這種基于互聯網的超級計算模式可以讓我們從“云”端獲得的計算能力可以達到超級計算機的效果。當前,就最簡單的云計算技術在互聯網服務中已經隨處可見,例如搜索引擎、網絡信箱,網絡存儲,文件處理服務等都是“云計算”的具體應用。云計算是未來技術發展的趨勢,可以說,誰先搶占云計算這塊蛋糕,誰就可以在未來互聯網服務中占有先機,全球IT 巨頭都不想錯過云計算。最早推出云計算服務的是亞馬遜(Amazon)。早在2006 年,它就推出了彈性計算云(Elastic Computer Cloud ES2)服務,讓中小企業能夠按其需要購買亞馬遜數據中心的計算能力,以EC2 為基礎的云存儲S3(Simple Storage Service)不到一年時間里就已存儲了50 億個對象;2007 年,Sun 公司推出了移動數據中心SunBlackbox ,它在云計算中發揮重大作用,Sun 還提供租賃主機服務,以幫助用戶實現云計算;同年10 月,Google 與IBM達成合作協議,共同出資為美國6 所大學計算機專業學生和研究人員提供硬件、軟件和服務支持,一個月后Yahoo 也與大學開展合作,推出相應計劃;11 月,IBM宣布了“藍云”計劃,并安排200 名工程師參與這一計劃;同月,微軟宣布,將投資5 億美元再愛爾蘭首都都柏林建設其第一個歐洲數據中心,用來支持如MSN 門戶和Windows Live 以及Hotmail、照片共享、博客和在線存儲等一系列服務;2008 年4 月, google 開放google app engine平臺,該平臺允許第三方通過它運行應用程序并效能感受google 的帶寬、吞吐量、可靠性等性能資源;同年10 月,微軟推出WindowsAzure 操作系統,是微軟繼Windows 取代DOS之后,又一次顛覆性轉變———讓Windows 真正由PC 延伸到“云”上。
3 云計算發展的未來
云計算的好處如此誘人,但與此同時,也存在較大風險。a.使用云計算意味著數據被轉移到用戶主權掌控范圍外的機器上,也就是云計算服務提供商的手中,那么人們擔心這些數據的安全性也不無道理,如何保證用戶信息和隱私抑或是商業數據不被泄露或盜取這是用戶最關心的;b.由于云計算的特點,用戶也不知道自己存儲的數據位于全球哪個服務器,而各個國家,地區對于信息保護的法律法規不盡相同,如何保證數據的隔離;c.當今IT 界競爭激烈,服務商公司很有可能隨時被淘汰、吞并,如何保證用戶數據長期生存性。
云計算 備份技術 VMWare
1 引言
隨著信息化的發展,各種業務系統已經成為大型企業日常生產不可或缺的一部分,這些系統所產生的數據也成為運營商的核心資產。在軟硬件處理能力越來越強的現在,電信運營商的IT系統呈現出集約化[1]、去IOE(IBM、Oracle、EMC)化[2]、云計算化的趨勢。
對于電信運營商,大部分業務系統是由各省級單位獨立建設,互不兼容。在市場競爭激烈、成本要求苛刻、精細化管理成為企業必需的情況下,三大運營商不約而同地選擇了集約化發展的道路。業務的變化推動IT系統的集約化,運營商紛紛嘗試將分省建設、管理的系統集中到全國幾個大型中心。集約化后的IT中心帶來了數據的高度集中,對系統備份和恢復的速度要求更加苛刻。
與集約化同時進行的是IT系統“去IOE”的進程。去IOE即在服務器設備上,使用標準化程度高的X86服務器逐漸取代高可靠性、生態系統相對IBM Power小型機乃至所有的小型機在核心系統的使用。去O即從小型業務系統開始,使用Scale out架構的開源數據庫逐步消除Oracle數據庫在運營商的壟斷地位;去E即在數據存儲領域使用更為廉價的存儲方式代替昂貴的高端EMC存儲。去IOE在節省成本、降低對原廠依賴的同時,也帶來了對業務系統、數據庫及業務數據可靠性的憂慮。
云計算化是使用虛擬化基礎架構代替過去孤立的、煙囪式發展的傳統IT架構。云計算是在由服務器、存儲、網絡交換機等硬件的基礎上增加了虛擬化層和云層。其中,虛擬化層屏蔽了硬件的差異性和復雜度,為云層提供標準化、可靈活擴展和收縮、彈性的虛擬資源池;云層可以調配硬件資源池,為應用系統提供虛擬硬件。云計算化在增加靈活性的同時,也更來了更多的可能的故障點。
集約化、去IOE化、云計算化的IT系統帶來成本節約、靈活度更高的同時,也為應用系統和數據的可靠性帶來了更大的挑戰。為了保障IT系統安全,需要建立穩定、高效的備份系統,將應用系統和數據備份多份后,在異機甚至異地存儲。備份系統可以保證在應用系統出現問題的情況下能夠回退到正常狀態,是企業IT安全的最后一道防線,需要引起高度重視。
2 傳統IT基礎下的備份技術
2.1 傳統備份對象
在傳統IT基礎架構下,備份的對象主要針對操作系統、數據庫和文件系統。
操作系統是應用系統的基礎,其備份技術也是備份的難點。操作系統備份包括系統備份和系統恢復。系統備份由文件備份、系統數據一致性及系統環境等技術組成。操作系統備份時,系統文件、環境變量等參數會不斷發生變化,有可能發生相關文件備份時間不同而導致系統故障的問題[3]。為了保證一致性,需要對備份過程中的I/O(Input/Output,輸入/輸出)進行備份,在系統恢復時將備份過程的I/O操作重新寫入操作系統,從而使系統狀態與備份結束時間點的狀態一致,降低了系統崩潰的風險。系統恢復在異機恢復方面有可能面臨著設備驅動不一致,從而導致恢復后的系統無法正常使用的問題。
數據庫備份不僅需要備份數據庫中的用戶數據,還需要對重要的數據庫組件如數據文件和控制文件進行備份[4]。數據庫的備份可以分為靜態備份和動態備份。靜態備份是在系統沒有事務需要處理時進行的備份作業,在備份期間不允許對數據庫進行查詢、插入等活動。靜態備份可以很好地保持數據的一致性,但同時降低了數據庫的可用性。動態備份可以在用戶事務發生的同時進行,允許在備份期間對數據庫進行存取、修改等操作,但這種方式無法保證副本數據的有效性,需要記錄下備份期間對數據庫的存取等活動日志。數據庫恢復時,需要恢復副本和備份期間的日志才能恢復到正確的狀態。
文件系統備份可以通過文件系統定位文件所在的頁,然后備份所找到的文件。由于存儲在磁盤中的文件的頁并不一定是連續的,因此在恢復的過程中磁盤需要不斷定位,從而導致磁盤負擔較大[5]。在文件系統備份中,運營商的話單文件體積小但數量非常多,其備份是一大技術難題。
2.2 常見備份方式
在實現生產中,通常采用以下方式進行備份:
(1)使用數據庫自帶備份工具備份。對于Linux下的Oracle數據庫,可以編寫Rman腳本備份數據,再通過Crontab配置定時復制命令,將數據庫備份文件復制到磁盤陣列[6]。對于MySQL,可以使用自帶的mysqldump工具,實現基于InnoDB的熱備份[7]。
(2)使用操作系統自帶工具。Linux操作系統中常使用dump和restore命令來實現文件系統的全備、增量備份和差異備份等備份方式[8],Windows Server下也自帶了Windows Server Backup的備份和恢復工具。
(3)基于存儲的硬件備份。存儲設備是使用硬件來實現數據的存儲、備份與恢復,速度較快。通過存儲,還可以使用更高級的存儲技術,如快照、鏡像、重復數據刪除等功能。同一廠商的存儲產品往往具有遠程鏡像的功能,可以將本地備份數據通過同步或異步的方式自動實現異地備份。然而不同存儲廠商間的硬件備份技術使用不同的技術標準,互不兼容,從而導致不同品牌的存儲不能實現硬件的遠程鏡像。運營商的核心數據經常需要保留三份以上的異地備份,就需要在三個地點都使用同一個廠商的存儲設備,這也成為基于存儲的硬件備份的一大阻礙。
(4)基于備份軟件。備份軟件集成了各種數據庫、文件系統的備份等功能,又具備了鏡像復制、快照、重復數據刪除、數據校驗、SAN(Storage Area Network,存儲區域網絡)備份等高級存儲功能。備份軟件從軟件上屏蔽了硬件設備的差異,可以統一管理服務器硬盤、磁盤陣列、虛擬帶庫以及物理帶庫等存儲設備。同時,備份軟件也可以實現對不同操作系統(Windows、Linux、Unix)、不同數據庫(Oracle、SQL Server、MySQL)的備份。通過備份軟件,系統管理員不需要對不同的操作系統、不同的數據庫、不同的存儲設備和服務器各自編寫自動備份腳本,可以在統一的界面上通過命令行或圖形化界面集中管理備份設備、存儲設備、備份策略。因此,備份軟件也是核心IT系統中常用的備份方式。
(5)備份一體機。隨著一體化設備的發展,備份軟件廠商紛紛推出集成了備份服務器、存儲、備份軟件的備份一體機設備。這種備份一體機可以在用戶快速部署,大大方便了異地數據備份。
2.3 備份軟件
備份軟件架構如圖1所示,主要由備份服務器、備份、存儲服務器、Web服務器組成。
備份服務器可以自動進行備份作業的調度,通過指揮備份和存儲服務器共同完成備份、恢復任務[9]。備份服務器維護著Catalog數據庫,在數據庫里存儲備份恢復作業的信息及物理設備相關的信息。備份一般是安裝在需要備份的主機中,調用相關系統的接口。在備份作業發起時,數據由備份讀取并傳輸到網絡。對于不同的備份對象,往往需要安裝對應的模塊。例如,為了分別備份Oracle數據庫、SQL Server數據庫,就需要在對應的主機中分別安裝支持Oracle數據庫模塊和SQL Server數據庫模塊的備份。對于不同的操作系統,也需要安裝相應的備份。存儲服務器可以將關鍵數據存儲在存儲設備,如磁盤陣列、虛擬帶庫、物理帶庫,負責存儲中備份數據的讀取和寫入。Web服務器為管理員提供Web管理界面。目前主流的備份軟件不僅有商用的IBM TSM、CommVault、Symantec NetBackup、HP DP等產品,而且還有開源的備份軟件Amanda[10]、Bacula等產品。
3 云計算對傳統備份技術帶來的挑戰
云計算技術在IT基礎建設的引入,可減少硬件資源浪費,提高系統部署的速度,但也為備份帶來了新的需求。
(1)虛擬機備份。在存儲中為虛擬機分配的空間,以虛擬機文件格式方式如.vmdk存儲,虛擬機操作系統文件、用戶數據放置在這個vmdk文件中。如果按照傳統備份方式,要備份虛擬機中的系統和用戶數據,就需要在每臺虛擬機中安裝備份。這種方式在占用大量的存儲資源的同時,發起備份時也會占用大量的計算資源,從而影響虛擬機性能。
(2)空白數據的空間占用。在分配虛擬機時,精簡模式下的虛擬硬盤根據所需數據量的大小占用存儲空間。虛擬硬盤空間隨虛擬機數據量增加而變大后,在虛擬機中刪除的數據并不會減少虛擬硬盤的空間大小,這樣就造成大量空白數據占用了存儲空間。如果對虛擬機的備份只是簡單復制虛擬硬盤文件,就會出現備份中的有效數據少的問題。
(3)數據冗余程度高。在虛擬機中,往往安裝大量相同的操作系統、應用程序,這部分數據高度相同,如果直接通過安裝在每臺虛擬機中的備份來備份數據,則會造成大量的冗余,浪費存儲空間。
(4)備份顆粒度過大。通過虛擬化平臺自帶的虛擬化接口可以備份和恢復整臺虛擬機,但往往需要備份的數據只是虛擬機中的部分用戶數據,而不是完整的虛擬機。虛擬機級的顆粒度會拖慢備份恢復速度,消耗大量的存儲空間。此外,這種方式也無法感知應用,難以保證數據的一致性。
基于上述情況,傳統的備份方式已經不適應云計算時代的數據備份,亟需針對云計算的數據備份技術。
4 云計算環境的備份技術
4.1 基于云計算的備份技術
在云計算環境下,調用VMWare在數據存儲方面的接口,可以有效地解決虛擬機的備份難題。
(1)無備份。VMWare開放了VADP(vStorage
APIs for Data Protection,用于數據保護的虛擬存儲應用程序編程接口)的數據保護存儲接口。備份軟件調用VADP,即可與集成在vCenter中的vStorage for Data Protection模塊通信,對每臺虛擬機都實現不需要第三方備份的備份,從而減少備份對虛擬機計算資源的消耗。
(2)數據塊修改跟蹤。VMWare提供的VMKernel
級技術CBT(Change Block Tracking,數據塊修改跟蹤)可以判斷在最后一次快照后是否有虛擬機數據塊被修改,并標記被修改的數據。備份軟件調用VADP接口,即可備份被修改的增量數據,而不需要對虛擬機文件做完全備份。
(3)文件級備份恢復。VMWare FLR(File Level Recovery,文件級恢復)提供了瀏覽和裝載虛擬機備份數據的功能。通過備份軟件,調用VADP的FLR功能,可以實現對虛擬機的文件級顆粒度管理,而不需要做虛擬機級別的備份。
(4)重復數據刪除。傳統的重復數據刪除常使用固定數據塊或者固定長度數據段等技術進行重刪,但這種方式存在著即使數據集發生了非常小的改動,都會導致整個固定長度數據段的更改,從而不被識別為冗余數據。對于虛擬機的重復數據刪除技術,常采用可變長度數據段。VMWare VDP(vSphere Data Protection,vSphere數據保護)技術能夠分析數據集的二進制數據結構,確定數據段的邊界,且適用于不同類型和體積的文件,從而實現智能化的重復數據刪除。
(5)vCenter集成。備份軟件以vCenter插件的形式集成到vCenter的管理界面中,方便vCenter管理員管理虛擬機的備份,而不需要到專門的備份軟件中處理。
(6)應用感知。對于虛擬機中安裝的SQL Server、
Exchange、SharePoint、Active Direct等應用系統,可以通過在這些應用所在的虛擬機中安裝VDP客戶端,即可實現來賓級細粒度的管理,從而實現對虛擬機中的應用感知。
4.2 重復數據刪除
對VMWare vSphere虛擬化環境,使用重復數據刪除技術,對其中的30臺虛擬機總共1053GB容量的虛擬硬盤進行全備份。在自動識別并剔除空白空間后,需要備份的數據只剩下虛擬硬盤數據的76.5%。而在使用重復數據刪除進行消重后,實際寫入存儲空間的數據只有源數據的29.4%,因此實際重刪比為70.6%。重復數據刪除技術可大大減少虛擬機備份所需要消耗的存儲空間,具體如圖2所示。
初次全備份需要數小時的時間。在虛擬機進行數據讀寫操作,增加少量用戶數據,此時再做全備份,備份時間可縮短到數分鐘。這是由于調用了VMWare的CBT技術,使備份數據僅為修改的部分數據,從而加快了備份速度,減少了網絡流量和備份數據量。
5 結束語
本文研究了傳統IT基礎架構下的備份技術,包括操作系統、數據庫和文件系統等3種主要備份對象,總結了利用自帶工具、存儲硬件、備份軟件和備份一體機等常見備份方式,描述了備份軟件的架構,并分析了傳統備份方式在云計算時代遇到的問題。在此基礎上,研究了云計算環境下的備份技術,并指出了無備份、數據塊修改跟蹤、文件級備份恢復、重復數據刪除、vCenter集成、應用感知等關鍵技術。在實際虛擬化環境中,證明了重復數據刪除和數據塊修改跟蹤等技術的有效性,為電信運營商在云計算環境下的數據備份提供了參考。
參考文獻:
[1] 鮑明曦,朱源,鄧麗華. MSS全網集中建設助推集約化運營[J]. 通信企業管理, 2013(12): 75.
[2] 田熙清,陳泳,胡穎茂. IT支撐系統技術架構的去電信化思考[J]. 移動通信, 2014(5): 68-74.
[3] 張效斌. 備份系統在云中心的部署與應用[J]. 電腦知識與技術, 2013(29): 6530-6532.
[4] 宮婷. 計算機數據庫的備份與恢復技術研究[J]. 計算機光盤軟件與應用, 2013(21): 155.
[5] 肖克輝. 文件系統備份中目錄樹處理算法設計與實現[D]. 廣州: 中山大學, 2005.
[6] 張云帆. Oracle數據庫備份與恢復策略[J]. 計算機工程, 2009(15): 85-87.
[7] 鄔文軒,胡曉勤. 一種基于MySQL Innodb數據引擎的增備方法[J]. 計算機安全, 2013(5): 30-33.
[8] 楊寧. 基于B/S模式的Linux備份系統的設計與實現[D]. 廣州: 中山大學, 2008.