分布式存儲和數(shù)字集群移動通信系統(tǒng)
前言：本站為你精心整理了分布式存儲和數(shù)字集群移動通信系統(tǒng)范文，希望能為你的創(chuàng)作提供參考價值，我們的客服老師可以幫助你提供個性化的參考范文，歡迎咨詢。
分布式存儲系統(tǒng)簡單來說就是指將網(wǎng)絡(luò)中許多物理上獨立的存儲設(shè)備，通過某種映射關(guān)系使之反映為邏輯上統(tǒng)一的存儲空間進行使用。它可以很好的解決海量數(shù)據(jù)存儲與數(shù)據(jù)并發(fā)的問題，所以這里將其引入集群通信系統(tǒng)中。
1．1網(wǎng)絡(luò)設(shè)計
首先將數(shù)據(jù)服務(wù)器與交換控制中心在邏輯上分離開，改變原有的數(shù)據(jù)存儲方式。各級交換控制中心不再配備私有的數(shù)據(jù)服務(wù)器，樹形的業(yè)務(wù)網(wǎng)絡(luò)拓撲結(jié)構(gòu)不變，故除數(shù)據(jù)存儲查詢以外的其他業(yè)務(wù)將不受影響。然后將所有的數(shù)據(jù)服務(wù)器組成一個分布式存儲系統(tǒng)，它對用戶虛擬成一個統(tǒng)一的存儲設(shè)備，系統(tǒng)中所有的存儲與查詢操作都將對這個虛擬存儲設(shè)備進行。設(shè)計中所有的存儲節(jié)點地位相同，沒有使用負責資源定位的中心服務(wù)器。這種結(jié)構(gòu)就稱為結(jié)構(gòu)化P2P網(wǎng)絡(luò)，使用DHT(分布式哈希表)的方式進行資源定位，具體算法將在下一節(jié)介紹。同樣以圖1中G節(jié)點查詢D節(jié)點數(shù)據(jù)為例，因為所有的數(shù)據(jù)都存儲在結(jié)構(gòu)化P2P網(wǎng)絡(luò)構(gòu)成的分布式存儲系統(tǒng)中，所有只要知道需要查詢的數(shù)據(jù)特征就可以直接從節(jié)點G連接到存儲網(wǎng)絡(luò)中，再根據(jù)資源定位的算法找到該數(shù)據(jù)在P2P網(wǎng)絡(luò)中的存儲位置，從而獲取數(shù)據(jù)。這樣就帶來幾個好處:
(1)數(shù)據(jù)存儲擺脫了層級化的結(jié)構(gòu)，使得在查詢或讀取某個數(shù)據(jù)時不必要通過該數(shù)據(jù)所屬交換控制中心，數(shù)據(jù)傳輸時也不必要通過高層級節(jié)點進行轉(zhuǎn)發(fā)，這大大緩解了高層級節(jié)點的壓力，解決了負載不均帶來的訪問熱點問題，同時也使得可靠性大大提高了;
(2)使用分布式存儲方式還大大提高了數(shù)據(jù)的容災(zāi)能力。只要設(shè)計一個合理的數(shù)據(jù)備份恢復(fù)機制，即使個別存儲節(jié)點無法接入網(wǎng)絡(luò)，也絲毫不會影響系統(tǒng)的業(yè)務(wù)進行。
1．2算法實現(xiàn)
分布式存儲的核心問題就是資源定位問題，這里準備使用一種經(jīng)典的Chord算法來實現(xiàn)其功能。
1．2．1Chord算法原理
文獻4中提出了Chord算法，它是由MIT于2001年提出的分布式查找算法。數(shù)據(jù)對象的存取原則為:將所有節(jié)點的nodeID(節(jié)點屬性信息經(jīng)過散列函數(shù)得到的hash值)從小到大(取模2m，m為hash值的位數(shù))按順時針方向排列在一個Chord環(huán)上。dataID(數(shù)據(jù)對象屬性信息經(jīng)過散列函數(shù)得到的hash值)為k的數(shù)據(jù)對象就存儲在nodeID為k或者Chord環(huán)上k之后最近的一個節(jié)點上，這個節(jié)點稱為k的后繼節(jié)點，用successor(k)表示。如圖3所示，這是一個m=4的Chord環(huán)，ID的值域范圍為［0，16］。環(huán)上分布有6個節(jié)點，分別為N1、N3、N6、N9、N11、N13。假如要存儲一個數(shù)據(jù)對象K，K的dataID=12，先找nodeID=12的節(jié)點，如果沒有就找它后邊最近的節(jié)點，這里后繼節(jié)點是N13，所以數(shù)據(jù)就保存在N13上。
1．2．2Chord的路由
有了上述的后繼關(guān)系后，所有的資源分布與定位問題都得以解決，但這樣一個一個節(jié)點的找過去效率無疑是無法保證的。故此Chord中就引入了擴展查詢算法。高級的交換控制中心(進行業(yè)務(wù)控制、終端管理、數(shù)據(jù)交換等工作)，根據(jù)隸屬關(guān)系逐級向下有多級交換控制中心，每個交換控制中心配有一個私有數(shù)據(jù)服務(wù)器用于存儲所屬的各類數(shù)據(jù)。每一個交換控制中心負責維護存有它所有子節(jié)點路由的路由表，查找某節(jié)點時需逐級查找。例如G節(jié)點需要D節(jié)點上的數(shù)據(jù)，就需要先向D節(jié)點發(fā)送請求，經(jīng)過路由為G－C－A－B－D，隨后D節(jié)點在自己的數(shù)據(jù)服務(wù)器上找到數(shù)據(jù)，再原路發(fā)回節(jié)點G。由上例可見，越高層級的節(jié)點所要承受的壓力越大。在傳統(tǒng)的集群通信系統(tǒng)中因為沒有大數(shù)據(jù)量的業(yè)務(wù)，所以這種數(shù)據(jù)查詢與傳輸?shù)姆绞讲⒉粫ο到y(tǒng)性能有較大的影響。但是在引入了新業(yè)務(wù)后，這種數(shù)據(jù)存儲方式就會產(chǎn)生很多的問題:(1)負載不均衡，高層級節(jié)點壓力過大。首先高層級節(jié)點上的數(shù)據(jù)被查詢和存儲的概率遠大于低層級節(jié)點，高層級節(jié)點被訪問的概率就很高。其次，處于不同分支的節(jié)點進行數(shù)據(jù)傳輸時都要經(jīng)過高層每個節(jié)點負責維護一張路由表，通常稱為指針表(fingertable)。如果ID長度是m個bit，那么指針表中就最多含有m個表項。節(jié)點n的指針表的第i項是Chord環(huán)上ID等于或者大于n+2i－1的第一個節(jié)點(取模2m)。如圖2所示，節(jié)點N3的指針表，(3+20)mod24=4之后的第一個節(jié)點為N6，所以第一個表項的指針是N6。同理第二個表項的指針也是N6，第三個表項的指針是N9，最后一個表項的指針是N11。擴展查詢的過程如圖3所示，假設(shè)從N3節(jié)點發(fā)起查詢，查詢數(shù)據(jù)對象K的dataID=12，就可以根據(jù)N3上的指針表找到N11節(jié)點，再根據(jù)N11節(jié)點的指針表找到數(shù)據(jù)對象K的存儲位置節(jié)點N13，這樣就完成一次查詢過程。
2實驗結(jié)果及分析
本文使用OMNeT++進行仿真，選取了傳統(tǒng)集群通信系統(tǒng)(DTMCS)與使用chord算法的結(jié)構(gòu)化P2P網(wǎng)絡(luò)改進后的系統(tǒng)進行比較，節(jié)點數(shù)設(shè)為781個(根據(jù)傳統(tǒng)集群通信系統(tǒng)實際組網(wǎng)情況采用深度為5的樹形結(jié)構(gòu)，除第5層節(jié)點外，所有節(jié)點的子節(jié)點數(shù)均為5)，隨機選擇請求發(fā)起節(jié)點與目標節(jié)點，發(fā)起查詢請求并接受目標節(jié)點返回的數(shù)據(jù)信息(設(shè)返回數(shù)據(jù)包長為2k字節(jié))。以在同一時段網(wǎng)絡(luò)中發(fā)起的查詢數(shù)作為變量，平均查詢時延作為性能評估參數(shù)，對兩種存儲查詢系統(tǒng)的性能進行評估。平均查詢時延delay計算公式如下:delay=∑ni=1(receive_time－send_time)/n(1)式中，send_time為發(fā)送查詢請求時間;receive_time為查詢節(jié)點接收到返回數(shù)據(jù)的時間;n為同一時刻發(fā)起請求的數(shù)量;delay的單位為ms。使用chord算法的結(jié)構(gòu)化P2P系統(tǒng)的平均查詢時延受查詢數(shù)量變化的影響并不大，隨著查詢請求數(shù)量增加緩慢變化;而傳統(tǒng)的集群通信系統(tǒng)在查詢請求較少時表現(xiàn)尚可，一旦請求數(shù)量較大時性能與可靠性將急速下降，甚至網(wǎng)絡(luò)癱瘓出現(xiàn)大量丟包的情況。通過比較可以看出，改進后的存儲查詢系統(tǒng)在性能上有了很大的改進，可以很好的解決負載不均和可靠性低的問題。
3結(jié)束語
本文針對傳統(tǒng)的數(shù)字集群移動通信系統(tǒng)存儲查詢功能在應(yīng)對大數(shù)據(jù)量時的不足，提出了使用分布式存儲系統(tǒng)的改進方案，并對該方案的網(wǎng)絡(luò)拓撲結(jié)構(gòu)和具體實現(xiàn)算法進行了詳細的介紹，最后通過仿真表明了該方案在大量數(shù)據(jù)并發(fā)的情況下具有更好的性能。但是該方案仍然有許多不足之處，比如在仿真中發(fā)現(xiàn)節(jié)點數(shù)量超過5000時，平均路由跳數(shù)會比原方案更多，并持續(xù)增加。不過根據(jù)數(shù)字集群移動通信系統(tǒng)的組網(wǎng)特點，不會出現(xiàn)節(jié)點數(shù)量過大的情況，所以這個問題可以暫時忽略。另外還有一些需要完善之處，例如查詢權(quán)限機制、即時數(shù)據(jù)同步以及通過分布式存儲實現(xiàn)系統(tǒng)數(shù)據(jù)容災(zāi)功能等部分還需要進一步設(shè)計。
作者：蔣軼林郭淑琴單位：浙江工業(yè)大學(xué)信息工程學(xué)院
