分布式存儲架構 及優點
2024-03-16  11次浏覽

20201221020239714.png

漢榮分布式存儲優勢:

漢榮分布式存儲往往采用分布式的系統結構,利用多台存儲服務器分擔存儲負荷,利用元數據定位存儲信息。它不但提高了系統的可靠性、可用性和存取效率,還(hái)易于擴展,將(jiāng)通用硬件引入的不穩定因素降到最低。優點如下:

1.高可靠性

漢榮分布式存儲整個系統無任何的單點故障,數據安全和心務連續性得到保障,每個節點沒(méi)備之間有專門的教據保護策略,可實現系統的設備級幾餘,并且可在線更換損壞的硬盤或者節點設備。

采用副本模式對(duì)數據形成(chéng)保護,數據在寫入後(hòu)會按需生成(chéng)多份副本,并根據設置將(jiāng)數據主從副本存儲在不同的硬盤、服務器、機櫃、 機房中,以此保證在硬盤損壞、服務器損壞、機櫃損壞、機房故障情況下,數據的安全性以及業務的連續性,支持用戶數據按照設定的1到6副本進(jìn)行冗餘存儲。布式存儲系統可按需設置存儲池的保護策略(數據副本數量)以及硬盤離線超時時間,最大可支持 6副本。與傳統存儲 RAID 機制比較,數據副本策略可屏蔽由于硬盤損壞而造成(chéng)的數據恢複緩慢、恢複過(guò)程中存儲卷不可用、多塊硬盤同時損壞的教據丢失風險,單點故障系統不會丢失數據,帶來更高的數據安全。通過(guò)強一緻性複制協議來保證數據多個副本的一緻性。正常情況下保證每個副本上的數據都(dōu)是完全緻的,從任意副本讀到的數據都(dōu)是相同的。如果系統中的某個硬盤出現短暫故障,存儲系統會暫時不寫這(zhè)個硬盤上的數據,通過(guò)日志記錄的方式,記錄此硬盤上數據的變化,等硬盤恢複後(hòu)通過(guò)日志信息恢複該硬盤上的數據,如果硬盤長(cháng)時間或者永久故障,存儲系統會將(jiāng)硬盤從存儲系統中移除掉,并統計出此硬盤上所有數據的副本位置,將(jiāng)這(zhè)些丢失數據恢複到其它服務器的硬盤中。副本技術優勢如下:

文件多副本同時寫入物理硬盤後(hòu)返回前端數據寫入完成(chéng),可增強數據整 體安全性,避免由于機房斷電造成(chéng)的數據丢失。可自由設置硬盤離線招時時間,避免硬盤更換後(hòu)的大量數據遷移,保證,業務系統的優先性。數據恢複效率高,可一小時内完成(chéng) 4TB 硬盤的恢複。對(duì)于容量需求較大的應用我們采取糾删碼的磁盤保護技術,EC(Erasure Coding,糾删碼)技術是將(jiāng)一份數據切分成(chéng),N 塊原始數據, 基于N 塊原始數據計算獲得M 塊冗餘數據,并將(jiāng) N+M 塊數據分别存放在存儲 系統中的不同存儲節點上,當其中任意M塊數據(N+M 塊數據中任意的M塊數據)丟失時存儲系統可通過(guò)數據恢複算法將(jiāng)丢失的 M 塊數據恢複,實現冗餘和容錯的目的。分布式存儲系統支持 N+M 格式的糾删碼,用戶可根據需求自定義 N和 M 的數量,N 代表原始數據塊數量,M 代表在不發(fā)生數據丢失的前提下,存儲系統所允許發(fā)生的同時故障的數據塊數量,即同時故障節點的數量。

技術優勢如下:

糾删碼的存儲空間利用率高,最高可達到 90%以上糾删碼數據保護機制不對(duì) N+M 做任何限制(服務器數量滿足的情況下),可确保更高的存儲得盤率和靈活度。

2.高性能(néng)

高性能(néng),相比傳統存儲而言提供高出數倍的聚合!0PS和吞吐量,另外可以随着存儲節點的擴容而線性的增長(cháng),每個存儲節點都(dōu)可以對(duì)外提供業務吞吐,專用的元數據模塊可以提供非常快速精準的數據檢索和定位,滿足前端業務快速響應的需求:提供高性能(néng)的緩存技術,緩存管理基FSSD Cache 而非CacheTier模式,可靈活定義每個HDD與SSD的緩存關系,精确到縣體某一個SSD磁盤和對(duì)應的容量。提供KVM及XEN康拟化平台的專用RBD高速存儲接口,其中RBD能(néng)提供更爲優異的低延遲、高I0PS帶寬,确保虛拟化平台的高性能(néng),對(duì)虛拟化架構的RBD接口進(jìn)行優化設計,性能(néng)更高。

3.高可用

從控制層面(miàn)、數據層面(miàn)和訪問層面(miàn)提供高可用保障,确保沒(méi)有單點故障,爲iSCS1、FC傳統企業接口設計了MPIO功能(néng),爲ISCSI提供VIP功能(néng),提升數據鏈路可用性,當其中一條路徑發(fā)生故障時,數據自動切換到另一條路徑上,鏈路恢複時自動切換回來,切換過(guò)程中業務不感知存儲的但路徑故障,集群硬件異常時,或者進(jìn)行硬件更換維護時,分布式存儲進(jìn)入recovery 狀态,分布式存儲能(néng)對(duì)Recovery 10進(jìn)行控制,并制定策略,根據用戶需求保證業務I0或RecoveryI0正常進(jìn)行。

4.高可擴展得益于合理的分布式架構,漢榮分布式存儲可預估并目彈性擴展計算、存儲容量和性能(néng)。漢榮分布式存儲的水平擴展有以下幾個特性。1)節點擴展後(hòu),舊數據會自動遷移到新節點,實現負載均衡,避免單點過(guò)熱的情況出現,2)水平擴展隻需要將(jiāng)新節點和原有集群連接到同一網絡,整個過(guò)程不會對(duì)業務造成(chéng)影響:3)當節點被添加到集群,集群系統的整體容量和性能(néng)也随之線性擴展,此後(hòu)新節點的資源就會被管理平台接管,被用于分配或者回收5.易擴展

系統可以支持在線無縫動态橫向(xiàng)擴展,在采用冗餘策略的情況下任何一個存儲節點的上線和下線對(duì)前端的業務沒(méi)有任何的影響,完全是透明的,并且系統在擴充新的存儲節點後(hòu)可以選擇自動負載均衡,所有數據的壓力均勻分配在各存儲節點上。可以支持在線擴容,不僅可以垂直縱向(xiàng)擴容,更換高性能(néng)磁盤或者大容量,來縱向(xiàng)提升性能(néng)和容量;還(hái)可以不斷增加節點,線性提升集群性能(néng)和容量。分布式存儲架構具有良好(hǎo)的可擴展性,支持超大容量的存儲:擴容存儲節點後(hòu)不需要做大量的數據搬遷,系統可以快速達到負載均律狀态。靈活的擴容方式,可以獨立擴容計算節點、硬盤、存儲節點,或者同時進(jìn)行擴容。機頭、存儲帶寬和Cache都(dōu)均勻分布到各個節點上,系統IOPS、吞葉量和Cache随着節點的擴容而線性增加,系統自動將(jiāng)每個卷的教據塊打散存儲在不同服務器的不同硬盤上,冷熱不均的數據會均勻分布在不同的服務器上,不會出現集中的熱點。擴容節點或者故障減容節點時,數據恢複重建算法保證了重建後(hòu)系統中各節點負載的均衡性。

1.開(kāi)放兼容遵循軟硬件解耦的基本原則,服務器可以采用任意品牌,兼容各種(zhǒng)服務器品牌,采用硬件無關設計,對(duì)SSD、NVMe等硬盤全兼容,兼容主流RAID、HBA卡。底層支持主流Linux系統,RHEL、Cent0s、中标麒麟等。支持VMware、Xen和Hyper等主流虛拟化技術,并支持OpenStack、 CloudStack等雲平台技術。

2.多應用接口

漢榮分布式存儲可提供統一存儲架構,在一套存儲系統中實現按需提供塊、文件和對(duì)象融合存儲服務能(néng)力。塊存儲:提供RBD、SCSI、iSCSI以及FC标準接口,支持廣泛的虛拟化平台和數據庫應用,提供高性能(néng)、高擴展能(néng)力,滿足基礎設施、數據庫以及開(kāi)發(fā)測試等場景對(duì)SAN的需求;非結構化存儲:提供CIFS、NFS、FTP、S3标準接口,以高性能(néng)、大規模橫向(xiàng)擴展能(néng)爲用戶提供非結構化數據共享存儲資源,應用于海量視頻存儲、備份歸檔等場景。

3.存儲系統标準化

随着分布式存儲的發(fā)展,存儲行業的标準化進(jìn)程也不斷推進(jìn),分布式存儲針對(duì)私有雲虛拟化架構可采用行業标準接口(RBD Cinder)進(jìn)行存儲接入。在平台層面(miàn),通過(guò)將(jiāng)異構存儲資源進(jìn)行抽象化,將(jiāng)傳統的存儲設備級的操作封裝成(chéng)面(miàn)向(xiàng)存儲資源的操作,從而簡化是構存儲基礎架構的操作,以實現存儲資源的集中管理,并能(néng)夠自動執行創建、變更、回收等整個存儲生命周期流程。