為一項(xiàng)已被廣泛使用的技術(shù),集群可提供按比例增加的服務(wù)器或存儲(chǔ)資源的性能、容量、可靠性及可用性,突破了單機(jī)設(shè)備的種種限制。傳統(tǒng)的存儲(chǔ)系統(tǒng)由于受到其物理組成(如:磁盤(pán)驅(qū)動(dòng)器的數(shù)量,所連接服務(wù)器的數(shù)量,內(nèi)存大小和控制器性能)的限制,會(huì)造成很多功能上的局限(如:支持文件系統(tǒng)的數(shù)量,快照或復(fù)制的數(shù)量等)。一旦遇到存儲(chǔ)系統(tǒng)的瓶頸,就會(huì)不斷地促使用戶(hù)升級(jí)到更大的存儲(chǔ)系統(tǒng)和添加更多的管理工具。
普通集群中可調(diào)整的特性包括:
● 性能(帶寬、IOPS——每秒輸入輸出次數(shù)——等)可提高到滿(mǎn)足大型順序讀或?qū)懖僮鳎蛘呤菍?duì)時(shí)間敏感(Time-sensitive)的隨機(jī)讀寫(xiě)面向事務(wù)型(transaction-oriented)處理。
● 可用性——消除單點(diǎn)故障,透明的故障轉(zhuǎn)移(Failover)或自我修復(fù)(Self-healing)能力。
● 存儲(chǔ)容量和服務(wù)的連接訪問(wèn)(FC、以太網(wǎng)和InfiniBand接口)。
● 可訪問(wèn)性(Accessibility)——包含塊級(jí)(iSCSI、FC和InfiniBand)或NAS(NFS、CIFS或其它私有文件系統(tǒng))和數(shù)據(jù)共享。
● 基于開(kāi)放或私有的硬件和軟件,使用緊密或松散的互聯(lián)技術(shù)來(lái)實(shí)現(xiàn)完全不共享、部分共享或完全共享架構(gòu)(Shared nothing, shared something or shared everything architectures)。
通過(guò)下表,我們看到了很多不同類(lèi)型的集群存儲(chǔ)方案,其中包括集群和并行文件系統(tǒng)、集群文件服務(wù)器、集群NAS、集群iSCSI和FC存儲(chǔ)等。大多數(shù)的集群實(shí)現(xiàn)方式都滿(mǎn)足了容量和可用性的需求。一些集群存儲(chǔ)方案也支持通過(guò)控制吞吐量和I/O操作的方式來(lái)對(duì)性能進(jìn)行調(diào)整,以達(dá)到簡(jiǎn)化使用和管理的目的。
集群存儲(chǔ)的眾多特征和例子
存儲(chǔ) 塊級(jí)集群(SAN FC/iSCSI) 文件級(jí)集群(NAS) 集群和并行文件系統(tǒng)
訪問(wèn) iSCSI或FCP NFS,CIFS NFS,CIFS,HTTP或其他
特征 性能、容量或可用性可以升級(jí) 虛擬NAS服務(wù)器,性能可升級(jí) 基于主機(jī)軟件或應(yīng)用
適用環(huán)境 微軟Exchange、SQL和其它基于敏感塊的應(yīng)用 普通的文件共享和相關(guān)的應(yīng)用需求 可能需要專(zhuān)門(mén)的軟件或合適的硬件,適用于對(duì)帶寬需求大的應(yīng)用
代表廠商 EqualLogic、LeftHand Networks、3PAR NetApp、ONStor、BlueArc Ibrix、PolyServe、Isilon、Verari、Panasas、Lustre、SGI、Crosswalk
對(duì)于集群存儲(chǔ)產(chǎn)品的實(shí)際能力的評(píng)估,主要通過(guò)其容量及性能伸縮的能力,可訪問(wèn)性(Accessibility,塊或文件級(jí))、可用性和使用的難易程度的幾方面來(lái)考核。集群存儲(chǔ)并非就是那些高不可攀的、聯(lián)合HPC(High performance computing,高性能計(jì)算)環(huán)境一起使用的大型順序帶寬(Sequential bandwidth)或并行文件系統(tǒng)的代名詞。多用途的集群存儲(chǔ)支持傳統(tǒng)的商業(yè)應(yīng)用,如電子郵件、數(shù)據(jù)庫(kù)和在線事務(wù)處理(OLTP)等。
任何等級(jí)的不同應(yīng)用和環(huán)境都能從靈活的集群存儲(chǔ)系統(tǒng)所提供的可伸縮性(包括性能、容量、可用性和模塊性)和虛擬化特性中受益。例如,中小企業(yè)環(huán)境最初可以部署一個(gè)小型的多節(jié)點(diǎn)存儲(chǔ)系統(tǒng)來(lái)滿(mǎn)足專(zhuān)門(mén)的應(yīng)用需求,而后隨著企業(yè)的成長(zhǎng)而不斷增加系統(tǒng)的性能、容量和功能?! M(mǎn)足不同應(yīng)用性能和服務(wù)的需求
消除單點(diǎn)故障對(duì)于增強(qiáng)數(shù)據(jù)可用性、可達(dá)性和可靠性是非常重要的。集群方案可以有效防止單點(diǎn)故障的發(fā)生,其N(xiāo)+1冗余特性,以及部件的熱插拔特性和自我診斷能力可保證在錯(cuò)誤造成麻煩前就將其發(fā)現(xiàn)、隔離并排除。
還有一種具有N+1冗余架構(gòu)的存儲(chǔ)系統(tǒng)一直處于灰色地帶,人們對(duì)其是否屬于集群還存在爭(zhēng)議。在N+1冗余架構(gòu)模式中,存在兩個(gè)或更多個(gè)(N個(gè))主要I/O節(jié)點(diǎn)或控制器,也就是所謂的NAS頭,和備用或故障轉(zhuǎn)移節(jié)點(diǎn)。例如EMC的Celerra NSX和Pillar Axiom。是廠商的命名體系才使得這種N+1模式顯得十分混亂,如將包含有雙控制器的RAID陣列或雙NAS頭的方案稱(chēng)作提高可用性的集群。
一個(gè)集群就是一個(gè)Grid(網(wǎng)格)嗎?這取決于你對(duì)Grid的定義。你把Grid看作是一項(xiàng)服務(wù)、架構(gòu)還是基于硬件或軟件的,跨越距離的其它能力呢。因此,對(duì)于怎樣才算服務(wù)器和存儲(chǔ)環(huán)境組成了一個(gè)Grid或集群這件事,存在著很多不同的廠商和行業(yè)定義和意見(jiàn)。雖然我已經(jīng)在這個(gè)領(lǐng)域內(nèi)工作了很多年,我發(fā)現(xiàn)我還經(jīng)常在關(guān)于Grid的基本成分,數(shù)據(jù)采集與監(jiān)控系統(tǒng)(Supervisory control and data acquisition ,SCADA)的討論中迷失。因此對(duì)于Grid-cluster的討論中就充滿(mǎn)了變數(shù)。
各種集群存儲(chǔ)方案中的不同之處包括:
● 節(jié)點(diǎn)彼此之間如何連接(松散地或緊密地連接,開(kāi)放或私有);
● 節(jié)點(diǎn)間的I/O性能和負(fù)載平衡;
● 適當(dāng)?shù)挠布?,開(kāi)放,現(xiàn)有產(chǎn)品(off-the-shelf),或支持第三方服務(wù)器或存儲(chǔ);
● 文件共享,包含集群文件系統(tǒng)軟件,基于主機(jī)的代理或驅(qū)動(dòng);
● 本地或遠(yuǎn)程的鏡像或復(fù)制,及時(shí)點(diǎn)(Point-in-time)拷貝或快照;
● 具備虛擬化的存儲(chǔ)模塊增長(zhǎng),實(shí)現(xiàn)自動(dòng)負(fù)載均衡;
● 性能自適應(yīng)順序讀寫(xiě)或隨機(jī)訪問(wèn);
● 分布式鎖管理(Distributed lock management)和集群特性一致
理解集群存儲(chǔ)間不同的含義、類(lèi)型和實(shí)現(xiàn)方式,將幫助你挑選最適合的方案。集群存儲(chǔ)非常適合那些持續(xù)增長(zhǎng)的所有規(guī)模的不同環(huán)境,實(shí)現(xiàn)即時(shí)供應(yīng)(Just-in-time)存儲(chǔ),避免破壞性升級(jí)和增加管理的復(fù)雜性。
普通集群中可調(diào)整的特性包括:
● 性能(帶寬、IOPS——每秒輸入輸出次數(shù)——等)可提高到滿(mǎn)足大型順序讀或?qū)懖僮鳎蛘呤菍?duì)時(shí)間敏感(Time-sensitive)的隨機(jī)讀寫(xiě)面向事務(wù)型(transaction-oriented)處理。
● 可用性——消除單點(diǎn)故障,透明的故障轉(zhuǎn)移(Failover)或自我修復(fù)(Self-healing)能力。
● 存儲(chǔ)容量和服務(wù)的連接訪問(wèn)(FC、以太網(wǎng)和InfiniBand接口)。
● 可訪問(wèn)性(Accessibility)——包含塊級(jí)(iSCSI、FC和InfiniBand)或NAS(NFS、CIFS或其它私有文件系統(tǒng))和數(shù)據(jù)共享。
● 基于開(kāi)放或私有的硬件和軟件,使用緊密或松散的互聯(lián)技術(shù)來(lái)實(shí)現(xiàn)完全不共享、部分共享或完全共享架構(gòu)(Shared nothing, shared something or shared everything architectures)。
通過(guò)下表,我們看到了很多不同類(lèi)型的集群存儲(chǔ)方案,其中包括集群和并行文件系統(tǒng)、集群文件服務(wù)器、集群NAS、集群iSCSI和FC存儲(chǔ)等。大多數(shù)的集群實(shí)現(xiàn)方式都滿(mǎn)足了容量和可用性的需求。一些集群存儲(chǔ)方案也支持通過(guò)控制吞吐量和I/O操作的方式來(lái)對(duì)性能進(jìn)行調(diào)整,以達(dá)到簡(jiǎn)化使用和管理的目的。
集群存儲(chǔ)的眾多特征和例子
存儲(chǔ) 塊級(jí)集群(SAN FC/iSCSI) 文件級(jí)集群(NAS) 集群和并行文件系統(tǒng)
訪問(wèn) iSCSI或FCP NFS,CIFS NFS,CIFS,HTTP或其他
特征 性能、容量或可用性可以升級(jí) 虛擬NAS服務(wù)器,性能可升級(jí) 基于主機(jī)軟件或應(yīng)用
適用環(huán)境 微軟Exchange、SQL和其它基于敏感塊的應(yīng)用 普通的文件共享和相關(guān)的應(yīng)用需求 可能需要專(zhuān)門(mén)的軟件或合適的硬件,適用于對(duì)帶寬需求大的應(yīng)用
代表廠商 EqualLogic、LeftHand Networks、3PAR NetApp、ONStor、BlueArc Ibrix、PolyServe、Isilon、Verari、Panasas、Lustre、SGI、Crosswalk
對(duì)于集群存儲(chǔ)產(chǎn)品的實(shí)際能力的評(píng)估,主要通過(guò)其容量及性能伸縮的能力,可訪問(wèn)性(Accessibility,塊或文件級(jí))、可用性和使用的難易程度的幾方面來(lái)考核。集群存儲(chǔ)并非就是那些高不可攀的、聯(lián)合HPC(High performance computing,高性能計(jì)算)環(huán)境一起使用的大型順序帶寬(Sequential bandwidth)或并行文件系統(tǒng)的代名詞。多用途的集群存儲(chǔ)支持傳統(tǒng)的商業(yè)應(yīng)用,如電子郵件、數(shù)據(jù)庫(kù)和在線事務(wù)處理(OLTP)等。
任何等級(jí)的不同應(yīng)用和環(huán)境都能從靈活的集群存儲(chǔ)系統(tǒng)所提供的可伸縮性(包括性能、容量、可用性和模塊性)和虛擬化特性中受益。例如,中小企業(yè)環(huán)境最初可以部署一個(gè)小型的多節(jié)點(diǎn)存儲(chǔ)系統(tǒng)來(lái)滿(mǎn)足專(zhuān)門(mén)的應(yīng)用需求,而后隨著企業(yè)的成長(zhǎng)而不斷增加系統(tǒng)的性能、容量和功能?! M(mǎn)足不同應(yīng)用性能和服務(wù)的需求
消除單點(diǎn)故障對(duì)于增強(qiáng)數(shù)據(jù)可用性、可達(dá)性和可靠性是非常重要的。集群方案可以有效防止單點(diǎn)故障的發(fā)生,其N(xiāo)+1冗余特性,以及部件的熱插拔特性和自我診斷能力可保證在錯(cuò)誤造成麻煩前就將其發(fā)現(xiàn)、隔離并排除。
還有一種具有N+1冗余架構(gòu)的存儲(chǔ)系統(tǒng)一直處于灰色地帶,人們對(duì)其是否屬于集群還存在爭(zhēng)議。在N+1冗余架構(gòu)模式中,存在兩個(gè)或更多個(gè)(N個(gè))主要I/O節(jié)點(diǎn)或控制器,也就是所謂的NAS頭,和備用或故障轉(zhuǎn)移節(jié)點(diǎn)。例如EMC的Celerra NSX和Pillar Axiom。是廠商的命名體系才使得這種N+1模式顯得十分混亂,如將包含有雙控制器的RAID陣列或雙NAS頭的方案稱(chēng)作提高可用性的集群。
一個(gè)集群就是一個(gè)Grid(網(wǎng)格)嗎?這取決于你對(duì)Grid的定義。你把Grid看作是一項(xiàng)服務(wù)、架構(gòu)還是基于硬件或軟件的,跨越距離的其它能力呢。因此,對(duì)于怎樣才算服務(wù)器和存儲(chǔ)環(huán)境組成了一個(gè)Grid或集群這件事,存在著很多不同的廠商和行業(yè)定義和意見(jiàn)。雖然我已經(jīng)在這個(gè)領(lǐng)域內(nèi)工作了很多年,我發(fā)現(xiàn)我還經(jīng)常在關(guān)于Grid的基本成分,數(shù)據(jù)采集與監(jiān)控系統(tǒng)(Supervisory control and data acquisition ,SCADA)的討論中迷失。因此對(duì)于Grid-cluster的討論中就充滿(mǎn)了變數(shù)。
各種集群存儲(chǔ)方案中的不同之處包括:
● 節(jié)點(diǎn)彼此之間如何連接(松散地或緊密地連接,開(kāi)放或私有);
● 節(jié)點(diǎn)間的I/O性能和負(fù)載平衡;
● 適當(dāng)?shù)挠布?,開(kāi)放,現(xiàn)有產(chǎn)品(off-the-shelf),或支持第三方服務(wù)器或存儲(chǔ);
● 文件共享,包含集群文件系統(tǒng)軟件,基于主機(jī)的代理或驅(qū)動(dòng);
● 本地或遠(yuǎn)程的鏡像或復(fù)制,及時(shí)點(diǎn)(Point-in-time)拷貝或快照;
● 具備虛擬化的存儲(chǔ)模塊增長(zhǎng),實(shí)現(xiàn)自動(dòng)負(fù)載均衡;
● 性能自適應(yīng)順序讀寫(xiě)或隨機(jī)訪問(wèn);
● 分布式鎖管理(Distributed lock management)和集群特性一致
理解集群存儲(chǔ)間不同的含義、類(lèi)型和實(shí)現(xiàn)方式,將幫助你挑選最適合的方案。集群存儲(chǔ)非常適合那些持續(xù)增長(zhǎng)的所有規(guī)模的不同環(huán)境,實(shí)現(xiàn)即時(shí)供應(yīng)(Just-in-time)存儲(chǔ),避免破壞性升級(jí)和增加管理的復(fù)雜性。