存儲操作系統(tǒng)：實(shí)現(xiàn)數(shù)據(jù)“逍遙游”

《逍遙游》是《莊子》一書的第一篇，作者用天馬行空的想象描述了一種理想狀態(tài)：“乘天地之正，馭六氣之變，以游無窮”，即順應(yīng)天地萬物的本性，把握環(huán)境的變化，不受任何束縛，自由自在地活動，實(shí)現(xiàn)“逍遙”的境界?！跺羞b游》很能代表莊子的哲學(xué)思想，因其寓哲理于離奇想象，寫的奇?zhèn)ス妍惗鵀槿朔Q道。

無獨(dú)有偶，云計(jì)算、大數(shù)據(jù)時代，隨著數(shù)據(jù)量、應(yīng)用數(shù)量和使用者數(shù)量的增加，企業(yè)存儲系統(tǒng)面臨著擴(kuò)容不易、效率不高、管理復(fù)雜和可用性差等難題，成為困擾高端存儲發(fā)展的一道道“繩索”。如何突破限制，將存儲操作系統(tǒng)打造為高端存儲的“智慧引擎”，統(tǒng)籌管理整個存儲系統(tǒng)的軟硬件資源，實(shí)現(xiàn)數(shù)據(jù)的“逍遙”流動，發(fā)揮出高端存儲設(shè)備應(yīng)有功能、性能、可靠性，成為存儲廠商技術(shù)實(shí)力的核心展現(xiàn)。

操作系統(tǒng)大家都很熟悉，是一種特殊的系統(tǒng)軟件，它負(fù)責(zé)管理整個計(jì)算機(jī)系統(tǒng)的軟硬件資源，一個良好的操作系統(tǒng)對計(jì)算機(jī)至關(guān)重要。同理，存儲操作系統(tǒng)就是存儲系統(tǒng)中負(fù)責(zé)管理所有存儲資源的系統(tǒng)軟件，它對于存儲設(shè)備的可靠性、功能、性能起決定性作用。

很多存儲廠商都有自己的存儲操作系統(tǒng)，如NetApp的統(tǒng)一存儲操作系統(tǒng)DataONTAP，EMCSymmetrix的存儲操作系統(tǒng)Enginuity，華為的虛擬化存儲操作系統(tǒng)XVE等。而存儲操作系統(tǒng)對存儲系統(tǒng)的市場競爭力有很大影響，比如說DataONTAP在設(shè)計(jì)之初即采用統(tǒng)一存儲的設(shè)計(jì)理念，通過WAFL融合了文件系統(tǒng)和塊設(shè)備層，同時在底層RAID技術(shù)、快照技術(shù)等關(guān)鍵點(diǎn)上具有創(chuàng)新性的設(shè)計(jì)，使DataONTAP成為業(yè)界最優(yōu)秀的存儲操作系統(tǒng)。NetApp憑借這款先進(jìn)的存儲操作系統(tǒng)快速推出產(chǎn)品，成為存儲市場的三強(qiáng)之一。

DCS，打造高端存儲核心競爭力

如今，浪潮自研的DCS（DataControlSystem）存儲操作系統(tǒng)，是浪潮高端存儲的技術(shù)基石，存儲系統(tǒng)的各種高級軟件功能都運(yùn)行在DCS存儲操作系統(tǒng)之上；今后DCS將進(jìn)一步遷移到浪潮全系列的存儲系統(tǒng)上。如下是DCS存儲操作系統(tǒng)的架構(gòu)圖。

DCS存儲操作系統(tǒng)示意圖

在常規(guī)軟件層，DCS存儲操作系統(tǒng)是存儲系統(tǒng)配置管理、遠(yuǎn)程復(fù)制、快照、克隆、服務(wù)質(zhì)量管理、監(jiān)控與告警、存儲虛擬化等軟件子系統(tǒng)的平臺，為高端存儲提供豐富的增值功能。

在DCS操作系統(tǒng)層，DCS具備統(tǒng)一存儲資源管理、多協(xié)議主機(jī)接口、全局高速共享緩存、智能存儲資源池、高速互聯(lián)通信、全局資源調(diào)度等功能。

而在存儲硬件層，DCS可以兼容多種平臺。

整體上DCS實(shí)現(xiàn)了真正的虛擬化設(shè)計(jì)，重點(diǎn)在穩(wěn)定性、實(shí)時性、可靠性、管理部署等方面進(jìn)行了優(yōu)化，打造浪潮高端存儲的四大核心競爭力。

1實(shí)時響應(yīng)，業(yè)務(wù)效率提升

存儲系統(tǒng)的實(shí)時性是關(guān)鍵，計(jì)算服務(wù)器發(fā)送過來的IO數(shù)據(jù)必須及時得到處理，否則將造成IO超時，進(jìn)而影響前端計(jì)算業(yè)務(wù)。因此，對于存儲系統(tǒng)來說，存儲操作系統(tǒng)的實(shí)時性必須得到有效的保障。針對存儲系統(tǒng)的特點(diǎn)，DCS操作系統(tǒng)在線程調(diào)度方面做了特殊的優(yōu)化，保證任務(wù)運(yùn)行的實(shí)時性。

在優(yōu)化線程調(diào)度算法時，DCS存儲操作系統(tǒng)特別針對多處理器進(jìn)行了相關(guān)優(yōu)化。主要考慮到存儲系統(tǒng)性能更多的還是需要硬件的支持，因此2路或者4路控制器上的線程調(diào)度優(yōu)化顯得尤為必要。多處理器實(shí)時任務(wù)調(diào)度研究主要包含三個方面的問題：實(shí)時任務(wù)的分派策略、調(diào)度算法和可調(diào)度性判定邊界。這三個方面都會對系統(tǒng)的實(shí)時性和性能產(chǎn)生明顯的影響，因此DCS存儲操作系統(tǒng)對其分別進(jìn)行了優(yōu)化。

2安如磐石，捍衛(wèi)數(shù)據(jù)資產(chǎn)

可靠性是存儲的基石，只有穩(wěn)定可靠的存儲才能為用戶持續(xù)的提供服務(wù)，保證用戶數(shù)據(jù)的安全。DCS存儲操作系統(tǒng)在可靠性方面做了諸多優(yōu)化和改進(jìn)，具體包括磁盤系統(tǒng)的優(yōu)化、RAID系統(tǒng)的優(yōu)化和緩存系統(tǒng)的優(yōu)化等等。從多個方面保證存儲操作系統(tǒng)本身的可靠性，進(jìn)而為存儲系統(tǒng)提供了可靠的保障。

磁盤子系統(tǒng)方面，DCS采用多個層次增加磁盤子系統(tǒng)的可靠性。首先，針對存儲系統(tǒng)后端鏈路的不可靠性，采用鏈路故障判定算法。該算法可以有效的處理后端鏈路的閃斷問題，保證對后端磁盤陣列訪問的連續(xù)性。其次，針對磁盤壞塊/壞道問題，采用跳躍磁盤掃描和修復(fù)算法。該算法通過對磁盤特定區(qū)域進(jìn)行測試驗(yàn)證，將損壞的磁盤通過校驗(yàn)碼進(jìn)行恢復(fù)，并重映射到磁盤的其它區(qū)域。

同時本算法可以根據(jù)磁盤的負(fù)載情況動態(tài)調(diào)整掃描的頻度。再次，針對磁盤壽命問題，采用磁盤智能替換算法。該算法通過統(tǒng)計(jì)磁盤壞塊數(shù)量和使用時間等參數(shù)決定是否替換磁盤，當(dāng)滿足要求時，該算法將在不影響前端業(yè)務(wù)的情況下將舊磁盤的數(shù)據(jù)遷移到新的磁盤上，實(shí)現(xiàn)磁盤的替換。

3全局加速，數(shù)據(jù)自動遷移

為了提供高性能的存儲系統(tǒng)，DCS存儲操作系統(tǒng)在兩個方面進(jìn)行了高性能相關(guān)設(shè)計(jì)，分別是高性能存儲池和高性能緩存。高性能存儲池可以將數(shù)百塊硬盤整合成為一個容錯的大存儲池，再提供給上層使用。高性能緩存提供大容量的緩存系統(tǒng)，降低訪問后端存儲的概率，從而提高計(jì)算節(jié)點(diǎn)訪問存儲的性能。

存儲池層將磁盤數(shù)據(jù)分塊，按指定單條帶成員盤（塊）數(shù)、負(fù)載均衡、離散分布原則進(jìn)行組織，可靈活更改條帶塊。當(dāng)單個盤失效時，存儲池層可以智能計(jì)算熱備塊在池中的分布，使用多塊成員盤進(jìn)行重構(gòu)，避免傳統(tǒng)單盤寫入性能瓶頸造成RAID重構(gòu)時間過長帶來的數(shù)據(jù)可靠性風(fēng)險。在可靠分布式RAID基礎(chǔ)上，將數(shù)據(jù)進(jìn)一步分塊虛擬化，形成邏輯卷，使用分布式和多副本元數(shù)據(jù)組織。同時，存儲池層還實(shí)現(xiàn)了分級混合存儲，可以構(gòu)建基于SSD和普通機(jī)械硬盤的混合存儲池，通過SSD硬盤實(shí)現(xiàn)更高性能的存儲池。

高性能緩存通過全局共享緩存實(shí)現(xiàn)，采用全局共享緩存的方式可以實(shí)現(xiàn)緩存空間的共享，從而提高緩存命中率，提升計(jì)算節(jié)點(diǎn)訪問存儲的性能。

4智慧管理，釋放存儲潛力

傳統(tǒng)的存儲系統(tǒng)中，當(dāng)計(jì)算節(jié)點(diǎn)需要一部分存儲空間的時候，往往是預(yù)先從后端存儲系統(tǒng)中劃分出一部分足夠大的空間。這個空間往往不是被馬上用掉，而是需要一個月甚至是更長時間才能用到的空間；但由于這部分存儲空間已經(jīng)被預(yù)留了出來，其它計(jì)算節(jié)點(diǎn)將無法利用這些已經(jīng)部署但閑置的存儲容量。這種情況下，尤其是有多個計(jì)算節(jié)點(diǎn)連接統(tǒng)一存儲的情況下，就會預(yù)分配很多空間，進(jìn)而造成存儲空間的極大浪費(fèi)。

在DCS存儲操作系統(tǒng)的存儲池層，采用一種基于自動精簡配置的資源分配算法。在初始階段，計(jì)算系統(tǒng)會感知到一個與傳統(tǒng)存儲相同的存儲空間，但該空間為虛擬空間，并不占用實(shí)際的存儲資源；存儲資源不是即刻被分配給計(jì)算節(jié)點(diǎn)，而是根據(jù)實(shí)際使用量逐步分配，從而實(shí)現(xiàn)空間的高效利用。

不滯于物，以游無窮

一言以蔽之，存儲系統(tǒng)，尤其是高端存儲，往往服務(wù)于大型企業(yè)的核心業(yè)務(wù)系統(tǒng)，如何保證關(guān)鍵數(shù)據(jù)不丟失、全年業(yè)務(wù)不中斷，是高端存儲的終極使命，對企業(yè)生存和發(fā)展至關(guān)重要；DCS可以集數(shù)據(jù)管理功能、可用性和出色效能表現(xiàn)與一體，幫助客戶提高存儲架構(gòu)效率，實(shí)現(xiàn)高效的訪問數(shù)據(jù)和不受限制的發(fā)展業(yè)務(wù)，實(shí)現(xiàn)數(shù)據(jù)“隨需而用、不滯于物”的逍遙境界。

如今，浪潮存儲發(fā)展迅猛，H1市場增長149.3%，DCS已在高端存儲系統(tǒng)上規(guī)?；瘧?yīng)用。在DCS等核心技術(shù)的支持下，如同DataONTAP推動NetApp成為全球領(lǐng)先的存儲廠商那樣，浪潮將在高端存儲市場有所建樹。

更多資訊請關(guān)注DCS頻道