摘 要：采用硬件冗余和軟件容錯(cuò)相結(jié)合、熱備與雙工相結(jié)合的工作方式代替?zhèn)鹘y(tǒng)的容錯(cuò)熱備份方式，提出了一種適于核心路由器主控系統(tǒng)的容錯(cuò)設(shè)計(jì)方案。分析了主控容錯(cuò)系統(tǒng)設(shè)計(jì)中的基本問(wèn)題，并針對(duì)這些問(wèn)題提出了了該容錯(cuò)系統(tǒng)的具體實(shí)現(xiàn)方案。測(cè)試結(jié)果表明，采用了該設(shè)計(jì)方案的主控軟件系統(tǒng)具有很好的容錯(cuò)性能和故障恢復(fù)能力，能夠滿足核心路由器對(duì)主控軟件系統(tǒng)的高可用性要求。 關(guān)鍵詞：主控系統(tǒng);核心路由器;容錯(cuò);熱備份;硬件冗余 [b][align=center]One Kind of Fault-Tolerant Design Proposal Suitable for the Core Router Muster Control System Wang Xin-min[/align][/b] Abstract: With the hardware redundancy and software fault-tolerant unifies, hot backup and the duplex working ways which replaced the traditional the fault-tolerant hot backup ways, proposed one kind of fault-tolerant design proposal suitable for the core router muster control system. Analyzed the basic question of muster control system in the fault-tolerant design, and aimed at these questions to propose this fault-tolerant system concrete realization plan. The test result indicated that, used this design proposal ,the muster control software system has good fault-tolerant performance and the breakdown restores ability, could satisfy the high usability request of the muster control software system in core router. Keyword: muster control ;core router; fault tolerant; hot backup; hardware redundancy 1 前言 　　隨著高速網(wǎng)絡(luò)的迅速發(fā)展以及人們對(duì)網(wǎng)絡(luò)的依賴(lài)性越來(lái)越來(lái)高，主干網(wǎng)絡(luò)的可靠性顯得尤為重要。并且隨著國(guó)家對(duì)網(wǎng)絡(luò)基礎(chǔ)建設(shè)的投入不斷加大力度，以及對(duì)網(wǎng)絡(luò)核心設(shè)備國(guó)產(chǎn)化的堅(jiān)定決心，促使了網(wǎng)絡(luò)核心設(shè)備的研發(fā)在國(guó)內(nèi)獲得了迅速發(fā)展，并取得了一定的研究成果。但與國(guó)外一些知名廠商和研究機(jī)構(gòu)設(shè)計(jì)的設(shè)備還是有一定差距，這種差距不僅僅是在功能上，更多的是體現(xiàn)在諸如可靠性、容錯(cuò)性、擴(kuò)展性等等這些方面，而這些方面恰恰能影響到該設(shè)備所能提供的服務(wù)質(zhì)量。因此本文針對(duì)網(wǎng)絡(luò)核心設(shè)備——核心路由器上主控系統(tǒng)高容錯(cuò)性設(shè)計(jì)做了一定研究與探討，并提出了一種適于核心路由器主控系統(tǒng)的高容錯(cuò)性實(shí)現(xiàn)方案。 2 高可靠性技術(shù) 　　高可靠性是指可持續(xù)的、具有一致性和完整性的數(shù)據(jù)訪問(wèn)。高可用性系統(tǒng)通過(guò)提高服務(wù)器可靠性、磁盤(pán)可靠性、應(yīng)用程序可靠性來(lái)達(dá)到高可用性的要求。具體實(shí)現(xiàn)可以通過(guò)共享磁盤(pán)陣列來(lái)提高磁盤(pán)可靠性，使用冗余網(wǎng)絡(luò)來(lái)提高網(wǎng)絡(luò)可靠性，使用合作的服務(wù)器來(lái)提高服務(wù)器的可靠性，通過(guò)應(yīng)用程序的探測(cè)與有效恢復(fù)來(lái)提高應(yīng)用程序的可靠性。 　　路由器作為計(jì)算機(jī)網(wǎng)絡(luò)的核心設(shè)備，其高可用性至關(guān)重要。對(duì)于路由器來(lái)說(shuō)要實(shí)現(xiàn)高可用性，從硬件來(lái)看，要有一個(gè)很好的體系結(jié)構(gòu)，各種冗余非常完善。關(guān)鍵部件如路由引擎和交換矩陣要有冗余。從軟件來(lái)看，其自身要強(qiáng)壯，另外在遇到更換硬件、系統(tǒng)升級(jí)、增加板卡和改變鏈路等網(wǎng)絡(luò)調(diào)整時(shí)，軟件要有能力保證整個(gè)網(wǎng)絡(luò)業(yè)務(wù)不受局部調(diào)整的影響，讓整個(gè)網(wǎng)絡(luò)體現(xiàn)出非常高的可用性，它要保證路由引擎進(jìn)行不丟包的切換。主引擎發(fā)生故障，切換到副引擎時(shí)不丟包，平滑切換，否則硬件的冗余就沒(méi)有意義，是假冗余。另外還要保證平穩(wěn)重啟。通常當(dāng)路由重啟時(shí)，由此產(chǎn)生的路由重新計(jì)算和網(wǎng)絡(luò)范圍的路由更新會(huì)消耗掉處理資源，并有可能出現(xiàn)黑洞或瞬時(shí)轉(zhuǎn)發(fā)循環(huán)形式的非預(yù)期網(wǎng)絡(luò)行為。而平穩(wěn)重啟會(huì)避免這種情況的發(fā)生。 　　對(duì)于網(wǎng)絡(luò)設(shè)備可用性的研究，目前主要集中在設(shè)備生產(chǎn)廠家進(jìn)行，技術(shù)專(zhuān)用性和保密性強(qiáng)，可參考的設(shè)計(jì)細(xì)節(jié)不多。不過(guò)對(duì)于可維修的系統(tǒng)，衡量其可靠性的指標(biāo)叫做可用度，相應(yīng)的理論又叫做可用性理論。核心路由器就是一個(gè)可維修的系統(tǒng)。根據(jù)系統(tǒng)的可靠度，從高到低可以分為四個(gè)檔次：連續(xù)可用性系統(tǒng)（Continuous Availability System），容錯(cuò)系統(tǒng)（Fault Tolerance Syetem），高可用系統(tǒng)（High Availability System），容災(zāi)系統(tǒng)（Disaster Tolerance System）。前兩種一般用于航天和軍工等領(lǐng)域，對(duì)于核心路由器，要求達(dá)到高可用系統(tǒng)。系統(tǒng)可用性是指在容許的極限故障數(shù)目?jī)?nèi)，系統(tǒng)按規(guī)范成功運(yùn)行的概率。 　　可用性理論的研究主要包括兩個(gè)范疇：提高元部件可靠性達(dá)到系統(tǒng)可靠的避錯(cuò)技術(shù)和使用給定器件構(gòu)成高可靠性系統(tǒng)的容錯(cuò)技術(shù)。目前元部件的可靠性研究已十分成熟，并在工業(yè)中廣泛采用。而且對(duì)于一個(gè)系統(tǒng)，無(wú)論采用多少避錯(cuò)設(shè)計(jì)方法，總不能保證永遠(yuǎn)不出錯(cuò)。所以容錯(cuò)技術(shù)成為了提高系統(tǒng)可用性的研究熱點(diǎn)。目前，核心路由器的可靠性實(shí)現(xiàn)就普遍采用了這種技術(shù)。 3 核心路由器的主控系統(tǒng)容錯(cuò)系統(tǒng)設(shè)計(jì) 　　3.1主控系統(tǒng)容錯(cuò)系統(tǒng)設(shè)計(jì)中的基本問(wèn)題 　　基于容錯(cuò)需求的考慮，當(dāng)主控系統(tǒng)出現(xiàn)軟硬件故障時(shí)路由器仍要正常工作，故硬件配置方面采用1+1冗余設(shè)計(jì)，配備主用（Active）和備用（Standby）兩塊主控板，構(gòu)建雙主控?zé)醾淙蒎e(cuò)系統(tǒng)。當(dāng)主用主控板發(fā)生故障，系統(tǒng)自動(dòng)進(jìn)行主備切換，由備用主控板接替主用板工作，保證業(yè)務(wù)的正常運(yùn)行。當(dāng)主用模塊發(fā)生嚴(yán)重故障或主用復(fù)位時(shí)，將觸發(fā)自動(dòng)倒換方式，及時(shí)倒換到備用板。這種1+1冗余設(shè)計(jì)可擴(kuò)展到N+1冗余設(shè)計(jì)。 　　整個(gè)切換過(guò)程要保證對(duì)用戶是透明的，需要考慮的重點(diǎn)和實(shí)現(xiàn)的難點(diǎn)在于主備系統(tǒng)間數(shù)據(jù)庫(kù)一致性問(wèn)題、平滑切換技術(shù)的實(shí)現(xiàn)和故障監(jiān)測(cè)機(jī)制。 　　l 數(shù)據(jù)庫(kù)一致性問(wèn)題 　　路由器主控板上有系統(tǒng)實(shí)時(shí)運(yùn)行記錄的數(shù)據(jù)，因此正常工作過(guò)程中需要進(jìn)行實(shí)時(shí)的系統(tǒng)數(shù)據(jù)備份，以保證做到主用和備用上的數(shù)據(jù)庫(kù)一致，否則在主備切換時(shí)，備用就不能正常接替主用。針對(duì)該問(wèn)題，在高可用性模塊的設(shè)計(jì)中，采用了一種雙工與熱備相結(jié)合的不完全熱備設(shè)計(jì)，需要備份的數(shù)據(jù)主要是系統(tǒng)數(shù)據(jù)庫(kù)中的路由表項(xiàng)和轉(zhuǎn)發(fā)表表項(xiàng)。 　　所謂雙工與熱備相結(jié)合的不完全設(shè)計(jì)是指，雙主控板上都運(yùn)行心跳探測(cè)程序用于故障探測(cè)，主用主控板上運(yùn)行路由器正常工作所需要的所有應(yīng)用程序，而備用主控板上運(yùn)行部分重要應(yīng)用程序，這些程序正常工作，和主用上的這些程序有相同的輸入數(shù)據(jù)，但處理結(jié)果并不輸出。這樣的設(shè)計(jì)保證了路由器出現(xiàn)故障進(jìn)行切換時(shí)低耗時(shí)，減輕了需要備份的數(shù)據(jù)量，既又不象完全雙工工作方式那樣浪費(fèi)資源，又避免了熱備工作方式的很多不足，性能明顯優(yōu)于純粹的熱備或者雙工方式。 　　數(shù)據(jù)備份有冷備份和熱備份兩種：冷備份是在數(shù)據(jù)庫(kù)已經(jīng)正常關(guān)閉的情況下，進(jìn)行完整數(shù)據(jù)庫(kù)的備份，是最快和最安全的方法，但是冷備份的最大問(wèn)題是必須在數(shù)據(jù)庫(kù)關(guān)閉的情況下進(jìn)行，當(dāng)數(shù)據(jù)庫(kù)處于打開(kāi)狀態(tài)時(shí)，執(zhí)行數(shù)據(jù)庫(kù)文件系統(tǒng)備份是無(wú)效的。 　　熱備份是在數(shù)據(jù)庫(kù)運(yùn)行的情況下，采用archivelog mode方式備份數(shù)據(jù)。有雙機(jī)鏡像和共享磁盤(pán)陣列兩種方案，雙機(jī)鏡像方案可選擇將主數(shù)據(jù)庫(kù)服務(wù)器上的表、文件、數(shù)據(jù)庫(kù)或全部?jī)?nèi)容通過(guò)專(zhuān)用連接通道鏡像到備用服務(wù)器上作，優(yōu)點(diǎn)是簡(jiǎn)單、便宜，缺點(diǎn)是降低系統(tǒng)資源。共享磁盤(pán)陣列方案為兩臺(tái)主機(jī)共用一個(gè)磁盤(pán)陣列，優(yōu)點(diǎn)是不降低系統(tǒng)性能，為目前較為流行的主流技術(shù)，但要求磁盤(pán)陣列具有較高的可靠性。 　　對(duì)于運(yùn)行在骨干網(wǎng)中的路由器，冷備份顯然不適用，因?yàn)槁酚善鬟\(yùn)行過(guò)程中不可能定時(shí)關(guān)閉數(shù)據(jù)庫(kù)來(lái)備份數(shù)據(jù)，更不可能在路由器出現(xiàn)故障時(shí)再備份數(shù)據(jù)，因此采用熱備份。鑒于要備份的數(shù)據(jù)量不大，不必要采取雙機(jī)鏡像和共享磁盤(pán)陣列方式，在本設(shè)計(jì)中采用了一種新型的數(shù)據(jù)熱備份方式：將需要備份的數(shù)據(jù)以日志文件的形式存儲(chǔ)，通過(guò)TCP傳輸?shù)姆椒▽⑽募D(zhuǎn)化為數(shù)據(jù)流由主用備份到備用上，實(shí)現(xiàn)實(shí)時(shí)備份。面向連接的TCP傳輸可靠且速度快，丟失文件的概率極小，故非?？煽俊? 　　l 平滑過(guò)渡――切換延時(shí)問(wèn)題 　　路由器主控系統(tǒng)出現(xiàn)故障時(shí)，要能夠?qū)τ脩敉该鞯剡M(jìn)行主備切換，就要實(shí)現(xiàn)系統(tǒng)間的無(wú)縫切換，減少切換過(guò)程中的時(shí)延并降低數(shù)據(jù)丟失率。無(wú)縫切換是一種完美的切換，包括快速切換和平滑切換兩個(gè)方面?？焖偾袚Q意味著低延遲，平滑切換就是低的數(shù)據(jù)包丟失率，無(wú)縫切換是兩者的結(jié)合，即低延遲和低丟失率。對(duì)于快速切換，要求在單板掉鏈之前完成切換過(guò)程，使備用接替主用的工作，保證路由器中的各個(gè)流程正常不受主控故障的影響，不影響網(wǎng)絡(luò)的正常運(yùn)行;對(duì)于平滑切換，有兩點(diǎn)要求，一是切換時(shí)，主備用主控板上的數(shù)據(jù)庫(kù)是一致的，二是在主備用數(shù)據(jù)庫(kù)一致的基礎(chǔ)上，備用啟用后能在規(guī)定的時(shí)間[4]內(nèi)完成備份數(shù)據(jù)的導(dǎo)入。所謂規(guī)定的時(shí)間，也包括在切換的總時(shí)間內(nèi)，切換時(shí)間[4]=發(fā)現(xiàn)故障的時(shí)間+啟用切換的時(shí)間+故障接管時(shí)間。 　　l 故障監(jiān)測(cè)機(jī)制 　　系統(tǒng)中的兩塊主控板，經(jīng)過(guò)主備協(xié)商后確定主備地位，一塊為Master狀態(tài)，控制整個(gè)系統(tǒng);另一塊為Slave狀態(tài)，處于備份狀態(tài)。兩塊主控板之間通過(guò)UDP傳輸心跳報(bào)文交互自身的狀態(tài)數(shù)據(jù)來(lái)識(shí)別主控的軟/硬件故障。路由器正常運(yùn)行過(guò)程中，主用和備用主控板之間定時(shí)互相發(fā)送keepalive報(bào)文進(jìn)行心跳探測(cè)，報(bào)文內(nèi)容中包含了自身的狀態(tài)信息。備用在定時(shí)器到期前未收到來(lái)自主用的keepalive報(bào)文就認(rèn)為主用失效，進(jìn)入主備切換成為新主用，自動(dòng)接管原主用的服務(wù)程序，繼續(xù)提供服務(wù)。原主用從故障中恢復(fù)或被更換后，會(huì)重新發(fā)送協(xié)商報(bào)文，與新主用取得聯(lián)系，成為新備用，而不必再進(jìn)行一次切換，節(jié)省了系統(tǒng)資源。 　　3.2高可用性模塊的設(shè)計(jì)及實(shí)現(xiàn) 　　在主控軟件容錯(cuò)系統(tǒng)的設(shè)計(jì)方案中，采用了兩塊主控板掛載八塊單板，兩塊主控板之間通過(guò)面向無(wú)連接的UDP通信機(jī)制交互心跳數(shù)據(jù)，通過(guò)面向連接的TCP通信機(jī)制傳輸備份文件數(shù)據(jù)流;主控板與單板之間通過(guò)高速以太網(wǎng)連接。圖1中給出了該系統(tǒng)的總體結(jié)構(gòu)圖。 　　按照功能的不同，在設(shè)計(jì)方案中將高可用性模塊劃分為三個(gè)子模塊：AS通信模塊、AS系統(tǒng)監(jiān)控模塊和AS Keepalive模塊，如圖2所示。 　　AS通信模塊，負(fù)責(zé)主控系統(tǒng)上高可用性模塊與系統(tǒng)數(shù)據(jù)維護(hù)模塊（SYSDATA）和板間通信模塊（BDCOM）間的通信，數(shù)據(jù)備份和TCP傳輸; 　　AS監(jiān)控模塊，負(fù)責(zé)主控軟件各個(gè)系統(tǒng)進(jìn)程的監(jiān)控與維護(hù)、管理等核心功能，當(dāng)某個(gè)軟件占cpu使用百分比過(guò)大時(shí)，認(rèn)為該主控軟件運(yùn)行不正常，根據(jù)該軟件的運(yùn)行規(guī)則和重要性選擇恢復(fù)策略，重啟該進(jìn)程或者進(jìn)入主備切換; 　　AS Keepalive模塊，負(fù)責(zé)兩塊主控板之間的主備協(xié)商，確定主控板的主備地位;在路由器正常運(yùn)行過(guò)程中，定時(shí)向?qū)Ψ街骺匕灏l(fā)送keepalive報(bào)文進(jìn)行心跳探測(cè);針對(duì)網(wǎng)絡(luò)擁塞可能導(dǎo)致的丟包，以及cpu排隊(duì)處理多線程時(shí)可能超時(shí)處理keepalive報(bào)文，造成的主用主控“假死”現(xiàn)象，采用了再協(xié)商（Re-negotiation）技術(shù)，在超時(shí)收不到對(duì)方主控板發(fā)送的keepalive報(bào)文時(shí)不直接認(rèn)為對(duì)方主控板故障，而是進(jìn)行一次退避，與對(duì)方發(fā)送協(xié)商報(bào)文進(jìn)行再協(xié)商，再協(xié)商與初始化過(guò)程中的主備協(xié)商不完全相同。采用Re-negotiation技術(shù)與通常采用的單純固定不變的心跳探測(cè)技術(shù)相比較，可以更好地提高系統(tǒng)心跳環(huán)境適應(yīng)能力和穩(wěn)定性，更好地保證了系統(tǒng)的高可用性。 [align=center] 圖 1 主控軟件容錯(cuò)系統(tǒng)總體結(jié)構(gòu)圖[/align] [align=center] 圖 2 高可用性模塊詳細(xì)設(shè)計(jì)圖[/align] 4 系統(tǒng)容錯(cuò)性的測(cè)試 　　本文利用Adtech AX/4000路由器測(cè)試儀，在不同負(fù)載下，對(duì)HAL的效率及可靠性進(jìn)行了測(cè)試，測(cè)試結(jié)果如圖3所示。測(cè)試時(shí)的發(fā)包速率服從馬爾可夫調(diào)制泊松過(guò)程（MMPP），圖3-1和圖3-2分別給出了隨著不同故障情況下，路由器吞吐率和時(shí)延的測(cè)試結(jié)果。測(cè)試結(jié)果表明該主控系統(tǒng)的容錯(cuò)設(shè)計(jì)可用對(duì)路由器運(yùn)行中出現(xiàn)的各種錯(cuò)誤做出一定的處理，雖然其延時(shí)和吞吐率會(huì)受到一定影響。尤其在10%的故障情況下，系統(tǒng)的延時(shí)并不是特別大，將可能地降低了系統(tǒng)故障對(duì)用戶的影響。當(dāng)然在高故障情況下，系統(tǒng)的吞吐率下降的非常明顯，因此在下一步設(shè)計(jì)中將重點(diǎn)研究產(chǎn)生這一現(xiàn)象的原因，并加以改善。 [align=center] 圖3-1 延時(shí)性測(cè)試 圖3-2 吞吐率測(cè)試[/align] 5 總結(jié) 　　本文研究了T比特核心路由器的主控系統(tǒng)結(jié)構(gòu)，設(shè)計(jì)了高可用性模塊，該模塊采用熱備份模式，通過(guò)對(duì)主控板的硬件冗余設(shè)置，配合軟件實(shí)現(xiàn)上的數(shù)據(jù)熱備份、及心跳探測(cè)等技術(shù)消除T比特路由器中主控單點(diǎn)故障。該模塊應(yīng)用于T比特路由器主控軟件系統(tǒng)中，當(dāng)主用主控板發(fā)生故障時(shí)，可以快速、準(zhǔn)確、平滑地進(jìn)行主備切換，從而提高了系統(tǒng)的穩(wěn)定性和可靠性，最終實(shí)現(xiàn)路由器的高可用性。 參考文獻(xiàn)： 　　1 中華人民共和國(guó)信息產(chǎn)業(yè)部科學(xué)技術(shù)司,YD/T1097-2001《路由器設(shè)備技術(shù)規(guī)范—高端路由器》. 2001. 　　2 Cisco White Paper, The Evolution of High-End Router Architectures, Basic Scalability and Performance Considerations for Evaluating Large-Scale Router Designs 　　3 Vitesse Semiconductor Corporation, Longmont, Colorado, IQ2000 Network Processor Product Brief, 2000. 　　4 James Aweya，On the design of IP routers Part 1：Router architectures， Journal of Systems Architecture 46 （2000） pp:483-511. 　　顏永紅, 張帆. TCAM路由更新的硬件優(yōu)化[J]. 微計(jì)算機(jī)信息 , 2006，12-2：254-256。