性能一直是存儲的核心話題，如果說可靠性是業(yè)務數(shù)據(jù)的生命線，那么性能就是業(yè)務加速發(fā)展的推進器。

存儲系統(tǒng)的性能來自于軟件和硬件的配合，硬件體系包括CPU、內(nèi)存、網(wǎng)絡、硬盤，組網(wǎng)方式，軟件架構(gòu)等等，所有這些軟硬件協(xié)同作用的合力就表現(xiàn)為存儲系統(tǒng)對外提供的性能吞吐能力。

相比于傳統(tǒng)存儲，分布式存儲的性能問題尤為棘手，涉及到多個節(jié)點之間的數(shù)據(jù)轉(zhuǎn)發(fā)，IO路徑更長，因此對性能的影響點更多，更復雜。純軟件由于其硬件的多樣性，往往出現(xiàn)性能體驗的波動和不穩(wěn)定，在某些配置上得到的性能數(shù)據(jù)，在最終用戶得到的硬件配置上卻不一定能達到。

面向場景 補齊影響性能的每塊短板

新華三集團存儲產(chǎn)品線X10000產(chǎn)品首席架構(gòu)師陳釗介紹：“存儲系統(tǒng)的性能問題是個典型的木桶效應，再解決當前短板之前，很難準確預知下一個短板；或者是否存在比當前發(fā)現(xiàn)的短板更短的短板。存儲性能優(yōu)化團隊通過在整個存儲IO路徑協(xié)議棧上進行細致的打點分析，逐個排查性能瓶頸點，不斷突破性能極限。”

“同時，我們深耕業(yè)務場景，比如廣電、運營商、HPC等，專項進行性能優(yōu)化，從硬件驅(qū)動到協(xié)議棧，一層一層分析系統(tǒng)瓶頸，逐項優(yōu)化。H3C UniStor X10000存儲一體機從用戶場景出發(fā)，通過軟硬件的聯(lián)合調(diào)優(yōu)，基于業(yè)務場景給出最佳的硬件典配，交付用戶有保障的存儲性能。”

除了針對各項場景應用進行定向優(yōu)化精細開發(fā)，研發(fā)團隊還介紹了X10000性能優(yōu)化過程中的一個小小的難點……

不走回頭路 用聰明的方法解決問題

原來，隨著新的特性功能不斷開發(fā)，加載了新功能后的產(chǎn)品，很有可能出現(xiàn)性能的倒退。那么，要怎樣解決和避免這樣的問題呢？

負責自動化性能看護系統(tǒng)的研發(fā)人員馮翔宇介紹，中央電視臺和中科大洋聯(lián)合poc測試是一次難忘的經(jīng)歷，當時，X10000存儲系統(tǒng)在用戶的測試環(huán)境中出現(xiàn)了性能回退。為了排查確切的引入問題源，測試團隊重新對每一個列入問題單的性能影響因素進行了測試評估，整個周期持續(xù)了一月有余。

同時，針對新版本性能回退的主要矛盾，測試團隊決定建立一套自動化性能系統(tǒng)。通過自動化CI集成，在性能倒退的最初就能識別并解決；當性能優(yōu)化成果合入版本后，又刷新性能基線。從而使存儲產(chǎn)品的性能能夠不斷提升。

馮翔宇介紹，性能自動化系統(tǒng)建立初期，測試團隊查找和嘗試了大量的開源工具和資料，決定了基于一個開源的基礎框架。真正開展后卻發(fā)現(xiàn)，框架雖然體系清晰，但是原生系統(tǒng)卻是基于塊業(yè)務實現(xiàn)的，且該系統(tǒng)實際上僅僅是一個預研階段的產(chǎn)物，實際操作的資料基本沒有。在初次部署時，便有層層報錯。

測試團隊花費了大量的時間梳理系統(tǒng)框架、終于建立了文件系統(tǒng)測試系統(tǒng)框架。然而，進行初步測試的過程中，卻發(fā)現(xiàn)存儲關(guān)注的性能數(shù)據(jù)分析和統(tǒng)計功能并不適配。

眾所周知，存儲產(chǎn)品的性能測試與硬件環(huán)境強相關(guān)，在保證性能測試數(shù)據(jù)能及時、有效提供的同時，還需要保證周邊的測試環(huán)境、可供分析的perf數(shù)據(jù)準確抓取，這對于長期的性能穩(wěn)定性至關(guān)重要。

為此，測試與開發(fā)團隊內(nèi)部專家反復溝通性能perf數(shù)據(jù)的抓取，建立可以反復、長期使用的perf數(shù)據(jù)庫，確定抓取、命名、分類等準則；針對代碼的簡潔準確性、接口可復用繼承性、異常流程處理等，測試人員反復考慮和優(yōu)化已經(jīng)調(diào)試走通的代碼，對加強異常報錯代碼的提示信息也格外注重，快速解決問題。

團隊的努力沒有白費，經(jīng)過反復的測驗和不斷集思廣益優(yōu)化，當前自動化測試系統(tǒng)具備一鍵完成自動安裝、多個測試任務一鍵下發(fā)、性能數(shù)據(jù)準確收集等功能，讓運維人員從性能測試環(huán)境確認、腳本確認、數(shù)據(jù)人力收集等諸多重復操作中解放，節(jié)約一半以上的人力投入，真正實現(xiàn)版本性能看護，為用戶的業(yè)務開展提供最強加速度。

后記：披荊斬棘 初露鋒芒

排查完性能問題之后的X10000存儲系統(tǒng)，到客戶的應用測試環(huán)境中，也表現(xiàn)出了優(yōu)異的性能，為X10000在廣電行業(yè)的破冰與開拓奠定了堅實的基礎。

上文我們記載的是X10000性能研發(fā)過程中的一個小小的插曲，正如前文提到的，存儲系統(tǒng)的性能涉及到無數(shù)的IO環(huán)節(jié)，只有我們掃除了每個IO環(huán)節(jié)上的瓶頸，才能造就存儲系統(tǒng)優(yōu)異穩(wěn)定的性能，在這個不斷排查瓶頸的過程中，研發(fā)中心上演了一幕幕感人的小故事，奠定了X10000存儲系統(tǒng)的性能基礎，鋪就了X10000在多個行業(yè)開疆擴土的發(fā)展前景！
責任編輯:pj