編者按：數(shù)字經(jīng)濟(jì)時(shí)代，隨著數(shù)據(jù)中心規(guī)模的不斷擴(kuò)大和數(shù)據(jù)量的爆發(fā)式增長(zhǎng)，存儲(chǔ)技術(shù)的重要性日益顯著，?直接關(guān)系到數(shù)據(jù)中心的運(yùn)行性能、效率和安全可靠。?基于平頭哥在存儲(chǔ)主控芯片領(lǐng)域的創(chuàng)新實(shí)踐，策劃推出存儲(chǔ)技術(shù)專欄系列——【存儲(chǔ)技談】，共同探討存儲(chǔ)發(fā)展趨勢(shì)。

在數(shù)字化轉(zhuǎn)型加速的今天，數(shù)據(jù)量呈幾何級(jí)增長(zhǎng)，對(duì)數(shù)據(jù)的處理速度和安全性提出了更高的要求，這使得企業(yè)級(jí)存儲(chǔ)設(shè)備正面臨前所未有的挑戰(zhàn)。從云數(shù)據(jù)中心的多租戶資源隔離，到邊緣計(jì)算場(chǎng)景的實(shí)時(shí)響應(yīng)需求，SSD的QoS（Quality of Service，服務(wù)質(zhì)量）能力已成為決定時(shí)延敏感型業(yè)務(wù)穩(wěn)定性和資源利用率的關(guān)鍵技術(shù)指標(biāo)。

隨著SSD容量提升和全閃存陣列的普及，單一存儲(chǔ)設(shè)備需同時(shí)承載多種業(yè)務(wù)負(fù)載（如數(shù)據(jù)庫、虛擬化、大數(shù)據(jù)分析等），資源競(jìng)爭(zhēng)成為常態(tài)。良好的QoS設(shè)計(jì)，可以通過動(dòng)態(tài)分配帶寬、控制時(shí)延，并進(jìn)行優(yōu)先級(jí)調(diào)度，確保業(yè)務(wù)獲得穩(wěn)定、可預(yù)測(cè)的存儲(chǔ)性能；還可以避免低優(yōu)先級(jí)任務(wù)占用過多資源導(dǎo)致關(guān)鍵業(yè)務(wù)的性能波動(dòng)?。例如，在云服務(wù)場(chǎng)景中，可隔離不同租戶的IO請(qǐng)求，防止“鄰居干擾”問題；在AI訓(xùn)練場(chǎng)景中，突發(fā)IO流量和邊緣計(jì)算的低時(shí)延要求，也需要通過QoS技術(shù)提供動(dòng)態(tài)資源保障?。

值得注意的是，不同場(chǎng)景對(duì)Qos的訴求各具特色。例如，MySQL場(chǎng)景中，IOPS的一致性很敏感；視頻類的流媒體中，對(duì)讀寫帶寬的預(yù)留需求很高；而在高頻實(shí)時(shí)交易中，對(duì)時(shí)延百分位要求很高。

針對(duì)上述需求，平頭哥存儲(chǔ)技術(shù)團(tuán)隊(duì)?wèi){借深度軟硬件協(xié)同設(shè)計(jì)，通過IOPS一致性、帶寬分配、時(shí)延控制三個(gè)核心技術(shù)構(gòu)建了全場(chǎng)景的QoS保障體系，為金融交易、視頻流媒體、AI訓(xùn)練等關(guān)鍵業(yè)務(wù)提供"性能零波動(dòng)"的存儲(chǔ)體驗(yàn)。

IOPS一致性：為波動(dòng)流量裝上平滑濾波器

在數(shù)據(jù)庫事務(wù)處理、實(shí)時(shí)數(shù)據(jù)分析等場(chǎng)景中，業(yè)務(wù)流量的瞬時(shí)波動(dòng)可能導(dǎo)致IOPS劇烈震蕩。當(dāng)業(yè)務(wù)本身下發(fā)的流量存在波動(dòng)時(shí)，如果SSD一味的及時(shí)響應(yīng)就會(huì)導(dǎo)致業(yè)務(wù)感知到IOPS的波動(dòng)，因此我們需要對(duì)業(yè)務(wù)發(fā)出的IOPS請(qǐng)求進(jìn)行濾波處理，可以使I/O操作按照規(guī)定頻率執(zhí)行，再反饋給業(yè)務(wù)層，從而減少業(yè)務(wù)對(duì)IOPS波動(dòng)的感知。

鎮(zhèn)岳510創(chuàng)新性地采用基于命令粒度的IOPS流控。所謂“基于命令粒度”，指的是根據(jù)每個(gè)單獨(dú)I/O命令的特點(diǎn)—包括其類型（如讀、寫）、優(yōu)先級(jí)及實(shí)時(shí)性要求—來進(jìn)行IOPS的調(diào)控。通過精確地控制前端IO下發(fā)的間隔，讓每個(gè)IO平滑地下發(fā)給固件處理，再返回給業(yè)務(wù)，硬件控制的優(yōu)勢(shì)是可以將精度控制在1%以內(nèi)。這項(xiàng)技術(shù)如同為SSD裝上了智能節(jié)拍器，讓IO請(qǐng)求以恒定頻率流轉(zhuǎn)，即使面對(duì)突發(fā)流量沖擊，業(yè)務(wù)端也能感知到平滑穩(wěn)定的I/O響應(yīng)。

在虛擬化環(huán)境中，鎮(zhèn)岳510還實(shí)現(xiàn)了多虛擬設(shè)備獨(dú)立IOPS流控的支持，不同租戶的虛擬機(jī)可配置差異化IOPS上限，徹底杜絕"鄰居干擾"現(xiàn)象，給業(yè)務(wù)帶來穩(wěn)定的IOPS體驗(yàn)。

帶寬彈性分配：讓每比特流量找到最優(yōu)路徑

在視頻類的流媒體的業(yè)務(wù)中，業(yè)務(wù)需要大量穩(wěn)定的讀帶寬以及小部分穩(wěn)定的寫帶寬。但在日志備份的業(yè)務(wù)中則正好相反，需要大量穩(wěn)定的寫帶寬以及小部分穩(wěn)定的讀帶寬。如果讀寫帶寬沒有一個(gè)穩(wěn)定的分配機(jī)制，就無法滿足業(yè)務(wù)的需求。

鎮(zhèn)岳510擁有一套靈活的帶寬控制機(jī)制，可以分別獨(dú)立控制讀寫總帶寬、讀帶寬、寫帶寬，實(shí)現(xiàn)讀寫帶寬按需分配互不干擾。

考慮到IO流量可能會(huì)來自不同的業(yè)務(wù)，不同業(yè)務(wù)對(duì)IO流量的訴求是不同的，鎮(zhèn)岳510在讀寫帶寬的控制通路上繼續(xù)細(xì)分了多組不同需求的帶寬控制，便于業(yè)務(wù)的靈活配置。

鎮(zhèn)岳510帶寬分配流程圖

時(shí)延百分位：將微秒級(jí)優(yōu)化做到極致

在高頻交易、云游戲等時(shí)延敏感的業(yè)務(wù)中，細(xì)微的時(shí)延波動(dòng)會(huì)被放大，最終會(huì)體現(xiàn)在交易的遲緩，游戲畫面的卡頓。存儲(chǔ)業(yè)界使用百分位時(shí)延指標(biāo)來衡量一款SSD所提供的存儲(chǔ)服務(wù)的質(zhì)量，也即QoS。

鎮(zhèn)岳510芯片內(nèi)部通過對(duì)命令通路的全鏈路優(yōu)化，構(gòu)建了前端、中端和后端三級(jí)時(shí)延控制體系：

1前端：IO調(diào)度與優(yōu)先級(jí)隔離

增加overlap功能，使讀寫IO可以單獨(dú)處理，避免因LBA地址重疊導(dǎo)致IO隊(duì)列串行排隊(duì)，減少IO等待時(shí)延。與此同時(shí)，鎮(zhèn)岳510芯片還對(duì)IO做了多重優(yōu)先級(jí)的區(qū)分，確保時(shí)延敏感的高優(yōu)先級(jí)IO得到優(yōu)先處理，保證其時(shí)延的穩(wěn)定。為寫IO增加大容量高速緩沖，杜絕IO訪問普通DDR帶來的時(shí)延。

2中端：硬件加速與固件優(yōu)化

增加自研的硬件輔助固件的加速功能，比如讀改表的操作、最優(yōu)讀電壓的選擇等等，這些硬件加速模塊可以將IO命令的處理開銷掩藏在IO傳輸過程中，從而降低固件操作導(dǎo)致的時(shí)延開銷。同時(shí)也允許固件根據(jù)業(yè)務(wù)的特點(diǎn)進(jìn)行靈活的數(shù)據(jù)排布，實(shí)現(xiàn)讀、寫IO的效率優(yōu)化。

3后端：Loop消除與時(shí)延監(jiān)測(cè)

鎮(zhèn)岳510芯片強(qiáng)大的LDPC引擎，通過獨(dú)創(chuàng)的Loop消除技術(shù)，不僅可以將Error Floor降低一個(gè)數(shù)量級(jí)，亦可大幅減少譯碼迭代次數(shù)，最大限度的譯碼一次成功，降低了譯碼時(shí)延。而數(shù)據(jù)通路上的Cut-through快速數(shù)據(jù)通路，可以減少一次數(shù)據(jù)搬移，直接將NAND中的數(shù)據(jù)搬移到主機(jī)內(nèi)存；此外，鎮(zhèn)岳510芯片支持靈活的suspend算法，針對(duì)不同的業(yè)務(wù)模型，配置最優(yōu)的suspend參數(shù)，最大化的降低讀寫擦沖突所引入的IO時(shí)延。

更值得一提的是，鎮(zhèn)岳510技術(shù)團(tuán)隊(duì)自創(chuàng)的HW-Acc Latency Statistics技術(shù)，可實(shí)時(shí)監(jiān)測(cè)每個(gè)IO節(jié)點(diǎn)的時(shí)延分布，且完全不增加運(yùn)行時(shí)開銷。這項(xiàng)技術(shù)如同給SSD安裝了"性能CT機(jī)"，幫助SSD開發(fā)者以及存儲(chǔ)系統(tǒng)的運(yùn)維人員，精準(zhǔn)定位性能、時(shí)延瓶頸所在，優(yōu)化系統(tǒng)及固件，真正做到實(shí)時(shí)問題，實(shí)時(shí)定位。

鎮(zhèn)岳510QoS技術(shù)總圖

從金融核心交易系統(tǒng)的毫秒級(jí)響應(yīng)，到視頻直播平臺(tái)的帶寬動(dòng)態(tài)調(diào)度，再到云原生環(huán)境的多租戶隔離，平頭哥鎮(zhèn)岳510通過QoS技術(shù)矩陣重新定義了企業(yè)級(jí)存儲(chǔ)的價(jià)值標(biāo)準(zhǔn)。通過可配置的QoS策略模板，讓SSD開發(fā)者能夠像調(diào)節(jié)水龍頭一樣靈活控制存儲(chǔ)資源，真正做到了對(duì)業(yè)務(wù)場(chǎng)景的完美適配。