操作系統(tǒng)是計算機系統(tǒng)中的核心組成部分，也是架設(shè)在計算機硬件和軟件之間的橋梁，它對計算機系統(tǒng)的性能和穩(wěn)定性產(chǎn)生直接影響，是開發(fā)者和企業(yè)關(guān)注的關(guān)鍵根技術(shù)之一。在ChatGPT浪潮下，促進(jìn)了各項技術(shù)創(chuàng)新發(fā)展，操作系統(tǒng)也不例外，那么在智能化時代，操作系統(tǒng)將迎來哪些挑戰(zhàn)和機遇？

openEuler社區(qū)TC委員熊偉在“長沙·中國 1024 程序員節(jié)的“2023 技術(shù)英雄會”上帶來《智能化操作系統(tǒng)的機遇和挑戰(zhàn)》的主題演講，帶來了他對智能化操作系統(tǒng)的前沿思考與探索實踐。

1024大模型與OS協(xié)同優(yōu)化已成趨勢

操作系統(tǒng)將現(xiàn)大變局

據(jù)埃森哲在《技術(shù)展望2023》中顯示，技術(shù)正朝著通用智能、數(shù)字身份、數(shù)據(jù)透明和前沿探索方向演進(jìn)。其中特別指出：基礎(chǔ)模型的問世，堪稱人工智能歷史上的最大變革之一。熊偉表示，大模型擴展了智能邊界，而且智能邊界將持續(xù)拓展，因此數(shù)據(jù)共享和數(shù)據(jù)安全將越來越重要。

面向大規(guī)模復(fù)雜系統(tǒng)的調(diào)優(yōu)和運維等，傳統(tǒng)的人工手段已難以為繼，大模型與操作系統(tǒng)協(xié)同優(yōu)化已成必然趨勢。熊偉具體從以下兩方面闡述，一是在運維上，由于數(shù)據(jù)中心和云的復(fù)雜性，造成定位效率低，修復(fù)時間長。例如大規(guī)模集群系統(tǒng)涉及器件的數(shù)量達(dá)百萬甚至千萬級，而平均穩(wěn)定運行時間僅為天級。而且跨越故障的流程長，單器件故障，業(yè)界的處理時間為1-30天，這將嚴(yán)重影響系統(tǒng)的效率。針對此問題，微軟嘗試用大模型對40000個生產(chǎn)事故做微調(diào)，據(jù)數(shù)據(jù)顯示，處理故障大約得到了70%的改善。此外，在社區(qū)和開源領(lǐng)域，K8sGPT通過將SRE經(jīng)驗編入大模型來診斷和分類集群問題。

其次是在調(diào)優(yōu)上，由于應(yīng)用負(fù)載膨脹，軟件棧厚重，參數(shù)眾多且關(guān)聯(lián)，人工調(diào)優(yōu)已很難獲得最佳性能。另外在硬件上，芯片工藝持續(xù)落后，負(fù)載協(xié)同復(fù)雜，硬芯微架構(gòu)優(yōu)化難，也造成硬件系統(tǒng)性能無法得到最佳釋放。針對這個問題，在業(yè)界，Granulate通過AI對負(fù)載或者0代碼修改獲得5倍性能提升，降低了45%的成本；在學(xué)術(shù)界，紐約州立大學(xué)使用大模型應(yīng)用參數(shù)自動調(diào)優(yōu)，Google使用可學(xué)習(xí)AI數(shù)據(jù)結(jié)構(gòu)代替hash算法。

因此熊偉表示，大模型在運維等領(lǐng)域的加速應(yīng)用，AI協(xié)同復(fù)雜、多場景的覆蓋，打造操作系統(tǒng)智能化平臺，實現(xiàn)大模型與操作系統(tǒng)的協(xié)同優(yōu)化已成為必然趨勢。

譬如前不久，微軟宣布將GPT-4大模型嵌入到操作系統(tǒng)里，利用GPT知識構(gòu)建自主AI能力，改變了傳統(tǒng)三十年的交互方式，實現(xiàn)了機器人流程自動化。

1024算力效率與泛在智能應(yīng)用

OS走向異構(gòu)融合

在人工智能迅速發(fā)展下，未來人類向智能社會過渡。在這種大趨勢下，人工智能的變化對操作系統(tǒng)造成的影響將主要體現(xiàn)在兩個方面。一個是日愈復(fù)雜的算力系統(tǒng)，一個是泛在智能應(yīng)用。

智能應(yīng)用對操作系統(tǒng)的訴求是人機實時智能交互，性能和資源利用與服務(wù)質(zhì)量同等重要，也就是“魚和熊掌兼得”。熊偉表示，
AI應(yīng)用服務(wù)對系統(tǒng)低時延、高性能、高可用的綜合訴求高，因此需構(gòu)建低熵高效的操作系統(tǒng)。

因為在傳統(tǒng)的計算機體系中，如果吞吐量上升，其可靠性就會稍微下降一些，時延也會增加。但是AI時代以來，既要吞吐量更高，同時要求時延小，可靠性要求也高。所以可想而知，其難度有多大。

此外，數(shù)據(jù)模型集增長迅速，但是開發(fā)效率低下。HuggingFace每天新增1000多個模型、300多個數(shù)據(jù)集，且仍在加速增長。但是在真正訓(xùn)練過程中，超80%的開發(fā)周期都在8天以上，模型開發(fā)的等待時間超60%，無效算力非常多。因此，AI工程化訴求強烈。AI技術(shù)發(fā)展?fàn)恳浖こ逃蓚鹘y(tǒng)敏捷開發(fā)工具鏈DevOps，向人工智能開發(fā)工具鏈DataOps、AIOps、DevOps演進(jìn)。

對于硬件來講，傳統(tǒng)處理器越來越多，如何調(diào)度？多樣性計算時代，軟硬件的發(fā)展給了操作系統(tǒng)調(diào)度重新設(shè)計的空間。但隨著高速緩存造成的影響更適合硬件任務(wù)切換，任務(wù)的切換隨著SMT/warp的增加會日漸復(fù)雜，硬件的調(diào)度和OS會形成互補。計算理論表明，計算模式最終趨向收斂，多種計算模式融合是應(yīng)用發(fā)展的必然結(jié)果，系統(tǒng)層異構(gòu)融合是趨勢。

異構(gòu)融合的趨勢下，多樣性算力產(chǎn)品與生態(tài)不再孤立，正如NVIDIA DGX往全棧協(xié)同與融合方向發(fā)展，芯片硬件也會發(fā)生非常劇烈的變革，從單芯片發(fā)展為超級芯片，軟件棧也會從傳統(tǒng)的CUDA生態(tài)演進(jìn)到集群融合完整棧。

1024openEuler的未來：

打造AI原生的異構(gòu)融合OS

面向未來多樣性計算的智能時代，openEuler秉持“以AI賦能openEuler更智能，以openEuler使能AI更高效”的理念，嘗試通過自然語言和操作系統(tǒng)進(jìn)行交互溝通，打通領(lǐng)域知識，不僅支持GLM、LlaMA、Baichuan等大模型，還支持輔助運維、輔助編程等，通過AI賦能開發(fā)者，即“AI for openEuler”。下一步openEuler的設(shè)想是實現(xiàn)“openEuler for AI”，即通過異構(gòu)算力協(xié)同，實現(xiàn)超大容量和高效算力。通過PB級異構(gòu)內(nèi)存管理，使訓(xùn)練效率提升20%以上，通過異構(gòu)算力多維調(diào)度，使推理并發(fā)提升50%以上。

展望openEuler的未來，其定位為 “面向未來多樣性計算的智能時代，打造AI原生的異構(gòu)融合OS”。熊偉表示，大模型和AI時代來臨后，基礎(chǔ)設(shè)施還將產(chǎn)生哪些變化，華為與各界仍在不斷探索中，而華為將持續(xù)提供優(yōu)質(zhì)服務(wù)，為開發(fā)者和企業(yè)提供堅實 “裝備”。

編輯：黃飛