演講嘉賓 | 吳圣垚

回顧整理 | 廖 濤

排版校對(duì) | 宋夕明

嘉賓介紹

研究分論壇

吳圣垚，中國(guó)科學(xué)院軟件研究所技術(shù)專家。

正文內(nèi)容

日志系統(tǒng)記錄了操作系統(tǒng)運(yùn)行時(shí)發(fā)生的各種事件，包括信息變更、錯(cuò)誤和異常等，對(duì)系統(tǒng)的狀態(tài)監(jiān)控、錯(cuò)誤檢測(cè)與診斷、恢復(fù)與備份、性能優(yōu)化以及安全審計(jì)等起著關(guān)鍵性作用。OpenHarmony的Hilog日志系統(tǒng)是如何構(gòu)建的，又有哪些關(guān)鍵的特性和功能？中國(guó)科學(xué)院軟件研究所工程師吳圣垚在第三屆OpenHarmony技術(shù)大會(huì)上進(jìn)行了精彩介紹。

為了解決OpenHarmony開源項(xiàng)目運(yùn)營(yíng)初期尚未構(gòu)建日志系統(tǒng)，且當(dāng)今主流日志系統(tǒng)在技術(shù)架構(gòu)層面難以滿足OpenHarmony發(fā)展需求的痛點(diǎn)，作者本人及其團(tuán)隊(duì)設(shè)計(jì)并實(shí)現(xiàn)了高性能日志系統(tǒng)HiLog。HiLog為OpenHarmony提供了一種可追蹤、可審計(jì)和可操作的方法，以便了解系統(tǒng)的狀態(tài)、故障和性能。適用于OpenHarmony應(yīng)用、硬件開發(fā)及測(cè)試人員，是每個(gè)開發(fā)人員的必備、入門工具。

Hilog在性能原則、資源分配原則、設(shè)備兼容性原則和數(shù)據(jù)安全原則等方面均提出了創(chuàng)新的解決方案，具體為：

一、高性能解決方案：從軟件層面提高日志吞吐量，降低丟包率。首先，針對(duì)讀、寫日志任務(wù)的特征，基于IO復(fù)用、異步Socket等模型，優(yōu)化IPC過程。以此提高日志傳輸效率，降低日志傳輸過程中的損耗。

此外，基于雙向循環(huán)鏈表實(shí)現(xiàn)緩沖區(qū)；并實(shí)現(xiàn)單生產(chǎn)者多消費(fèi)者的緩沖區(qū)管理機(jī)制。以此提高緩沖區(qū)處理能力，降低日志讀寫的損耗。

二、資源分配解決方案：對(duì)操作系統(tǒng)資源和日志系統(tǒng)資源進(jìn)行合理分配，日志系統(tǒng)的運(yùn)轉(zhuǎn)不能占用過多的操作系統(tǒng)資源；每個(gè)寫日志業(yè)務(wù)不能占用過多的日志系統(tǒng)資源。在進(jìn)程流控上，限制每進(jìn)程的日志寫入，降低IPC壓力；在業(yè)務(wù)流控上，進(jìn)一步限制多進(jìn)程業(yè)務(wù)的日志寫入，降低緩沖區(qū)管理壓力。

三、設(shè)備兼容性解決方案：能夠在資源較為豐富的移動(dòng)端設(shè)備上體現(xiàn)高性能特性；能夠在資源受限的小型/輕量級(jí)設(shè)備上運(yùn)行。首先，采用模塊化的體系結(jié)構(gòu)，在移動(dòng)設(shè)備上構(gòu)建hilogd，實(shí)現(xiàn)高性能日志處理。在小型設(shè)備上不構(gòu)建hilogd，降低CPU和內(nèi)存資源消耗。

其次，對(duì)日志流進(jìn)行壓縮。高流量使用場(chǎng)景，將日志流直接輸入壓縮算法，然后持久化。大幅降低存儲(chǔ)資源消耗；此外，采取輪轉(zhuǎn)文件壓縮方案，低流量實(shí)用場(chǎng)景，將日志寫入文件輪盤，壓縮文件，刪除源文件。在避免日志大量丟失的前提下，降低存儲(chǔ)資源消耗。

四、數(shù)據(jù)安全解決方案：保護(hù)流經(jīng)日志系統(tǒng)的關(guān)鍵信息；盡可能減少額外的性能開銷。基于格式化占位符的變量匿名化：在格式化占位符中添加隱私標(biāo)識(shí)。HiLog可以識(shí)別該隱私標(biāo)識(shí)，并基于隱私開關(guān)，對(duì)變量進(jìn)行匿名化或非匿名化處理。以此構(gòu)建輕量級(jí)數(shù)據(jù)安全能力。

目前，Hilog日志系統(tǒng)的相關(guān)工作已經(jīng)發(fā)表在軟件學(xué)報(bào)（文章鏈接：http://www.jos.org.cn/1000-9825/6900.html），且代碼已合入了OpenHarmony主線（項(xiàng)目地址：https://gitee.com/openharmony/hiviewdfx_hilog），在包括HarmonyOS NEXT在內(nèi)的多個(gè)OpenHarmony發(fā)行版上進(jìn)行了穩(wěn)定的運(yùn)行，為系統(tǒng)開發(fā)者、應(yīng)用開發(fā)者和數(shù)據(jù)分析師提供了重要的日志數(shù)據(jù)。

在OpenHarmony迅速發(fā)展以及萬物智聯(lián)場(chǎng)景逐步演進(jìn)的背景下，OpenHarmony的日志系統(tǒng)將面臨哪些挑戰(zhàn)和機(jī)遇？作者本人提出了以下2點(diǎn)展望：

一、目前業(yè)界對(duì)于日志系統(tǒng)的數(shù)據(jù)安全的研究較少，HiLog的輕量化數(shù)據(jù)安全能力是對(duì)于日志數(shù)據(jù)安全問題的初步探索,雖然可以一定程度上遮蔽敏感數(shù)據(jù)信息,但是仍需要開發(fā)者和審核人員投入精力對(duì)日志參數(shù)進(jìn)行修改和驗(yàn)證，具備一定的人工成本。后續(xù)希望能夠引入一些自動(dòng)化的判斷機(jī)制，例如采用機(jī)器學(xué)習(xí)的手段對(duì)日志參數(shù)的上下文進(jìn)行分析，進(jìn)而自動(dòng)化地判斷該參數(shù)是否屬于隱私信息，減少人工審核成本,提高數(shù)據(jù)安全能力的易用性。

二、OpenHarmony作為分布式操作系統(tǒng),原生支持分布式能力。分布式能力涉及到多臺(tái)設(shè)備的協(xié)同運(yùn)作，即日志信息會(huì)在多臺(tái)設(shè)備上產(chǎn)生，然而，目前HiLog尚不具備從多設(shè)備統(tǒng)一收集日志并進(jìn)行管理的能力。這種缺陷對(duì)于分布式能力的開發(fā)和調(diào)試造成了一定的不便，具備優(yōu)化的空間。構(gòu)造分布式日志系統(tǒng)有兩個(gè)重要的問題需要解決，其一是設(shè)備間高速、高穩(wěn)定的連接問題，其二是多設(shè)備的時(shí)鐘同步問題。對(duì)于第一個(gè)問題，可以等待OpenHarmony的軟總線(softbus)技術(shù)成熟后，利用softbus作為穩(wěn)定高速的日志傳輸?shù)耐ǖ溃粚?duì)于第二個(gè)問題，可以考慮基于精確時(shí)間協(xié)議（precision time protocol，PTP）實(shí)現(xiàn)無線局域網(wǎng)內(nèi)的多設(shè)備時(shí)鐘同步。

審核編輯 黃宇