夸克瀏覽器是阿里旗下的一個(gè)搭載極速AI引擎的高速智能瀏覽器。夸客以極速智能搜索為定位，致力于為用戶提供交互更智能高效、內(nèi)容更專業(yè)權(quán)威的新一代搜索引擎，同時(shí)也在產(chǎn)品極致體驗(yàn)上不斷實(shí)現(xiàn)突破。

夸克目前不僅提供極致的搜索體驗(yàn)，也在探索以深度學(xué)習(xí)為基礎(chǔ)的AI工具，通過(guò)高效的算法效果和全流程的性能優(yōu)化，提供更好的用戶體驗(yàn)。深度學(xué)習(xí)模型在實(shí)際應(yīng)用的過(guò)程中，效果遠(yuǎn)好于傳統(tǒng)模型，但由于算法復(fù)雜度過(guò)高，預(yù)測(cè)性能成為制約模型最終能否上線的核心問(wèn)題。NVIDIA TensorRT通過(guò)計(jì)算圖的優(yōu)化、高效Kernel的實(shí)現(xiàn)及更高效硬件的利用加速模型預(yù)測(cè)耗時(shí)，使預(yù)測(cè)速度提升了1～3倍。

智能相機(jī)功能對(duì)ORC實(shí)時(shí)性提出新要求

夸克瀏覽器為用戶提供智能相機(jī)功能，打開(kāi)夸克APP后，通過(guò)相機(jī)入口（如下左圖紅框所示）進(jìn)入智能相機(jī)功能，可以看到智能相機(jī)提供的具體功能（如下右圖所示），包括萬(wàn)能掃描、學(xué)習(xí)輔導(dǎo)、萬(wàn)物識(shí)別等功能，這些功能對(duì)實(shí)時(shí)性要求極高，不少功能的底層核心技術(shù)依賴OCR。作為核心一環(huán)，OCR需要承接巨大流量，其效果及性能影響整個(gè)上層業(yè)務(wù)的用戶體驗(yàn)。

OCR全流程包含檢測(cè)、識(shí)別等多個(gè)模型以及復(fù)雜的前后處理，整體耗時(shí)10s級(jí)別，耗時(shí)過(guò)長(zhǎng)嚴(yán)重影響用戶體驗(yàn)，無(wú)法達(dá)到上線要求。主要影響性能的因素有以下三點(diǎn)：?jiǎn)蝹€(gè)模型占用顯存過(guò)大導(dǎo)致全流程無(wú)法部署在同一個(gè)GPU上，需要在多個(gè)GPU上進(jìn)行數(shù)據(jù)傳輸，多GPU部署導(dǎo)致GPU利用率不高；模型本身性能慢，涉及復(fù)雜的檢測(cè)和識(shí)別模型；全流程中模型前后處理復(fù)雜。

NVIDIA TensorRT助力模型性能提升

對(duì)比目前性能優(yōu)化方案，夸克選擇了采用NVIDIA TensorRT作為模型優(yōu)化的底層框架對(duì)模型進(jìn)行優(yōu)化。TensorRT提供完整端到端模型性能優(yōu)化工具，支持TF和ONNX等相關(guān)框架模型，使用后對(duì)模型性能帶來(lái)巨大提升。

1、TensorRT對(duì)模型結(jié)構(gòu)進(jìn)行優(yōu)化，使用高效Kernel實(shí)現(xiàn)，并且支持FP16和INT8量化。部分模型通過(guò)使用TensorRT，模型性能達(dá)到2-3倍的提升，并且顯存降到原來(lái)的30%～50%。

2、有模型在使用FP16精度后，模型效果下降，夸克團(tuán)隊(duì)在NVIDIA工作人員的指導(dǎo)下，通過(guò)對(duì)模型設(shè)置混合精度，模型的性能較FP16略微下降，但整體效果能夠達(dá)到要求。

3、對(duì)于部分轉(zhuǎn)TensorRT失敗的模型，對(duì)模型進(jìn)行分析，單獨(dú)抽取模型耗時(shí)的部分進(jìn)行模型優(yōu)化。

4、在使用TensorRT的過(guò)程中，通過(guò)Nsight Systems發(fā)現(xiàn)TensorRT OP在某些場(chǎng)景性能表現(xiàn)不盡人意，在NVIDIA工作人員指導(dǎo)下，通過(guò)調(diào)整OP的使用方式解決該問(wèn)題。

TensorRT助力OCR全流程性能優(yōu)化

通過(guò)使用NVIDIA TensorRT，夸克瀏覽器極大地提升了模型性能和降低模型本身顯存占用，提高了GPU的使用率。在對(duì)整體流程和模型進(jìn)行優(yōu)化后，全部模型能夠部署在單個(gè)GPU上，并且整體耗時(shí)在400ms內(nèi)。

夸克技術(shù)人員表示：TensorRT文檔齊全，功能使用方便，用戶能夠以低門(mén)檻使用其帶來(lái)的優(yōu)化，無(wú)需手動(dòng)編寫(xiě)復(fù)雜模型轉(zhuǎn)換工具，大大地減少了用戶投入成本。對(duì)比其他模型優(yōu)化框架，TensorRT具有更好的通用性、易用性和性能。

通過(guò)這次對(duì)OCR全流程的性能優(yōu)化，夸克瀏覽器也積累了一套適合內(nèi)部使用的模型性能優(yōu)化方案，在遇到其他模型性能問(wèn)題時(shí)也有的放矢。目前夸克已經(jīng)把TensorRT相關(guān)優(yōu)化工具集成到其瀏覽器的內(nèi)部平臺(tái)上，同時(shí)應(yīng)用到其他業(yè)務(wù)的模型中，并取得良好的效果。

責(zé)任編輯：haq