當前，人工智能產業(yè)飛速發(fā)展，用戶對AI智能體驗的需求不斷升級，而一個出色的AI應用或AI體驗的誕生，很大程度上依賴于底層芯片算力的極致發(fā)揮。

作為麒麟芯片計算能力的開放平臺，HUAWEI HiAI Foundation提供300+算子支持，具備業(yè)界最佳的模型兼容性，助力開發(fā)者快速開發(fā)和部署AI應用。但麒麟芯片計算能力開放還只是第一步，為了更好地利用麒麟芯片NPU的優(yōu)勢，降低開發(fā)工作量、提高開發(fā)效率，HUAWEI HiAI Foundation與眾多開發(fā)者在業(yè)務對接中，還需要解決諸多難題。

其一，開發(fā)者設計的模型大多是基于CPU或GPU運行，當模型部署到NPU時，需要進一步為NPU做設計匹配，這對開發(fā)者而言是陌生的。舉個例子，模型設計時，更小的Channel拆分和更多的Vector算子，將無法發(fā)揮NPU的性能與功耗優(yōu)勢。

其二，因開發(fā)者的模型結構對HUAWEI HiAI Foundation保密，在需要對AI模型進行調優(yōu)時，雙方團隊溝通解決問題的時間成本較高，開發(fā)效率低。

洞察上述痛點后，HUAWEI HiAI Foundation技術團隊迅速行動，在最新版本100.510.020.010中創(chuàng)新性地推出了HUAWEI HiAI Foundation Model Zoo，將當前已經識別出來的NPU友好模型展示給開發(fā)者，幫助其設計 NPU友好模型算法結構、了解NPU優(yōu)化策略，更好地發(fā)揮麒麟芯片的NPU加速優(yōu)勢。

HUAWEI HiAI Foundation Model Zoo提供可直接調用的硬件最優(yōu)模型庫，集成圖片分類、物體檢測、語義分割、超分等典型場景的網絡模型，包含IR算子性能調優(yōu)使用指導，以及NPU性能友好模型結構和推薦指數，幫助開發(fā)者快速了解，哪個算子的哪種參數取值在硬件上能夠獲得更好的性能和能效的收益，如何優(yōu)化模型結構可以實現高性能與低功耗。目前，HUAWEI HiAI Foundation的模型結構可視化已經在Netron工具適配上線，可以支持開發(fā)者打開Model Zoo中的模型文件，方便調試。

實測數據顯示，Resnet18模型在CPU上推理耗時74ms，在NPU上推理僅耗時6ms，耗時降低90%以上，可見NPU加速后性能優(yōu)勢明顯。除此之外，開發(fā)者的工作效率也明顯提高，參考Model Zoo提供的OM模型，開發(fā)者可以基于自身業(yè)務需求進行模型訓練，省去了將原始模型轉換成OM模型的過程，提升了DDK易用性。

當然，HUAWEI HiAI Foundation Model Zoo的目標遠不止于此。除了解決開發(fā)者的模型設計痛點，HUAWEI HiAI Foundation Model Zoo還在著手構建NPU算法交流平臺，針對互聯網生態(tài)開發(fā)者和高效算法研究者，上線Model Zoo門戶網站，通過模型分類、查找、上傳功能，建立模型評分機制，提供算法開發(fā)者社區(qū)討論平臺等，輔助開發(fā)者高效開發(fā)適用于NPU平臺的模型算法。未來，HUAWEI HiAI Foundation Model Zoo將支持端云協同的模型訓練、調優(yōu)和部署流程，支持算法懸賞任務機制，構建完整的NPU算法生態(tài)，最終實現HUAWEI HiAI Foundation社區(qū)的自繁榮。

原文標題：自主調優(yōu)AI模型結構，麒麟芯片NPU加持！HUAWEI HiAI Foundation Model Zoo上線

文章出處：【微信公眾號：華為麒麟】歡迎添加關注！文章轉載請注明出處。