隨著智能 IPC 設備（如安防攝像頭、寵物陪伴機器人、嬰兒監(jiān)視器等）日益普及，越來越多的生活場景被實時記錄。然而在實際使用中，由于設備安裝位置不當、廣角鏡頭視野過大等原因，經(jīng)常會出現(xiàn)拍攝主體占比過小的問題，導致"全景清晰而主體模糊"，嚴重影響用戶的觀看體驗。

一、涂鴉AI 推理模型自動突出主體

因此，涂鴉重磅推出 On-App AI 視頻主體突出解決方案，利用涂鴉賦能 App 的AI 能力對畫面進行實時目標檢測，自動定位、識別主體后，再利用圖像算法對其進行智能自適應放大，使主體更突出、畫面更聚焦。最后，對處理完成的視頻進行編碼與封裝，即可輸出經(jīng)過優(yōu)化的視頻內(nèi)容。

該方案適合拓展應用至生活各個場景中，如：

在室內(nèi)監(jiān)護中，可用于嬰兒看護、寵物監(jiān)測、寵物機器人等設備；

在醫(yī)療影像或科研中，可結合內(nèi)鏡或其他醫(yī)療設備突出術野關鍵區(qū)域；

在戶外記錄時，可用于智能喂鳥器、狩獵攝像機、自然景觀攝像機等設備；

在安防與工業(yè)檢測中，可用于巡檢、維修等需要檢查局部細節(jié)的設備。

a.例如針對家庭場景里的小貓，攝像頭會自動識別主體并進行畫面放大：

（沒有主體突出功能的視頻畫面）

（有主體突出功能的視頻畫面）

b.在戶外復雜場景下，涂鴉 On-App AI 視頻主體方案依然能夠精準識別目標對象，并進行動作追蹤和畫面放大。戳視頻，直觀體驗生成效果：

二、詳解涂鴉AI 視頻主體突出技術

1、整體技術架構介紹

在涂鴉所有的 AI 產(chǎn)品/硬件解決方案中, 我們打通了端到端的 AI 能力：即設備端、云端、App 端三端協(xié)同。通過將先進的 AI 推理模型部署到涂鴉賦能 App 上，能夠助力品牌商與開發(fā)者將先進的AI技術無縫集成到移動設備中，打造更靈活的 AI 架構、更優(yōu)的用戶體驗、更安全的計算能力。

在移動端模型的部署中，涂鴉采用了輕量化技術架構（ TensorFlow Lite 等），這種技術架構的優(yōu)勢就在于具備高效推理、低延遲、低功耗等特點，并且支持本地模型實現(xiàn)離線運行、系統(tǒng)更新、部署等按需加載的機制，助力提高運行效率，打造更靈活的 AI 架構。

圖像處理技術涂鴉采用了 OpenGL ES，可實現(xiàn)更高效的渲染與優(yōu)化，充分利用 GPU 對圖像處理過程進行加速；

視頻編解碼技術采用涂鴉平臺提供的硬件解碼，能夠提升視頻處理性能、降低 CPU 負載，確保視頻流暢播放與低功耗運行。

（涂鴉AI 視頻主體突出技術架構圖）

2、技術亮點

2.1 擁有更靈活的 AI 架構：輕量化和動態(tài)化

（輕量化與動態(tài)化運行流程示意圖）

2.1.1 輕量級檢測模型

涂鴉采用專門優(yōu)化移動端的輕量級對象檢測模型 EfficientDet-D0，該模型參數(shù)少、計算量小、推理速度快，可以精準檢測視頻中指定主體（如寵物、人物）的位置與類別。同時，基于智能分析能力可快速篩除無主體片段，有效降低計算負擔，提升處理效率。

?

2.1.2 模型動態(tài)化

采用按需加載的動態(tài)模型管理機制，支持模型在線下載、更新與部署，確保視頻應用始終使用最優(yōu)模型版本，同時減少初始安裝包體積，提高運行效率。

?

2.2 更優(yōu)的用戶體驗：實時性和高效率

（AI實時數(shù)據(jù)處理流程示意圖）?

2.2.1實時交互處理

該方案支持實時響應用戶的交互需求。依托本地計算的高效運行，可確保流暢無延遲的用戶體驗，無需依賴網(wǎng)絡，即可實現(xiàn)快速響應與實時處理。

?

2.2.2 新增防抖圖像算法

在檢測視頻主體位置的過程中，檢測框可能會發(fā)生抖動偏移，從而導致主體放大的畫面也會產(chǎn)生抖動；針對這一問題，涂鴉增加抖動閾值，確保視頻處理畫面時的平滑流暢。

?

2.2.3 微調(diào)模型以提高準確度

涂鴉積累了海量不同場景下的主體圖片，覆蓋不同光照條件下白天黑夜等多個場景，數(shù)據(jù)脫敏之后，涂鴉對這些模型進行精心的訓練微調(diào)，確保模型推理過程中的泛化能力。

?

2.3 更安全的計算能力：低成本和隱私保護

（涂鴉 AI 端側(cè)算力結構圖）?

2.3.1降低處理成本

涂鴉支持開發(fā)者動態(tài)調(diào)整視頻幀的推理策略。在沒有檢測到視頻主體的時候，系統(tǒng)會間隔多幀識別一幀；當檢測到主體時，就會自動調(diào)整為間隔 3 幀檢測一幀。這樣就能充分利用移動端的硬件加速，顯著提升視頻編解碼速度，降低 CPU 負載，提高整體性能。

而且，本地化處理相比云端處理的成本更低、更能節(jié)約云端負荷，算力消耗每萬次減少 25 TFLOPs，節(jié)省成本約 10% 左右。

?

2.3.2 保護隱私安全

該方案的所有數(shù)據(jù)處理均在本地完成，顯著降低時延、提高響應速度，同時避免數(shù)據(jù)外傳，增強用戶隱私保護，為應用提供更安全高效的計算環(huán)境。