華為發(fā)明的物體檢測方法，通過構(gòu)建跨域知識圖譜，可以捕捉到不同待檢測物體間的內(nèi)在關(guān)系，從而更加精確的進行物體識別，在智能安防等復(fù)雜場景中有著極其重要的應(yīng)用。

2020年10月，由華為技術(shù)有限公司主辦、成都優(yōu)普誠科技有限公司協(xié)辦的“普惠AI，破浪前行”2020華為好望秋季品鑒會在成都首座萬豪酒店成功舉辦，該會就機器視覺、智慧安防等領(lǐng)域展開了交流討論。

其中華為的機器視覺技術(shù)尤其適合應(yīng)用在智慧安防等領(lǐng)域，尤其是在AI技術(shù)的加持下，可以讓安防變得更加的省心且智能。例如，物體檢測就是一項基本的計算機視覺任務(wù)，它可以識別圖像中物體的位置和類別。在實際應(yīng)用中，研究員和工程師們會根據(jù)應(yīng)用場景與實際任務(wù)需求的不同創(chuàng)建針對不同具體問題的數(shù)據(jù)集，用于訓(xùn)練高度定制化和獨特的自動物體檢測器。

而在智慧安防領(lǐng)域，物體檢測也是非常重要的一個環(huán)節(jié)，在進行很多任務(wù)之前，首要的就是將待檢測物體定位并進行類別識別。為此，華為在20年1月21日申請了一項名為“一種物體檢測方法、裝置以及存儲介質(zhì)”的發(fā)明專利（申請?zhí)枺?02010072238.0），申請人為華為技術(shù)有限公司。

該專利中發(fā)明的系統(tǒng)可以應(yīng)用在大規(guī)模物體檢測場景中，例如手機人臉識別、手機識別萬物、無人車的感知系統(tǒng)、安防攝像頭、社交網(wǎng)站照片物體識別、智能機器人等等。同時，由于這種物體檢測方法在對物體進行檢測時結(jié)合了跨域知識圖譜，因此其物體檢測效果會更好。

根據(jù)該專利目前公開的資料，讓我們一起來看看這項物體檢測方法吧。

如上圖，為該專利中發(fā)明的系統(tǒng)架構(gòu)的結(jié)構(gòu)示意圖，該架構(gòu)中包括執(zhí)行設(shè)備110、訓(xùn)練設(shè)備12、數(shù)據(jù)庫130、客戶設(shè)備140、數(shù)據(jù)存儲系統(tǒng)150以及數(shù)據(jù)采集設(shè)備160。數(shù)據(jù)采集設(shè)備可以采集訓(xùn)練數(shù)據(jù)，并將數(shù)據(jù)存入數(shù)據(jù)庫中，但是這種用于人工智能訓(xùn)練的數(shù)據(jù)需要進行人工標(biāo)注。

訓(xùn)練設(shè)備可以根據(jù)訓(xùn)練數(shù)據(jù)訓(xùn)練出目標(biāo)檢測模型，當(dāng)其他未知的圖片由用戶傳遞到計算模塊時，就可以由目標(biāo)模型來進行識別，從而得到物體的類別信息，并將物體的檢測結(jié)果通過I/O接口呈現(xiàn)給客戶設(shè)備。

如上圖，為這種芯片的硬件結(jié)構(gòu)圖解，該芯片主要包括神經(jīng)網(wǎng)絡(luò)處理器，主CPU和外部存儲器分別用于提供控制指令以及數(shù)據(jù)。配合系統(tǒng)架構(gòu)圖可知，這種芯片就是訓(xùn)練設(shè)備120中所使用的，可以完成訓(xùn)練設(shè)備的訓(xùn)練任務(wù)并輸出物體的類型信息。

神經(jīng)網(wǎng)絡(luò)處理器NPU作為協(xié)處理器掛載到主中央處理器上，由主CPU分配任務(wù)，NPU的核心部分為運算電路303，控制器304控制運算電路提取存儲器中的數(shù)據(jù)并進行運算。

我們知道在神經(jīng)網(wǎng)絡(luò)的計算中是需要大量的矩陣乘加運算的。舉例來說，假設(shè)有輸入矩陣A，權(quán)重矩陣B，輸出矩陣C，運算電路從權(quán)重存儲器中取矩陣B相應(yīng)的數(shù)據(jù)，并緩存在運算電路中每一個PE上。運算電路從輸入存儲器中取矩陣A數(shù)據(jù)與矩陣B進行矩陣運算，得到的矩陣的部分結(jié)果或最終結(jié)果，保存在累加器中。

向量計算單元可以對運算電路的輸出做進一步處理，如：向量乘、加、指數(shù)運算、對數(shù)運算以及大小比較等等，例如向量計算單元可以用于神經(jīng)網(wǎng)絡(luò)中非卷積的網(wǎng)絡(luò)計算（池化、批歸一化），這些結(jié)構(gòu)則正是進行AI運算的基礎(chǔ)。

如上圖，為該專利中申請的物體檢測方法的識別步驟的流程圖，首先系統(tǒng)會獲取待檢測的圖像，圖像可以通過攝像頭拍攝從街景等場合提取。接著確定待檢測圖像中的待檢測物體的初始圖像特征，這個步驟中，可以對整個圖像進行卷積運算以得到整個圖像的圖像特征，然后再從整個圖像的特征圖中獲取物體的初始圖像特征。

接著根據(jù)跨域知識圖譜信息來確定待檢測物體的增強圖像特征，這個跨域知識圖譜信息包括不同域中待檢測物體對應(yīng)的物體類別之間的關(guān)聯(lián)關(guān)系，增強圖像特征指示不同域中與待檢測物體相關(guān)聯(lián)的其他物體對應(yīng)的物體類別的語義信息，這種對應(yīng)關(guān)系如下圖所示。

從上圖可以看到，這種對應(yīng)關(guān)系即：兩個類別在同一個圖像中同時出現(xiàn)的概率越大，則認(rèn)為兩個類別之間有關(guān)聯(lián)關(guān)系。上圖的第一個域中的物體類別包括男人、女人、男孩、女孩和馬路；街道第二個域中的物體類別包括人、手提包、書包、汽車和卡車。

我們認(rèn)為第一個域中的男人、女人、男孩以及女孩與第二個域中的人之間具有關(guān)聯(lián)關(guān)系，第一個域中的女人和女孩與第二個域中的手提包具有關(guān)聯(lián)關(guān)系。這些關(guān)聯(lián)信息是通過常識來推理出來的，這樣的語義信息可以輔助進行圖像檢測的高級別信息。例如，待檢測物體為女人，待檢測圖像中與女人相關(guān)聯(lián)的其他物體包括手提包，那么，待檢測物體的增強圖像特征指示的可以是手提包的語義信息。

最后，我們再來看看這種物體檢測方法的整體流程圖，待檢測圖像可以先通過傳統(tǒng)的物體檢測器進行處理（例如Faster-RCNN網(wǎng)絡(luò)結(jié)構(gòu)），再提取初始候選區(qū)域的初始圖像特征以及分類層的參數(shù)，并構(gòu)建域內(nèi)的區(qū)域圖。

通過構(gòu)建域內(nèi)的區(qū)域圖，利用域間圖卷積網(wǎng)絡(luò)傳播節(jié)點上不同域下待檢測物體的高級語義表示，得到經(jīng)過推理推斷后的融合了不同域下待檢測物體高級語義表示的特征。最后將域內(nèi)圖卷積、域間圖卷積經(jīng)過推理推斷后得到的特征投影到相應(yīng)的待檢測物體的高級語義表示中，并進行分類和回歸，由此來得到待檢測物體的位置信息以及類別信息。

以上就是華為發(fā)明的物體檢測方法，通過構(gòu)建跨域知識圖譜，可以捕捉到不同待檢測物體間的內(nèi)在關(guān)系，由此來提高物體檢測方法的效果。這種方法可以應(yīng)用在復(fù)雜場景下，例如在商場以及商業(yè)街等區(qū)域，可以輔助安保人員對該區(qū)域的行人、物體進行檢測，例如可以幫助尋找遺失物品以及進行可以物體檢測等，有效提高城市安防能力！

關(guān)于嘉德

深圳市嘉德知識產(chǎn)權(quán)服務(wù)有限公司由曾在華為等世界500強企業(yè)工作多年的知識產(chǎn)權(quán)專家、律師、專利代理人組成，熟悉中歐美知識產(chǎn)權(quán)法律理論和實務(wù)，在全球知識產(chǎn)權(quán)申請、布局、訴訟、許可談判、交易、運營、標(biāo)準(zhǔn)專利協(xié)同創(chuàng)造、專利池建設(shè)、展會知識產(chǎn)權(quán)、跨境電商知識產(chǎn)權(quán)、知識產(chǎn)權(quán)海關(guān)保護等方面擁有豐富的經(jīng)驗。
責(zé)任編輯:tzh