描述

ADE20K 涵蓋了場景、對象、對象部分的各種注釋，在某些情況下甚至是部分的部分。有 25k 張復(fù)雜日常場景的圖像，其中包含自然空間環(huán)境中的各種對象。每個圖像平均有 19.5 個實(shí)例和 10.5 個對象類。基于 ADE20K，我們構(gòu)建了場景解析和實(shí)例分割的基準(zhǔn)。

視覺場景的語義理解是計(jì)算機(jī)視覺的圣杯之一。ImageNet、COCO 和 Places 等大規(guī)模圖像數(shù)據(jù)集的出現(xiàn)，以及深度卷積神經(jīng)網(wǎng)絡(luò) (CNN) 方法的快速發(fā)展，為視覺場景理解帶來了巨大進(jìn)步。

給定客廳的視覺場景，配備訓(xùn)練有素的 CNN 的機(jī)器人可以準(zhǔn)確預(yù)測場景類別。然而，為了在場景中自由導(dǎo)航并操縱里面的物體，機(jī)器人需要從輸入圖像中消化更多的信息：它不僅要識別和定位沙發(fā)、桌子、杯子和電視等物體，還要識別和定位它們的位置。部分，例如沙發(fā)的座椅或杯子的把手，以允許正確操作，以及分割地板、墻壁和天花板等物品以進(jìn)行空間導(dǎo)航。

使用 OpenVINO 工具包

初始化 OpenVINO 環(huán)境

設(shè)置環(huán)境變量

?

OpenVINO 的模型優(yōu)化器首先用于生成模型（.onnx）的 IR（中間表示）文件（.bin 和 .xml）。然后部署模型。

Model Optimizer是一個跨平臺的命令行工具，可促進(jìn)訓(xùn)練和部署環(huán)境之間的轉(zhuǎn)換，執(zhí)行靜態(tài)模型分析，并調(diào)整深度學(xué)習(xí)模型以在端點(diǎn)目標(biāo)設(shè)備上實(shí)現(xiàn)最佳執(zhí)行。模型優(yōu)化器過程假設(shè)您擁有使用受支持的深度學(xué)習(xí)框架訓(xùn)練的網(wǎng)絡(luò)模型。

模型優(yōu)化器生成網(wǎng)絡(luò)的中間表示 (IR) ，可以使用推理引擎讀取、加載和推斷。

生成 IR 文件

生成 IR 文件

?

.xml和.bin類型的文件是從模型優(yōu)化器中獲得的。

街景分割

?

大學(xué)走廊分割

?

?

命令提示符：輸出

?

使用 OpenVINO工具包 - 基準(zhǔn)應(yīng)用程序

基準(zhǔn)工具用于估計(jì)深度學(xué)習(xí)干擾性能。可以針對兩種推理模式測量性能：

1）同步（面向延遲）

2）異步（面向吞吐量）

更改了各種參數(shù)，并對基準(zhǔn)工具進(jìn)行了觀察。

下圖給出了在 CPU、GPU 和兩種模式下測試的所有參數(shù)及其值的列表。

?

輸出參數(shù)

?

基準(zhǔn)工具輸出的快照

?

基準(zhǔn)值

?

未來范圍

• ADE20K 型號在醫(yī)療行業(yè)有應(yīng)用。隨著機(jī)器人手術(shù)數(shù)量的增加，可以結(jié)合該模型來提高手術(shù)的效率和準(zhǔn)確性。
• 該模型還可以被用于家庭清潔目的的各種機(jī)器人使用，從而提高其操作效率。

?