描述

ADE20K 涵蓋了場景、對象、對象部分的各種注釋，在某些情況下甚至是部分的部分。有 25k 張復雜日常場景的圖像，其中包含自然空間環(huán)境中的各種對象。每個圖像平均有 19.5 個實例和 10.5 個對象類。基于 ADE20K，我們構(gòu)建了場景解析和實例分割的基準。

視覺場景的語義理解是計算機視覺的圣杯之一。ImageNet、COCO 和 Places 等大規(guī)模圖像數(shù)據(jù)集的出現(xiàn)，以及深度卷積神經(jīng)網(wǎng)絡 (CNN) 方法的快速發(fā)展，為視覺場景理解帶來了巨大進步。

給定客廳的視覺場景，配備訓練有素的 CNN 的機器人可以準確預測場景類別。然而，為了在場景中自由導航并操縱里面的物體，機器人需要從輸入圖像中消化更多的信息：它不僅要識別和定位沙發(fā)、桌子、杯子和電視等物體，還要識別和定位它們的位置。部分，例如沙發(fā)的座椅或杯子的把手，以允許正確操作，以及分割地板、墻壁和天花板等物品以進行空間導航。

使用 OpenVINO 工具包

初始化 OpenVINO 環(huán)境

設置環(huán)境變量

?

OpenVINO 的模型優(yōu)化器首先用于生成模型（.onnx）的 IR（中間表示）文件（.bin 和 .xml）。然后部署模型。

Model Optimizer是一個跨平臺的命令行工具，可促進訓練和部署環(huán)境之間的轉(zhuǎn)換，執(zhí)行靜態(tài)模型分析，并調(diào)整深度學習模型以在端點目標設備上實現(xiàn)最佳執(zhí)行。模型優(yōu)化器過程假設您擁有使用受支持的深度學習框架訓練的網(wǎng)絡模型。

模型優(yōu)化器生成網(wǎng)絡的中間表示 (IR) ，可以使用推理引擎讀取、加載和推斷。

生成 IR 文件

生成 IR 文件

?

.xml和.bin類型的文件是從模型優(yōu)化器中獲得的。

街景分割

?

大學走廊分割

?

?

命令提示符：輸出

?

使用 OpenVINO工具包 - 基準應用程序

基準工具用于估計深度學習干擾性能。可以針對兩種推理模式測量性能：

1）同步（面向延遲）

2）異步（面向吞吐量）

更改了各種參數(shù)，并對基準工具進行了觀察。

下圖給出了在 CPU、GPU 和兩種模式下測試的所有參數(shù)及其值的列表。

?

輸出參數(shù)

?

基準工具輸出的快照

?

基準值

?

未來范圍

• ADE20K 型號在醫(yī)療行業(yè)有應用。隨著機器人手術(shù)數(shù)量的增加，可以結(jié)合該模型來提高手術(shù)的效率和準確性。
• 該模型還可以被用于家庭清潔目的的各種機器人使用，從而提高其操作效率。

?