近年來，深度神經(jīng)網(wǎng)絡(luò)在將計算機(jī)視覺算法的準(zhǔn)確性提升到一個新的水平方面取得了重大進(jìn)展。OpenVINO 工具包就是這樣一個例子，它可以在提供高性能的同時優(yōu)化 DNN 模型。

英特爾發(fā)布了最新版本（2022.1）的OpenVINO工具包，為任何地方的開發(fā)人員提供了更簡單的部署。OpenVINO是“開放式視覺推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化”的縮寫，是一個跨平臺的深度學(xué)習(xí)工具包，提供額外的深度學(xué)習(xí)模型，設(shè)備可移植性和更高的推理性能，更少的代碼更改。它專注于通過一次寫入，隨處部署的方法增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)推理，從而優(yōu)化應(yīng)用程序的開發(fā)生命周期。

該工具包有兩個版本，一個是開源的開放VINO工具包，另一個是英特爾發(fā)行版的開放VINO工具包。OpenVINO工具包主要用于開發(fā)各種問題的快速解決方案，例如模擬人類視覺，語音識別，自然語言處理，推薦系統(tǒng)等。它為開發(fā)人員提供了一種更簡單的替代方案，可以在其AI界面上工作并采用和維護(hù)其代碼。OpenVINO建立在最新一代人工神經(jīng)網(wǎng)絡(luò)（ANN）的基礎(chǔ)上，例如卷積神經(jīng)網(wǎng)絡(luò)（CNN）以及循環(huán)和基于注意力的網(wǎng)絡(luò)。

在英特爾硬件中，OpenVINO 包含計算機(jī)視覺和非計算機(jī)視覺工作負(fù)載。通過其眾多功能，它可確保最佳性能并加快應(yīng)用程序開發(fā)。它提供來自其自己的開放模型庫的預(yù)訓(xùn)練模型，該動物園提供優(yōu)化的模型。OpenVINO 提供了模型優(yōu)化器 API，可以轉(zhuǎn)換您提供的模型并為推理做好準(zhǔn)備。推理引擎允許用戶通過編譯優(yōu)化的網(wǎng)絡(luò)并管理特定設(shè)備上的推理操作來調(diào)整性能。由于該工具包與大多數(shù)框架兼容，因此干擾最小，性能最高。

OpenVINO 工具包的應(yīng)用程序，該工具包使用計算機(jī)視覺進(jìn)行入侵檢測。英特爾的 OpenVINO 工具包分發(fā)版旨在促進(jìn)和簡化高性能計算機(jī)視覺和深度學(xué)習(xí)推理應(yīng)用的開發(fā)、創(chuàng)建和部署，這些應(yīng)用適用于廣泛使用的英特爾平臺。OpenVINO 的應(yīng)用范圍從自動化和安全到農(nóng)業(yè)、醫(yī)療保健等等。

版本 2022.1 的功能

此版本為以前的版本 2021.3 提供了錯誤修復(fù)和功能更改。

已更新、更干凈的 API

這個新版本使維護(hù)開發(fā)人員的代碼變得更加容易。它可以與張量流約定集成，以最大限度地減少轉(zhuǎn)換。此版本減少了模型優(yōu)化器中的 API 參數(shù)，以最大程度地降低復(fù)雜性。另一方面，在開放式神經(jīng)網(wǎng)絡(luò)交換 （ONNX*） 模型上進(jìn)行模型轉(zhuǎn)換的性能已得到顯著提高。

更廣泛的模型支持

用戶可以在更廣泛的深度學(xué)習(xí)模型中輕松部署應(yīng)用程序，包括自然語言處理 （NLP）、雙精度和計算機(jī)視覺。這些預(yù)訓(xùn)練的模型專注于 NLP 和額外的異常檢測類別，可用于工業(yè)檢查、降噪、問答、翻譯和文本到語音轉(zhuǎn)換。

便攜性和性能

此版本通過跨 CPU、GPU 等的自動設(shè)備發(fā)現(xiàn)、負(fù)載平衡和動態(tài)推理并行性，有望提升性能。

開放VINO工具包附加組件

計算機(jī)視覺注釋工具

數(shù)據(jù)集管理框架

深度學(xué)習(xí)主播

神經(jīng)網(wǎng)絡(luò)壓縮框架

開放維諾模型服務(wù)器

開放維諾安全附加組件

培訓(xùn)擴(kuò)展

開放維諾的工作

OpenVINO工具包由各種開發(fā)和部署工具組成，其中包括一組完全配置的預(yù)訓(xùn)練模型和用于評估的硬件。以下步驟描述了開放VINO的工作原理：

先決條件：設(shè)置開放酒莊

在開始使用實際工作流之前，請確保選擇主機(jī)、目標(biāo)平臺和模型。該工具支持操作系統(tǒng)，如Linux，Windows，macOS和拉斯比安。至于深度學(xué)習(xí)模型訓(xùn)練框架，它支持張量流，卡菲，MXNet，Kaldi以及開放神經(jīng)網(wǎng)絡(luò)交換（ONNX）模型格式。

步驟 1：訓(xùn)練模型

第一步是準(zhǔn)備和訓(xùn)練深度學(xué)習(xí)模型。您可以從開放模型動物園中找到預(yù)先訓(xùn)練的模型，也可以構(gòu)建自己的模型。OpenVINO 為公共模型提供經(jīng)過驗證的支持，并在存儲庫中提供一系列代碼示例和演示?？梢允褂媚_本為用于訓(xùn)練模型的框架配置模型優(yōu)化器。

步驟 2：轉(zhuǎn)換和優(yōu)化模型

配置模型后，可以運行模型優(yōu)化器將模型轉(zhuǎn)換為中間表示 （IR），中間表示形式以一對文件（.xml和.bin）表示。除了文件對（.xml和.bin），模型優(yōu)化器還通過輸出診斷消息來幫助進(jìn)一步優(yōu)化。

步驟 3：針對性能進(jìn)行調(diào)整

在此步驟中，推理引擎用于編譯優(yōu)化的模型。推理引擎是一個高級（C、C++ 或 Python*）推理 API，作為每種硬件類型的動態(tài)加載插件實現(xiàn)。它為每個硬件提供最佳性能，而無需維護(hù)多個代碼路徑。

步驟 4：部署應(yīng)用程序

推理引擎用于部署應(yīng)用程序。使用部署管理器，可以通過將模型、IR 文件、應(yīng)用程序和關(guān)聯(lián)的依賴項組裝到目標(biāo)設(shè)備的運行時包中來創(chuàng)建開發(fā)包。

總而言之，這個新版本的OpenVINO工具包提供了許多好處，不僅優(yōu)化了用戶部署應(yīng)用程序的體驗，還增強(qiáng)了性能參數(shù)。它使用戶能夠開發(fā)具有輕松部署、更多深度學(xué)習(xí)模型、更多設(shè)備可移植性以及更少代碼更改的更高推理性能的應(yīng)用程序。

審核編輯：郭婷