導讀

2023年以ChatGPT為代表的大語言模型橫空出世，它的出現(xiàn)標志著自然語言處理領域取得了重大突破。它在文本生成、對話系統(tǒng)和語言理解等方面展現(xiàn)出了強大的能力，為人工智能技術的發(fā)展開辟了新的可能性。同時，人工智能技術正在進入各種應用領域，在智慧城市、智能制造、智慧醫(yī)療、智慧農(nóng)業(yè)等領域發(fā)揮著重要作用。

柴火創(chuàng)客2024年將依托母公司Seeed矽遞科技在人工智能領域的創(chuàng)新硬件，與全球創(chuàng)客愛好者共建“模型倉”，通過“SenseCraft AI”平臺可以讓使用者快速部署應用體驗人工智能技術！

本期介紹：模型案例：|汽車目標識別！

NVIDIA TAO工具包

NVIDIA TAO（Train, Adapt, Optimize）工具包是一個全面的企業(yè)級框架，旨在簡化AI模型的開發(fā)和部署。特別適用于計算機視覺和對話式AI應用，TAO工具包利用遷移學習的便利性，定制NVIDIA的預訓練模型并將其適用于各種行業(yè)特定任務。

NVIDIA TAO的主要功能

1. 預訓練模型:

- TAO 提供了涵蓋不同領域的大量預訓練模型，包括目標檢測、圖像分類、分割、自然語言處理等。

- 這些模型在大量數(shù)據(jù)集上進行訓練，并進行了性能優(yōu)化，提供了強大的模型開發(fā)起點。

2. 遷移學習:

- 通過使用遷移學習，TAO 允許開發(fā)人員利用自己的數(shù)據(jù)微調(diào)預訓練模型，大大減少了從零開始訓練所需的時間、成本和復雜性。

- 遷移學習還幫助在較少標注數(shù)據(jù)的情況下達到更高的準確度。

3. 簡單的工作流程:

- TAO Toolkit 提供了簡化的工作流程，抽象了深度學習模型開發(fā)的復雜性。

- 用戶可以通過最少的編碼訓練、評估和優(yōu)化高性能模型。

4. 部署就緒:

- 使用TAO Toolkit優(yōu)化的模型可以部署在各種NVIDIA平臺上，如Jetson邊緣設備、NVIDIA Triton Inference Server和NVIDIA AI Enterprise。

- 這確保優(yōu)化后的模型是生產(chǎn)就緒的、可擴展的和高性能的。

5. 性能優(yōu)化:

- TAO包括模型剪枝、量化等優(yōu)化技術，以提高模型效率而不影響準確性。

- 這些優(yōu)化使模型適合在資源受限的環(huán)境中（如邊緣設備）部署。

6. 端到端的流程:

- TAO工具包支持從數(shù)據(jù)增強、訓練、剪枝、量化到部署的端到端流程，使從開發(fā)到生產(chǎn)的過渡無縫。

- 與其他NVIDIA工具和平臺很好地集成，提供了一個連貫的開發(fā)生態(tài)系統(tǒng)。

7. 企業(yè)支持:

- TAO工具包面向企業(yè)用戶，提供強大的支持、文檔和資源，以協(xié)助開發(fā)過程。

- 組織可以利用TAO加速其AI項目，將創(chuàng)新解決方案更快推向市場。

如何使用NVIDIA TAO

- 安裝: TAO工具包可以通過NVIDIA NGC訪問，NGC提供了工具包的容器化版本，便于在任何兼容的基礎設施上設置。

- 模型選擇: 從TAO模型庫中選擇預訓練模型，如用于圖像分類的ResNet、用于目標檢測的YOLO或用于NLP任務的BERT。

- 數(shù)據(jù)準備: 準備你的自定義數(shù)據(jù)集，確保其格式符合TAO的要求。

- 訓練: 使用簡單的配置文件和命令，利用你的數(shù)據(jù)集微調(diào)所選的預訓練模型。

- 優(yōu)化: 使用TAO提供的自動優(yōu)化技術，根據(jù)特定的部署環(huán)境優(yōu)化模型性能。

- 部署: 導出優(yōu)化后的模型，并使用NVIDIA的部署解決方案將其集成到你的生產(chǎn)環(huán)境中。

汽車目標識別

此模型由NVIDIA TAO工具包進行模型的訓練，用以識別馬路上的汽車目標，模型數(shù)據(jù)類型為TFLite。

可應用的領域

交通管理和監(jiān)控：目標識別算法可用于監(jiān)控交通流量、檢測違法行為（如闖紅燈、超速）、識別車牌和管理停車等。

智能停車系統(tǒng)：通過識別車輛和車牌，智能停車系統(tǒng)可以實現(xiàn)自動停車收費、優(yōu)化停車資源分配和引導司機找到空余車位等功能。

車輛檢測與識別：用于分析視頻監(jiān)控數(shù)據(jù)，以實現(xiàn)對特定車輛的跟蹤和識別，應用于安全和防盜系統(tǒng)。

在Grove Vision AI(V2)上部署模型

1、打開SenseCraft AI，如下圖所示。

2、連接到 CSI 接口攝像頭，給Grove Vision AI V2 連接CSI接口攝像頭，注意方向不能插反，如下圖所示。然后用數(shù)據(jù)線將Grove Vision AI V2連接到電腦的USB接口上即可。

3、打開SenseCraft模型助手網(wǎng)站，在設備中選擇“Grove Vision AI V2”再單擊右上角的“連接”按鈕，彈出串口連接窗口后點擊“連接”按鈕，如下圖所示。

當“連接”變成紅色的“斷開連接”按鈕時，表示連接成功了，如下圖所示。

4、在“可用的AI模型”列表中往下拉動找到“Trafficcamnet Detection”，并單擊此模型然后再點擊右上角的“發(fā)送”按鈕，如下圖所示。

5、等待一段時間的下載和燒錄固件的過程，完成后將打開右側(cè)的預覽窗口，現(xiàn)在就可以將Grove Vision AI V2的攝像頭對準汽車目標進行測試了，如下圖所示。

推理結(jié)果演示

Grove Al視覺模塊 V2套裝介紹

Grove Al視覺模塊 V2

OV5647-62攝像頭

Grove - Vision Al Module V2是一款拇指大小的人工智能視覺模塊, 配備Himax WiseEye2 HX6538處理器, 該處理器采用 ArmCortex-M55雙核架構(gòu)。

它具有標準的CSI接口, 并與樹莓派相機兼容。它有一個內(nèi)置的數(shù)字麥克風和SD卡插槽。它非常適用于各種嵌入式視覺項目。

有了SenseCraft Al算法平臺, 經(jīng)過訓練的ML模型可以部署到傳感器, 而不需要編碼。它兼容XIAO系列和Arduino生態(tài)系統(tǒng), 是各種物體檢測應用的理想選擇。

主要硬件配置

- 板卡基于WiseEye2 HX6538處理器, 采用雙核ARM Cortex-M55架構(gòu)

- 配備集成Arm Ethos-U55微神經(jīng)網(wǎng)絡加速單元, 兼容的樹莓派相機

- 板載PDM麥克風, SD卡插槽, Type-C, Grove接口, 豐富的外設支持樣機開發(fā)

- Seeed Studio XIAO的可擴展性, SenseCraft Al的現(xiàn)成AI模型用于無代碼部署。

- 支持各種有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.

寫在最后

SenseCraft-AI平臺的模型倉數(shù)量還很少，但是好消息是它支持自定義模型上傳并輸出推理結(jié)果，平臺會逐漸增加模型倉的數(shù)量和分享有愛好者設計的模型倉原型，敬請關注！