描述

第 1 部分：入門

1.1下載并在 SD 卡上刷入 PYNQ 2.5：http: //avnet.me/ultra96v2-pynq-image-v2.5我使用的是 balenaEtcher。

1.2打開Ultra96v2開發(fā)板，用USB mini線連接到主機(jī)。

• 將 miniSD 卡插入 SD 插槽
• 將 miniUSB 電纜連接到主機(jī)
• 連接電源
• 按電源按鈕（板右側(cè)的第一個藍(lán)色按鈕）
• 等待開機(jī)和心跳導(dǎo)致閃爍（USB 端口之間的第 4 個 LED）

?

• 通過在瀏覽器中打開http://192.168.3.1:9090/連接到在 Ultra96v2 板上運(yùn)行的 Jupyter Notebook
• SSH進(jìn)入Ultra96v2板并配置wifi網(wǎng)絡(luò)（用戶：xilinx pass：xilinx）

$ ssh xilinx@192.168.3.1
$ sudo nano /etc/netplan/50-cloud-init.yaml

該文件應(yīng)如下所示：

network:
    ethernets:
        eth0:
            dhcp4: true
            optional: true
            version: 2
    wifis:
        wlan0:
            dhcp4: true
            optional: true
            access-points:
                "SSID_name":
                    password: "WiFi_password"

保存并運(yùn)行：

$ sudo netplan generate
$ sudo netplan apply

這將在啟動時啟動并連接到 wifi。

或者安裝遠(yuǎn)程桌面軟件或使用 miniDP-DP 電纜或 miniDP-HDMI 電纜。并非所有適配器都能正常工作。

$ sudo apt install xrdp
$ sudo systemctl status xrdp

作為替代方案，可以在此處找到綜合指南（針對 Ultra96v1 板） 。它可以很容易地適應(yīng) v2 版本的開發(fā)板。

1.3安裝PYQN-DPU：https ://github.com/Xilinx/DPU-PYNQ

升級 PYNQ v2.5 鏡像：

$ sudo su
# git clone --recursive --shallow-submodules https://github.com/Xilinx/DPU-PYNQ.git
# cd DPU-PYNQ/upgrade
# make

安裝

# pip3 install pynq-dpu
$ cd $PYNQ_JUPYTER_NOTEBOOKS
$ pynq get-notebooks pynq-dpu -p .

從 Jupyter Notebooks 中的 pynq-dpu 文件夾運(yùn)行示例。

1.4安裝Anki Vector SDK并進(jìn)行配置

$ sudo apt-get install python3-pil.imagetk
$ sudo su
# python3 -m pip install anki_vector
# python3 -m anki_vector.configure

配置腳本會詢問 Vector 的序列號、IP，并且需要一個 Anki 帳戶。請查看指南如何獲得這些。如果一切運(yùn)行正常，配置腳本將在/root/.anki_vector/目錄中創(chuàng)建兩個文件。您可以將這兩個文件復(fù)制進(jìn)去，/home/xilinx/.anki_vector/以便用戶 xilinx 也可以連接到 Vector。還要編輯/home/xilinx/.anki_vector/sdk_config.ini以指向正確的.cert 文件。

Jupyter Notebook 在 Ultra96v2 板上以 root 身份運(yùn)行，因此 root 和 xilinx 用戶都應(yīng)該能夠連接到 Vector 機(jī)器人。

1.5獲取 Vector SDK 并測試連接

$ git clone https://github.com/anki/vector-python-sdk
$ cd vector-python-sdk/examples/tutorials/
$ python3 01_hello_world.py

如果一切配置正確，機(jī)器人應(yīng)該會說“Hello World！”。

第 2 部分：測試推理

PYNQ-DPU 項目有一個關(guān)于如何運(yùn)行 yolov3 推理的 Jupyter 筆記本示例。運(yùn)行它并與它親密。我們將對其進(jìn)行修改以對 Vector 的相機(jī)捕獲的圖像進(jìn)行推理。可以在這里找到：http: //192.168.3.1 :9090/notebooks/pynq-dpu/dpu_yolo_v3.ipynb

2.1 復(fù)制pynq-dpu/dpu_yolo_v3.ipynb筆記本并修改它以從 Vector 中捕獲圖像。

更改此部分：

?

有了這個：

?

運(yùn)行這些步驟。最后，推理應(yīng)該檢測到圖像中的人：

?

第 3 部分：對 Vector 相機(jī)拍攝的圖像運(yùn)行 yolov3 推理

為此，我們將從 Vector SDK 示例中修改remote_control示例應(yīng)用程序，以對 Vector 捕獲的所有圖像運(yùn)行推理。必須以 root 身份運(yùn)行：

# git clone https://github.com/andrei-ace/vector_ultra96v2.git
# cd vector_ultra96v2/remote_control/
# python3 remote_control.py

打開瀏覽器并轉(zhuǎn)到http://192.168.3.1:5000/

第 4 部分

第 5 部分：手動構(gòu)建和使用不同的模型

可以按照https://github.com/Xilinx/DPU-PYNQ/blob/master/boards/README.md中的說明手動構(gòu)建 DPU

和https://github.com/Xilinx/Vitis-AI/blob/v1.1/DPU-TRD/prj/Vitis/README.md

其他模型可以在這里找到：https ://github.com/Xilinx/AI-Model-Zoo/tree/7f3456b26724cc649960e3b6924488859eebe489

第 6 部分：有用的鏈接

http://zedboard.org/product/ultra96-and-pynq-framework

https://github.com/Xilinx/DPU-PYNQ

https://github.com/Xilinx/Vitis-AI

http://www.pynq.io/