描述

該項(xiàng)目背后的想法是創(chuàng)建一個(gè)能夠根據(jù)手指手勢(shì)驅(qū)動(dòng)執(zhí)行器的設(shè)備。

該項(xiàng)目專門用于識(shí)別 raspberry-pi 相機(jī)拍攝的手部流圖像。

用于訓(xùn)練模型的圖像數(shù)據(jù)集是臨時(shí)創(chuàng)建的，圖像僅從 Raspberry 相機(jī)（而非其他設(shè)備）拍攝，具有中性背景。

該模型基于Inception v3模型的遷移學(xué)習(xí)，為處理項(xiàng)目需求而定制。最后一層從Inception v3模型中刪除，并添加了幾層以使用新數(shù)據(jù)集進(jìn)行自定義，并僅提供四種情況的輸出。

該模型使用先前在桌面（32 Gb ram + GPU）上收集和預(yù)分類的圖像進(jìn)行訓(xùn)練。一旦模型經(jīng)過(guò)訓(xùn)練和測(cè)試，它就會(huì)被導(dǎo)出到 Raspberry Pi。

創(chuàng)建數(shù)據(jù)集

該項(xiàng)目的目的是確定我手指的位置。

因此，它創(chuàng)建了一個(gè)圖像數(shù)據(jù)集，其中手指在四個(gè)不同的位置{'無(wú)'、'一根手指'、'多于一根手指'、'手閉合'}。

手的位置總是顛倒的。

創(chuàng)建模型

使用的模型基于稱為遷移學(xué)習(xí)的技術(shù)。從已經(jīng)完全訓(xùn)練的預(yù)先存在的模型（Inception v3 模型）中刪除了最后幾層，并添加了額外的幾個(gè)新層。

在代碼下方自定義添加到模型的層。

last_layer = pre_trained_model.get_layer('mixed7')
last_output = last_layer.output

#creating a model using the previous model without the last few layers
x = layers.Flatten()(last_output)
# Add a fully connected layer with 100 hidden units and ReLU activation
x = layers.Dense(100, activation='relu')(x)
# Add a dropout rate of 0.2
x = layers.Dropout(0.2)(x)                  
# Add a final sigmoid layer for the classification of the 4 status
x = layers.Dense(4, activation='softmax')(x)           
 
model = Model( pre_trained_model.input, x)

訓(xùn)練模型

訓(xùn)練僅基于圖像的數(shù)據(jù)集，并添加了一些可變性以強(qiáng)制模型進(jìn)行泛化。這種可變性或多樣性（稱為數(shù)據(jù)增強(qiáng)）允許人為地增加訓(xùn)練示例的數(shù)量并提高分類的質(zhì)量。

training_datagen = ImageDataGenerator(
      rescale = 1./255,
      rotation_range=40,
      width_shift_range=0.2,
      height_shift_range=0.2,
      shear_range=0.2,
      zoom_range=0.2,
      horizontal_flip=True,
      fill_mode='nearest')

該模型僅擬合了 20 個(gè) epoch，足以擬合模型并避免過(guò)度擬合。

history = model.fit(
            train_generator,
            validation_data = validation_generator,
            steps_per_epoch = 5,
            epochs = 20,
            validation_steps = 5,
            verbose = 2)

該模型的準(zhǔn)確性非常好，特別是對(duì)于驗(yàn)證數(shù)據(jù)集（由沒有可變性（數(shù)據(jù)增強(qiáng)）的真實(shí)圖像組成）。

?

一旦模型足夠好，它就會(huì)被保存并導(dǎo)出。

model.save("C:\\gits_folders\\Tensorflow_Lite_embeded\\raspbery\\enzo_02")

到目前為止描述的所有步驟都在 Jupiter notebook 上，可在下面的鏈接中找到：

https://github.com/EnzoCalogero/Tensorflow_Lite_embeded/blob/main/raspbery/enzo_01/Enzo01%204%20elements.ipynb

將模型部署到 Raspberry PI

模型訓(xùn)練和測(cè)試由一個(gè)相當(dāng)強(qiáng)大的桌面執(zhí)行。完成這些步驟后，必須將最終結(jié)果移至 Raspberry PI。

Raspberry PI 應(yīng)該僅執(zhí)行從 Raspberry PI 相機(jī)拍攝的圖像流中進(jìn)行的推斷（計(jì)算量如此之大，比訓(xùn)練密集得多）。

export_dir = "C:\\gits_folders\\Tensorflow_Lite_embeded\\raspbery\\enzo_02"
loaded = tf.saved_model.load(export_dir)

converter = tf.lite.TFLiteConverter.from_saved_model(export_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]

tflite_model = converter.convert()
tflite_model_file = 'enzo02_converted_model.tflite'

with open(tflite_model_file, "wb") as f:
    f.write(tflite_model)

在代碼之后，模型保存在一個(gè)文件（“enzo_02”）中，該文件可以輕松地從桌面復(fù)制到 Raspberry PI 文件系統(tǒng)。然后，它可以被運(yùn)行在 Raspberry PI 上的 python 腳本讀取。

from tflite_runtime.interpreter import Interpreter
....
interpreter = Interpreter(args.model)
  interpreter.allocate_tensors()
  _, height, width, _ = interpreter.get_input_details()[0]['shape']

完整的腳本可在鏈接中找到：

https://github.com/EnzoCalogero/Tensorflow_Lite_embeded/blob/main/raspbery/Enzo_mod_01/classify_picamera_servo.py

下面是一個(gè)如何午餐腳本的示例：

python3 classify_picamera_servo.py   --model ./enzo01_converted_model.tflite   --labels ./labels

電路概述

電路非常簡(jiǎn)單。帶有攝像頭的樹莓派 4 是核心組件。他們收集視頻流并使用部署的模型執(zhí)行推理。然后，根據(jù)推理結(jié)果，一個(gè)信號(hào)被發(fā)送到 PCA9685，PCA9685 相應(yīng)地操作 3 個(gè)伺服系統(tǒng)。

用于操作 3 個(gè)伺服系統(tǒng)的 PCA9685 工作負(fù)載由 9v 的外部電池支持。

?

簡(jiǎn)化電氣圖

?

建立旗幟

這 3 個(gè)標(biāo)志是使用 Polymorph 材料創(chuàng)建的。Polymorph 是一種特殊類型的塑料，其熔化溫度約為 60?C，用沸水加熱即可成型為任何形狀。一旦冷卻，它就會(huì)變成一種非常堅(jiān)韌的類似尼龍的聚合物。由于它是一種熱塑性塑料，Polymorph 可以多次重新加熱和熱成型。

多晶型材料

?

它的使用非常簡(jiǎn)單，您只需將一些多晶型物放入一杯水中，在微波爐中加熱幾分鐘（直到多晶型物變得透明）。

沸水中的多晶型物

?

然后將其從水中取出并開始將其塑造成所需的形狀。

多晶型材料，同時(shí)是熱的和可延展的

?

在這個(gè)項(xiàng)目中，多形體被賦予了標(biāo)志形狀并添加了一個(gè)伺服臂（對(duì)于 3 個(gè)標(biāo)志中的每一個(gè)）。冷卻后，他們創(chuàng)建了一個(gè)獨(dú)特的結(jié)構(gòu)，其中插入了服務(wù)器臂。因此，很容易將它們連接到伺服系統(tǒng)。

創(chuàng)建旗幟的形狀

?

最后的旗幟

?

我們通過(guò)添加彩色多形體來(lái)區(qū)分旗幟，因此每個(gè)旗幟都有不同的顏色。

3D 打印外殼和最終建筑

最終的建筑非常簡(jiǎn)單，使用附件部分的 .stl 文件 3D 打印伺服支架和 Raspberry PI/相機(jī)支架。將每個(gè)標(biāo)志連接到一個(gè)伺服器，并將伺服器插入其支架。

然后，將 Raspberry Pi 及其攝像頭插入外殼中。

伺服箱內(nèi)視圖

?

樹莓派相機(jī)外殼細(xì)節(jié)

?

?

?

設(shè)備準(zhǔn)備就緒

?

?

?