基于語(yǔ)音識(shí)別技術(shù)的機(jī)器人手臂控制智能化嘗試

介紹：

在電影《鋼鐵俠》中，我們看到托尼·斯塔克在建造設(shè)備時(shí)與人工智能賈維斯交流。托尼向賈維斯描述了他需要的零件，賈維斯控制機(jī)械臂協(xié)助托尼完成任務(wù)。隨著當(dāng)今技術(shù)的發(fā)展，這種實(shí)現(xiàn)只是時(shí)間問(wèn)題。因此，我決定嘗試自己實(shí)現(xiàn)這個(gè)功能，用語(yǔ)音控制來(lái)操作機(jī)械臂，實(shí)現(xiàn)人工智能的簡(jiǎn)單應(yīng)用。

我全權(quán)負(fù)責(zé)連接和控制機(jī)械臂和語(yǔ)音開(kāi)發(fā)板，通過(guò)特定命令觸發(fā)機(jī)械臂的運(yùn)動(dòng)。這是一個(gè)具有挑戰(zhàn)性的項(xiàng)目，因?yàn)檎Z(yǔ)音控制技術(shù)涉及多個(gè)方面，如語(yǔ)音識(shí)別、信號(hào)處理和機(jī)器人控制，需要我學(xué)習(xí)和理解相關(guān)知識(shí)。通過(guò)這篇文章，我希望分享我的項(xiàng)目實(shí)施過(guò)程、成就和經(jīng)驗(yàn)教訓(xùn)，以激勵(lì)和幫助在機(jī)器人和語(yǔ)音控制領(lǐng)域工作的同學(xué)。

為了實(shí)施這個(gè)項(xiàng)目，我首先需要解決兩個(gè)主要問(wèn)題：如何處理語(yǔ)音信號(hào)以及如何控制機(jī)械臂。

處理語(yǔ)音信號(hào)：

處理語(yǔ)音信號(hào)的步驟：

● 硬件選擇：選擇合適的開(kāi)發(fā)板（Arduino、樹(shù)莓派等）。

● 麥克風(fēng)信號(hào)處理：選擇合適的麥克風(fēng)進(jìn)行采集，通過(guò)模數(shù)轉(zhuǎn)換器將采集到的語(yǔ)音信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。

● 信號(hào)處理：采集到的信號(hào)通過(guò)降噪、濾波等方式進(jìn)行處理。提取有用的特征，并使用語(yǔ)音識(shí)別算法處理特征信號(hào)，以將數(shù)字信號(hào)輸出到計(jì)算機(jī)。

控制機(jī)械臂：

● 使用簡(jiǎn)單易操作的機(jī)械臂。

以上是解決兩個(gè)主要問(wèn)題的方法。然而，經(jīng)過(guò)研究，開(kāi)發(fā)可以處理語(yǔ)音信號(hào)的開(kāi)發(fā)板需要大量的工作！幸運(yùn)的是，現(xiàn)在市場(chǎng)上有集成語(yǔ)音開(kāi)發(fā)板，我們可以直接購(gòu)買一個(gè)來(lái)使用。

HLK-V20 語(yǔ)音開(kāi)發(fā)板

HLK-V20 開(kāi)發(fā)板是一個(gè)具有兩個(gè) IO 接口的復(fù)雜板 - 一個(gè)用于語(yǔ)音輸出，另一個(gè)用于語(yǔ)音輸入。它可以通過(guò)串行端口連接到計(jì)算機(jī)。

MyCobot 280 M5Stack 2023 機(jī)械臂

對(duì)于機(jī)械臂，我選擇了流行的桌面機(jī)械臂，myCobot 280 M5Stack 2023，由大象機(jī)器人公司開(kāi)發(fā)。該機(jī)械臂最近進(jìn)行了重大的軟件更新，實(shí)現(xiàn)了20ms的串行通信速度，并提供與Python和C++等流行編程語(yǔ)言兼容的豐富接口。我選擇這個(gè)機(jī)械臂有幾個(gè)原因，包括它緊湊的尺寸、豐富的 Python API 接口（我擅長(zhǎng)編程）以及易于安裝和使用。

編程語(yǔ)言： Python 3.7+

平臺(tái)： windows11

使用的Python庫(kù)：serial，pymycobot，time。

項(xiàng)目的發(fā)展

在項(xiàng)目的開(kāi)發(fā)中，涉及四個(gè)主要步驟：

● 語(yǔ)音輸入

● 開(kāi)發(fā)板檢索語(yǔ)音信息并傳輸?shù)絇C

● PC處理接收到的信息

● 向機(jī)械臂發(fā)送運(yùn)動(dòng)控制命令以進(jìn)行運(yùn)動(dòng)

為了觀察開(kāi)發(fā)板如何傳輸數(shù)據(jù)以及返回的數(shù)據(jù)類型，使用Python中的串行庫(kù)來(lái)操作串行端口。該庫(kù)具有從串行端口打開(kāi)、關(guān)閉、讀取和寫(xiě)入數(shù)據(jù)的方法。

'''
For instance, the serial.Serial() method is used to open the serial port and connect it to the PC, while the serial.read() method reads the data transmitted from the serial port.
'''
import serial
s = serial.Serial("COM9",115200)
r = s.read()
while True:
print(r)

復(fù)制

這是從 read（） 獲取的數(shù)據(jù)。

通過(guò)分析從開(kāi)發(fā)板傳輸?shù)臄?shù)據(jù)，開(kāi)發(fā)板的喚醒詞被識(shí)別為“wakeup_uni”，而關(guān)鍵字“uArTcp”表示下一個(gè)命令的開(kāi)始。

發(fā)現(xiàn)接收到的數(shù)據(jù)連接在一起，每次輸入命令時(shí)，都會(huì)與前一個(gè)命令連接在一起。

發(fā)現(xiàn)接收到的數(shù)據(jù)連接在一起，每次輸入命令時(shí)，都會(huì)與前一個(gè)命令連接在一起。為了檢查開(kāi)發(fā)板是否已收到語(yǔ)音輸入，使用了 if a in b： 語(yǔ)句，并預(yù)先準(zhǔn)備了輸入命令及其相應(yīng)的關(guān)鍵字。例如，喚醒詞設(shè)置為“wakeup_uni”，并設(shè)置了 4 個(gè)提示詞以進(jìn)行測(cè)試。

#set prompt word
hi_mycobot = b'openled'
dancing = b'zengjialiangdu'
nod_head = b'jianxiaoliangdu'
go_back = b'closeled'
# run frame
while True:
r += s.read()
if wake_up in r:
print("wake")
wake = True
r = b''
if wake and hi_mycobot in r:
print("Hi myCobot")
r = b''
if wake and dancing in r:
print("dancing")
r = b''
if wake and nod_head in r:
print('nod your head')
r = b''
if wake and go_back in r:
print('Go back')
r = b''
if wake and _exit in r:
print("exit")
r = b''
# print(r)s

復(fù)制

這是測(cè)試結(jié)果

pymycobot庫(kù)是由Elephant Robotics開(kāi)發(fā)的機(jī)械臂API調(diào)用接口庫(kù)。具體的使用方法在Gitbook（由Elephant Robotics提供）上。

# import library
from pymycobot import Mycobot
import time
# Create an instance object for later use
mc = Mycobot('COM9',115200)
#Control the mechanical arm to move at a speed of 70 according to the angle in the list，send_angles([angles],speed)
mc.send_angles([0.87,(-50.44),47.28,0.35,(-0.43),(-0.26)],70)
# Execute the next command after a delay of x seconds (the movement of the robotic arm takes time)
time.sleep(x)

復(fù)制

接下來(lái)，將代碼的兩個(gè)部分組合在一起。

import serial
from pymycobot import MyCobot
import time
s = serial.Serial("COM6",115200)
mc = MyCobot('COM3',115200)
r = b''
wake_up = b'wakeup_uni'
_exit = b'exitUni'
hi_mycobot = b'openled'
dancing = b'zengjialiangdu'
nod_head = b'jianxiaoliangdu'
go_back = b'closeled'
wake = False
while True:
r += s.read()
if wake_up in r:
print("wake")
wake = True
r = b''
if wake and hi_mycobot in r:
print("Hi myCobot")
# say hi shake with you
mc.send_angles([0.87,(-50.44),47.28,0.35,(-0.43),(-0.26)],70)
time.sleep(1)
for count in range(3):
mc.send_angle(1,30,80)
time.sleep(1)
mc.send_angle(1,(-30),80)
time.sleep(1)
mc.send_angles([0,0,0,0,0,0],70)
r = b''
if wake and dancing in r:
print("dancing")
mc.send_angles([0,0,0,0,0,0],80)
time.sleep(1)
for count in range(2):
mc.send_angles([(-0.17),(-94.3),118.91,(-39.9),59.32,(-0.52)],80)
time.sleep(1.2)
mc.send_angles([67.85,(-3.42),(-116.98),106.52,23.11,(-0.52)],80)
time.sleep(1.7)
mc.send_angles([(-38.14),(-115.04),116.63,69.69,3.25,(-11.6)],80)
time.sleep(1.7)
mc.send_angles([2.72,(-26.19),140.27,(-110.74),(-6.15),(-11.25)],80)
time.sleep(1)
mc.send_angles([0,0,0,0,0,0],80)
r = b''
if wake and nod_head in r:
print('nod your head')
mc.send_angles([0,0,0,0,0,0],70)
time.sleep(1)
mc.send_angles([3.07,(-86.3),75.32,11.86,2.72,(-0.35)],70)
time.sleep(0.5)
for count in range(4):
mc.send_angle(4,13,70)
time.sleep(0.5)
mc.send_angle(4,(-60),70)
time.sleep(1)
mc.send_angle(4,13,70)
time.sleep(0.5)
mc.send_angles([0,0,0,0,0,0],70)
r = b''
if wake and go_back in r:
print('Go back')
mc.send_angles([12.83,(-138.95),156.09,(-12.3),(-12.91),35.41],70)
r = b''
if wake and _exit in r:
print("exit")
r = b''

三. 經(jīng)驗(yàn)和教訓(xùn)

在完成這個(gè)項(xiàng)目的過(guò)程中，我收獲了很多寶貴的經(jīng)驗(yàn)和見(jiàn)解。首先，我意識(shí)到一個(gè)項(xiàng)目的完成不僅取決于對(duì)技術(shù)的掌握，還需要事先的研究和理解。當(dāng)我在研究語(yǔ)音識(shí)別開(kāi)發(fā)板的制作時(shí)，我發(fā)現(xiàn)工作量非常大，實(shí)現(xiàn)起來(lái)會(huì)非常困難。但是，市場(chǎng)上已經(jīng)有許多成熟的技術(shù)和工具。我們只需要選擇合理的組合和整合。其次，項(xiàng)目的圓滿完成需要明確的框架和充分的準(zhǔn)備。在這個(gè)項(xiàng)目中，我需要了解語(yǔ)音識(shí)別算法、機(jī)械臂設(shè)計(jì)和控制技術(shù)，掌握硬件設(shè)備和軟件開(kāi)發(fā)工具的使用方法和性能特點(diǎn)。

在這個(gè)項(xiàng)目中，我成功地將語(yǔ)音識(shí)別技術(shù)與機(jī)械臂控制技術(shù)相結(jié)合，實(shí)現(xiàn)了機(jī)械臂的語(yǔ)音控制。雖然這個(gè)項(xiàng)目的規(guī)模相對(duì)較小，但它代表了人工智能技術(shù)在現(xiàn)實(shí)生活中的應(yīng)用和發(fā)展趨勢(shì)。雖然這只是一個(gè)人工智能項(xiàng)目的原型，但它的完成對(duì)我來(lái)說(shuō)是一次寶貴的經(jīng)驗(yàn)。在以后的研究中，我將繼續(xù)探索更多相關(guān)信息，以進(jìn)一步完善這個(gè)項(xiàng)目。如果您有任何好的想法，請(qǐng)?jiān)谙旅姘l(fā)表評(píng)論。

審核編輯 黃宇