今天給大家介紹瑞薩合作伙伴逐飛科技開發(fā)的一款基于RA8系列微處理器的RA8D1為主控的一臺(tái)智能語(yǔ)音小車，該小車搭載多種傳感器模塊，能夠?qū)崿F(xiàn)精確的姿態(tài)控制、姿態(tài)調(diào)整、無(wú)線圖像傳輸與顯示、語(yǔ)音識(shí)別和自動(dòng)抓取等功能。

語(yǔ)音麥輪小車方案

1

小車硬件框架

硬件部分主要以瑞薩RA8D1 MCU為核心，圍繞其設(shè)計(jì)的核心板和擴(kuò)展板擁有豐富的外設(shè)接口和擴(kuò)展能力。主板通過(guò)外部的3S鋰電池進(jìn)行供電，通過(guò)高效的LDO為系統(tǒng)提供6V、5V和3.3V等多級(jí)電壓輸出，以滿足不同模塊的特定供電要求。為簡(jiǎn)化各個(gè)模塊的連接，主板的接口按照模塊的接口形式進(jìn)行劃分，并確保所有模塊的控制線路與核心板已分配引腳進(jìn)行連接。

2

小車任務(wù)概括

小車任務(wù)是圍繞智能語(yǔ)音交互完成抓取任務(wù)，且設(shè)計(jì)有人機(jī)交互，通過(guò)屏幕實(shí)現(xiàn)信息的輸入輸出、并且監(jiān)控車模的姿態(tài)、狀態(tài)以及實(shí)時(shí)顯示由車載攝像頭捕獲的圖像。小車系統(tǒng)內(nèi)部自動(dòng)完成的姿態(tài)閉環(huán)控制，能對(duì)車模進(jìn)行精準(zhǔn)的操作。支持局域網(wǎng)內(nèi)無(wú)線圖傳以及通過(guò)語(yǔ)音命令控制車模。在發(fā)現(xiàn)目標(biāo)物體后，通過(guò)對(duì)小車和機(jī)械臂的控制，自動(dòng)實(shí)現(xiàn)對(duì)空間物體的定位和抓取。

3

小車主要硬件介紹

RA8微處理器

瑞薩電子RA8D1 MCU系列是業(yè)界首款基于ArmCortex-M85（CM85）內(nèi)核的32位圖形微控制器（MCU），能夠在480 MHz頻率下實(shí)現(xiàn)超過(guò)3000 CoreMark分?jǐn)?shù)的突破性性能，可支持高分辨率顯示和視覺AI應(yīng)用的卓越圖形功能。此系列屬于通用型MCU器件，適用于工業(yè)自動(dòng)化、家用電器、智能家居、消費(fèi)品、樓宇/家居自動(dòng)化和醫(yī)療/保健細(xì)分市場(chǎng)中的各種高性能和計(jì)算密集型應(yīng)用場(chǎng)景。

RA8D1 MCU集成了高性能CM85內(nèi)核和大內(nèi)存，以及豐富的外設(shè)集，包括帶并行RGB和MIPI-DSI接口的高分辨率TFT-LCD控制器、2D繪圖引擎、16位攝像頭接口和多個(gè)外部?jī)?nèi)存接口，經(jīng)過(guò)優(yōu)化可滿足各種圖形和視覺AI應(yīng)用的需求。此類MCU采用176引腳和224引腳封裝。

RA8核心板

核心板基于RA8芯片進(jìn)行設(shè)計(jì)制作，核心板包含晶振、復(fù)位、SDRAM、FLASH、BOOT電路，引出了的下載調(diào)試接口、TF卡接口、SD卡接口，其他引腳作為連接主板引出。RA8芯片支持外接高達(dá)32M的SDRAM作為內(nèi)存拓展，核心板布局如下圖所示：

RA8擴(kuò)展板

擴(kuò)展板則基于RA8核心板制作，根據(jù)已分配的外設(shè)引腳，留出相應(yīng)的接口，方便后續(xù)連接外設(shè)模塊。擴(kuò)展板的布局如下圖所示：

屏幕模塊

RA8芯片帶有LCD的MIPI接口，MIPI協(xié)議采用了高速差分信號(hào)傳輸技術(shù)，可以減少信號(hào)干擾和噪聲。使用的資源上，MIPI接口的引腳比SPI屏幕更少，通信速度也比常規(guī)的SPI或者并口通信快很多，所以方案中選用MIPI接口的3.1寸的IPS屏幕，像素大小為800*480。經(jīng)過(guò)測(cè)試，純刷屏速度能達(dá)到50fps+。結(jié)合觸摸面板，便可以做到非常好的交互體驗(yàn)。

電機(jī)驅(qū)動(dòng)模塊

麥輪小車有4個(gè)電機(jī)，在小車上采用兩塊DRV8701E雙H橋電機(jī)驅(qū)動(dòng)模塊來(lái)驅(qū)動(dòng)車模的四個(gè)輪子，實(shí)現(xiàn)了對(duì)每個(gè)輪子的獨(dú)立電機(jī)控制，在方案中使用RA8的General PWM Timer（GPT）外設(shè)作為PWM輸出控制，對(duì)每一路的PWM輸出精確控制。

攝像頭模塊

選用了OV2640彩色攝像頭，它支持直接輸出JPEG格式的圖像數(shù)據(jù)。這一特性極大地簡(jiǎn)化了圖像處理流程，RA8的16位攝像頭接口CEU，不管是攝像頭的RGB數(shù)據(jù)還是JPEG數(shù)據(jù)，都能通過(guò)CEU外設(shè)進(jìn)行采集。通過(guò)CEU，最大可以采集2560*1920分辨率的圖像。

4

小車主要軟件介紹

軟件流程

RA8配套的支持包中就包含了多個(gè)系統(tǒng)的支持，在工程創(chuàng)建的過(guò)程中選擇需要使用的系統(tǒng)，后續(xù)便自動(dòng)將對(duì)應(yīng)的系統(tǒng)文件添加到工程中。方案中選擇了FreeRTOS系統(tǒng)作為整體任務(wù)的分配以及管理，任務(wù)如下圖所示：

屏幕GUI控制

該方案為了實(shí)現(xiàn)更為直觀和用戶友好的操作體驗(yàn)，利用了圖形用戶界面（GUI）組件來(lái)展示攝像頭捕獲的實(shí)時(shí)圖像以及關(guān)鍵參數(shù)。通過(guò)GUI的設(shè)計(jì)，不僅能夠確保圖像的清晰顯示，還能夠?qū)缑娌季趾蛥?shù)展示進(jìn)行優(yōu)化，從而提升視覺效果和用戶交互的便捷性。

在GUI的設(shè)計(jì)上，選擇了LVGL作為框架，并利用GUI-Guider軟件進(jìn)行初步設(shè)計(jì)。通過(guò)這個(gè)軟件，能夠快速搭建出所需的界面布局，隨后將生成的源代碼集成到項(xiàng)目中，隨后為界面元素添加了參數(shù)設(shè)置和按鍵操作的回調(diào)函數(shù)來(lái)實(shí)現(xiàn)完整的交互功能。

語(yǔ)音處理

語(yǔ)音命令包括“前進(jìn)”、“后退”、“左移”、“右移”、“左轉(zhuǎn)”、“右轉(zhuǎn)”、“停止”、“抓取”。在上位機(jī)中點(diǎn)擊錄音，然后對(duì)著麥克風(fēng)口述上述命令之一，上位機(jī)會(huì)通過(guò)WIFI下方音頻數(shù)據(jù)。單片機(jī)接收到音頻數(shù)據(jù)后，在本地完成語(yǔ)音識(shí)別的算法，并根據(jù)命令來(lái)控制車模運(yùn)動(dòng)。

本方案通過(guò)電腦采集音頻數(shù)據(jù)，進(jìn)行幅值歸一化處理后，通過(guò)WIFI發(fā)送到車模單片機(jī)。通過(guò)RA8單片機(jī)使用WIFI-UART模塊和DMA接收數(shù)據(jù)，并通過(guò)運(yùn)行在RA8上的語(yǔ)音識(shí)別算法進(jìn)行處理。語(yǔ)音識(shí)別算法采用將音頻信號(hào)轉(zhuǎn)換為語(yǔ)譜圖，再利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型進(jìn)行識(shí)別的方法。模型訓(xùn)練后，提取網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)重參數(shù)，RA8單片機(jī)根據(jù)模型輸出的向量確定命令，然后將識(shí)別結(jié)果顯示在屏幕上，最后由控制線程完成小車的控制和機(jī)械臂抓取控制。

5

總結(jié)

以上便是此次基于瑞薩RA8的麥輪語(yǔ)音小車方案的技術(shù)分享，本項(xiàng)目使用了Arm Cortex-M85內(nèi)核的RA8D1作為主控芯片，制作了一輛集成了多種功能的語(yǔ)音麥輪小車。

方案利用RA8芯片的強(qiáng)大性能和豐富外設(shè)接口，實(shí)現(xiàn)了一個(gè)語(yǔ)音命令的閉環(huán)控制系統(tǒng)，通過(guò)陀螺儀和編碼器數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算和調(diào)整，確保了車模的精確控制。通過(guò)RA8獨(dú)有的CEU外設(shè)和芯片的高性能實(shí)現(xiàn)圖像的實(shí)時(shí)獲取、傳輸以及解壓顯示。此外，方案還采用了基于梅爾倒譜系數(shù)（MFCC）算法和卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型的語(yǔ)音識(shí)別技術(shù)，實(shí)現(xiàn)了對(duì)語(yǔ)音命令的快速識(shí)別和響應(yīng)，使得小車能夠根據(jù)語(yǔ)音指令進(jìn)行相應(yīng)的動(dòng)作，展示了RA8 MCU在智能設(shè)備領(lǐng)域的強(qiáng)大應(yīng)用潛力。