開(kāi)源項(xiàng)目 OpenHarmony 是每個(gè)人的 OpenHarmony

陸冕

博泰車(chē)聯(lián)網(wǎng)（南京）有限公司

OpenHarmony知識(shí)體系工作組

楊波

博泰車(chē)聯(lián)網(wǎng)（南京）有限公司

OpenHarmony知識(shí)體系工作組

以下內(nèi)容來(lái)自嘉賓分享，不代表開(kāi)放原子開(kāi)源基金會(huì)觀(guān)點(diǎn)

簡(jiǎn)介

AI時(shí)代，智者當(dāng)先，判斷一個(gè)終端設(shè)備是否智能，語(yǔ)音能力是必不可缺的。智能家居、智慧廚房、智能汽車(chē)等等，一切衣食住行都在往智能方向發(fā)展，那我們?cè)撊绾卧贠penAtom OpenHarmony（簡(jiǎn)稱(chēng)“OpenHarmony”）系統(tǒng)現(xiàn)有的能力下，搭建一套完整的語(yǔ)音子系統(tǒng)呢？ 本文介紹了博泰車(chē)聯(lián)網(wǎng)的研發(fā)同學(xué)如何搭建一套屬于OpenHarmony的語(yǔ)音子系統(tǒng)CarVoiceAssistant，并以車(chē)載交互的形態(tài)研發(fā)語(yǔ)音助理項(xiàng)目的過(guò)程。

效果展示

開(kāi)發(fā)環(huán)境

硬件平臺(tái)：DAYU200 系統(tǒng)版本：OpenHarmony 3.1 Release 開(kāi)發(fā)語(yǔ)言：C++，JS，eTS IDE：VS Code、DevEco Studio

功能介紹

交互流程介紹

本樣例包含兩個(gè)關(guān)鍵能力庫(kù)：QGWebRTCVAD，用作有效音頻檢測(cè)和截??；QGPocketSphinx，用作喚醒詞訓(xùn)練和識(shí)別，主要流程如下： ?
設(shè)備喚醒之后，需要持續(xù)采集用戶(hù)音頻數(shù)據(jù)，并傳輸給博泰QingAI云端，做持續(xù)識(shí)別和最終語(yǔ)義識(shí)別，識(shí)別之后客戶(hù)端根據(jù)語(yǔ)義做具體動(dòng)作執(zhí)行 。

兩步帶你實(shí)現(xiàn)語(yǔ)義助理集成

1.語(yǔ)音子系統(tǒng)集成 （1）下載語(yǔ)音助理項(xiàng)目代碼 （2）解壓【data.zip】文件 （../../dev/team_x/PATEO_CarVoiceAssistant/data.zip） （3）使用hdc工具將data中的文件發(fā)送到OpenHarmony系統(tǒng)中

#1. 將動(dòng)態(tài)庫(kù)和資源文件發(fā)送到OpenHarmony系統(tǒng)中
   # 如果提示Read only system;進(jìn)入OH系統(tǒng)后執(zhí)行:"mount -o rw,remount /"命令后再發(fā)送文件
   hdc_std.exe file send voice_assistant_service.xml /system/profile/
   hdc_std.exe file send libcarvoiceassistant.z.so /system/lib/module/libcarvoiceassistant.z.so
   hdc_std.exe file send libvoiceassistant_service.z.so /system/lib/libvoiceassistant_service.z.so
   hdc_std.exe file send libpocketsphinx.z.so /system/lib/module/libpocketsphinx.z.so
   hdc_std.exe file send libps_vad.z.so /system/lib/module/libps_vad.z.so
   hdc_std.exe file send libvoicecloud.z.so /system/lib/libvoicecloud.z.so
   hdc_std.exe file send voice_assistant_service.cfg /system/etc/init/
   
   #在系統(tǒng)/system/etc/下，創(chuàng)建目錄pocketsphinx; 創(chuàng)建目錄命令: mkdir /system/etc/pocketsphinx
   hdc_std.exe file send voice_tip.mp3 /system/etc/pocketsphinx/
   hdc_std.exe file send zh.tar /system/etc/pocketsphinx/
   
   #在OpenHarmony系統(tǒng)中解壓zh.tar
   tar xvf zh.tar
   
   #確保/system/etc/pocketsphinx/下文件目錄結(jié)構(gòu)如下：
   ├── zh
   │ ├── zh
   │ │ ├── feat.params
   │ │ ├── feature_transform
   │ │ ├── mdef
   │ │ ├── means
   │ │ ├── mixture_weights
   │ │ ├── noisedict
   │ │ ├── transition_matrices
   │ │ └── variances
   │ ├── zh_cn.dic
   │ └── zh_cn.lm.bin
   ├── voice_tip.mp3
   
#重啟系統(tǒng)

2.語(yǔ)音助理App集成 （1）引入語(yǔ)音助理聲明文件

import carvoiceassistant from '@ohos.carvoiceassistant'
// 獲取語(yǔ)音助理管理類(lèi)
letvoiceManager=carvoiceassistant.getManager();

（2）開(kāi)啟喚醒

voiceManager.enableWakeUp()

（3）注冊(cè)熱詞

voiceManager.registerHotwords(JSON.stringify(hotwords))

（4）經(jīng)緯度設(shè)置，用于云語(yǔ)音定位地理位置；例如“今天天氣怎么樣？”語(yǔ)義可以返回設(shè)置的經(jīng)緯度地區(qū)的天氣信息

voiceManager.setCoord(23.025978,113.754969)

（5）監(jiān)聽(tīng)回調(diào)，可以監(jiān)聽(tīng)識(shí)別狀態(tài)、語(yǔ)義解析回調(diào)、TTS播報(bào)狀態(tài)

voiceManager.on(carvoiceassistant.EventType.VoiceAssistantEventTypeRecognizeStateChanged, (err, data) => {
         this.isRecognizing = data['isRecognizing']
         if (this.isRecognizing) {
           this.voiceText = "我正在聽(tīng)..."
         } else if (this.voiceText == "我正在聽(tīng)...") {
           this.voiceText = ''
         }
       })
       voiceManager.on(carvoiceassistant.EventType.VoiceAssistantEventTypeAsrResult, (err, data) => {
         let json: AsrModel = JSON.parse(data['result'])
         ...
       })
       voiceManager.on(carvoiceassistant.EventType.VoiceAssistantEventTypeTTSPlayStateChanged, (err, data) => {
         let isPlaying = data["isPlaying"]
         if (isPlaying == false) {
           if (this.needDeclare) {
             this.isUserStopRecognizing = false;
             this.needDeclare = false;
             voiceManager.startRecognize();
           }
           this.voiceText = '';
         }
       })
}

（6）識(shí)別接口

voiceManager.startRecognize(); //開(kāi)始識(shí)別
voiceManager.stopRecognize();//停止識(shí)別

以上步驟完成后，你也就完成了OpenHarmony系統(tǒng)下語(yǔ)義能力集成。

總結(jié)

通過(guò)本篇文章介紹，您對(duì)OpenHarmony系統(tǒng)下CarVoiceAssistant項(xiàng)目功能應(yīng)該有了初步的了解。如果您對(duì)本篇文章內(nèi)容以及所實(shí)現(xiàn)的Demo感興趣，可以根據(jù)本篇文章介紹自行下載CarVoiceAssistant源碼進(jìn)行研究和使用。同時(shí)也歡迎更多開(kāi)發(fā)者與我們共享開(kāi)發(fā)成果，分享技術(shù)解讀與經(jīng)驗(yàn)心得。 OpenHarmony PATEO_CarVoiceAssistant倉(cāng)庫(kù)地址

https://gitee.com/openharmony-sig/knowledge_demo_travel/tree/master/docs/PATEO_CarVoiceAssistant

參考鏈接

博泰OpenHarmony語(yǔ)音助理

https://gitee.com/openharmony-sig/knowledge_demo_travel/tree/master/docs/PATEO_CarVoiceAssistant

OpenHarmony知識(shí)體系工作組

https://gitee.com/openharmony-sig/knowledge