上海潤(rùn)欣科技股份有限公司創(chuàng)研社

前言

聲音本來(lái)就是最天然的人機(jī)交互方式，但在之前漫長(zhǎng)的時(shí)間里面，受限于語(yǔ)音識(shí)別，人工智能網(wǎng)絡(luò)寬帶等因素，并沒(méi)有成為主流。但從2017年開始，AI,語(yǔ)音識(shí)別，網(wǎng)路應(yīng)用，移動(dòng)APP，這幾樣已經(jīng)發(fā)展成熟，萬(wàn)事俱備，語(yǔ)音智能的應(yīng)用正好趁著東風(fēng)迅速發(fā)展起來(lái)，而且智能音箱表面看似乎只是一款音箱，但實(shí)際上有更戰(zhàn)略性的作用，也就是說(shuō)實(shí)際上是智能家庭的入口，借助于物聯(lián)網(wǎng)技術(shù)，智能音箱實(shí)際上成為了智能家庭連接互聯(lián)網(wǎng)的網(wǎng)關(guān)，是家庭互聯(lián)網(wǎng)交互的人機(jī)界面，正因?yàn)槿绱?，我們可以看到幾乎所有的互?lián)網(wǎng)巨頭都不遺余力的發(fā)展自己的智能音箱產(chǎn)品，因?yàn)檎l(shuí)搶占了智能家庭的入口，誰(shuí)就可以把握先機(jī)，在此基礎(chǔ)上布置本公司的家電產(chǎn)品生態(tài)鏈。

我們通過(guò)拆解市面上已經(jīng)有的一些產(chǎn)品來(lái)分析，然后對(duì)于語(yǔ)音子系統(tǒng)會(huì)有一個(gè)詳細(xì)的案例。首先我們來(lái)看一下，智能音箱產(chǎn)品的系統(tǒng)構(gòu)成以及工作中的信息流動(dòng)。首先智能音箱區(qū)別于傳統(tǒng)的AI產(chǎn)品。它不是一個(gè)孤立的存在，它們實(shí)質(zhì)是一個(gè)互聯(lián)網(wǎng)的智能終端。

先通過(guò)麥克風(fēng)陣列時(shí)刻采集語(yǔ)音，然后對(duì)語(yǔ)音進(jìn)行降噪等加工，然后做關(guān)鍵字識(shí)別，例如：homepad Hisiri或者 “天貓精靈”，“小愛同學(xué)”之類的關(guān)鍵詞，一旦識(shí)別關(guān)鍵詞之后，就會(huì)對(duì)后面采集到的語(yǔ)音數(shù)據(jù)進(jìn)行壓縮編碼，通過(guò)互聯(lián)網(wǎng)傳到云端，云端的AI服務(wù)器具有強(qiáng)大的運(yùn)算能力，對(duì)語(yǔ)音指令進(jìn)行識(shí)別，然后根據(jù)指令來(lái)做相應(yīng)的回復(fù)，例如傳回語(yǔ)音回復(fù)，傳回一首歌的流媒體數(shù)據(jù)，或者傳回對(duì)家中聯(lián)網(wǎng)的物聯(lián)網(wǎng)終端的控制，例如開關(guān)空調(diào)等動(dòng)作。智能音箱收到媒體流數(shù)據(jù)后進(jìn)行解碼驅(qū)動(dòng)，揚(yáng)聲器播放語(yǔ)音回復(fù)，手到家電控制指令后通過(guò)WIFI,BT來(lái)轉(zhuǎn)發(fā)到被控制的家電。所以這個(gè)工作的數(shù)據(jù)流還是很清晰的。

在產(chǎn)品架構(gòu)上面，首先，這是一臺(tái)嵌入式電腦，因?yàn)樯婕暗浇翟氲?a href="http://m.sdkjxy.cn/v/tag/2562/" target="_blank">算法，以及流媒體編解碼和播放功能，通常有一顆運(yùn)算能力相當(dāng)強(qiáng)勁的處理器內(nèi)核，目前主流的ARM架構(gòu)是四核或者八核的CORTEX-A7處理器，浮點(diǎn)的運(yùn)算能力強(qiáng)勁，以及1G以上的ARM空間，外部搭配8G的EMMC或者NANDFLASH等閃存外設(shè)，用于存儲(chǔ)應(yīng)用的數(shù)據(jù)。外圍則有兩個(gè)主要的子系統(tǒng)，一個(gè)是語(yǔ)音處理子系統(tǒng)，一個(gè)是無(wú)線通信子系統(tǒng)，其中無(wú)線通信子系統(tǒng)輔助WIFI和BT通信，通過(guò)WIFI連接到無(wú)線AP和云端，或者在沒(méi)有公網(wǎng)的情況下和無(wú)線局域網(wǎng)中的其他智能家電通過(guò)WIFI來(lái)交互。WIFI通信的吞吐量達(dá)，可以傳大流量的流媒體數(shù)據(jù)是智能音箱的聯(lián)網(wǎng)基礎(chǔ)。藍(lán)牙這一部分通常通過(guò)經(jīng)典藍(lán)牙作為手機(jī)和外設(shè)交互數(shù)據(jù)，通過(guò)BLEMESH或者傳統(tǒng)的BLE一拖多的方式和家庭網(wǎng)關(guān)的其他智能設(shè)備交互?？梢灶A(yù)見未來(lái)無(wú)限通信部分還可能引入ZIGBEE模式作為網(wǎng)關(guān)來(lái)連接ZIGBEE燈之類的智能家居產(chǎn)品。

然后就是語(yǔ)音子系統(tǒng)，又分為輸入和輸出兩塊，輸入通常是一個(gè)麥克風(fēng)陣列，用于拾取聲音數(shù)據(jù)，輸出通常是IIS/PCM接口的音頻CODEC芯片，通過(guò)音頻功效進(jìn)行功率放大后驅(qū)動(dòng)一個(gè)4歐、8歐尺寸揚(yáng)聲器，當(dāng)然語(yǔ)音和機(jī)械結(jié)構(gòu)高度相關(guān)，因此除了電子部分外，音腔的設(shè)備，麥克風(fēng)的位置，陣列結(jié)構(gòu)也是很重要的。

除了內(nèi)核，無(wú)線，語(yǔ)音三個(gè)主要板塊外，還有一些其他輔助性的外設(shè)，比如LED燈，指示和背景燈，8D卡存儲(chǔ),USB接口以及充電和電源管理系統(tǒng)。

在聲學(xué)結(jié)構(gòu)上面，在設(shè)計(jì)的時(shí)候要注意麥克風(fēng)和揚(yáng)聲器的結(jié)構(gòu)設(shè)計(jì),對(duì)于麥克風(fēng)：

1） 人聲能直達(dá)每個(gè)麥克，避免掩蔽效應(yīng)，即產(chǎn)品正常使用場(chǎng)景下，保證聲源的直達(dá)聲（非反射聲）到達(dá)每個(gè)麥克的機(jī)會(huì)是均等的，舉例，麥克風(fēng)震膜背對(duì)人的嘴巴就可能會(huì)形成掩蔽效應(yīng)；

2） 聲音到達(dá)麥克風(fēng)的路徑盡可能短、寬，要求諧振點(diǎn)頻率在8KHz以上。對(duì)于緊貼面殼安裝方式，要求聲孔的深度(面殼進(jìn)聲孔外側(cè)到MIC進(jìn)聲孔外側(cè)的距離)小于1.5mm，聲孔直徑盡可能大（最小2mm）。如果麥克能直接在表面最好；

3） 聲音路徑內(nèi)不要存在任何空腔，對(duì)于緊貼面殼安裝方式，震膜和殼體內(nèi)壁不要有縫隙；

4） 麥克風(fēng)要遠(yuǎn)離干擾或震動(dòng)（喇叭震動(dòng)、結(jié)構(gòu)轉(zhuǎn)動(dòng)震動(dòng)）。對(duì)于震動(dòng)，一般采用硅膠套進(jìn)行減震密封處理，硅膠軟硬度可根據(jù)實(shí)際結(jié)構(gòu)形式進(jìn)行匹配驗(yàn)證，一般要求盡可能軟；

5） 對(duì)于駐極體麥克風(fēng)，結(jié)構(gòu)設(shè)計(jì)和生產(chǎn)過(guò)程中要考慮對(duì)麥克風(fēng)的保護(hù)，避免擠壓引發(fā)的麥克風(fēng)一致性損失；

對(duì)于揚(yáng)聲器：

1） 喇叭的失真要小，100Hz-1kHz失真要小于10%，1kHz之后小于5%。一般喇叭在低頻部分失真會(huì)較高，超過(guò)10%，建議加濾波器濾除低頻成份。

2） 喇叭的結(jié)構(gòu)設(shè)計(jì)要避免結(jié)構(gòu)引發(fā)的失真，喇叭要進(jìn)行減震處理，避免結(jié)構(gòu)震動(dòng)對(duì)麥克造成較大影響。

3） 喇叭腔體四周與其它機(jī)構(gòu)件至少保留1mm的間距，振膜上方與機(jī)構(gòu)件至少保留1.5mm的間隙，防止喇叭碰到結(jié)構(gòu)件產(chǎn)生振動(dòng)和異音。

4） 避免結(jié)構(gòu)內(nèi)聲音傳播，即喇叭的聲音不能在結(jié)構(gòu)內(nèi)泄露到麥克，只能通過(guò)結(jié)構(gòu)外的空氣傳播到麥克，建議喇叭和麥克風(fēng)放在不同腔體內(nèi)或選用性能好的密封材料對(duì)腔體內(nèi)麥克部分進(jìn)行密封；

語(yǔ)音子系統(tǒng)的框架結(jié)構(gòu)如下圖所示：

目前在開源硬件領(lǐng)域，有一些非常具有參考價(jià)值的實(shí)現(xiàn)，比如Respeaker就是一個(gè)注明的智能語(yǔ)音系統(tǒng)的開源實(shí)現(xiàn)。

Resepeker 2-MIC Array

這款麥克風(fēng)陣列使用WM8960作為codec。

Resepeker 4-MIC Array

芯智匯AC108 高性能四通道數(shù)據(jù)轉(zhuǎn)換器ADC，主要應(yīng)用于智能語(yǔ)音遠(yuǎn)場(chǎng)麥克風(fēng)陣列拾音，最多可級(jí)聯(lián)16路麥克風(fēng)。AC108的SNR為108dB

Respeaker 6-MIC Array

芯智匯AC108 高性能四通道數(shù)據(jù)轉(zhuǎn)換器ADC + AC101 DAC

Respeaker Core 2.0

Rockchip 瑞芯微RK3229單芯片方案,內(nèi)部集成音頻處理單元

除了上述麥克風(fēng)陣列方案之外，還可以使用DSP方案來(lái)做語(yǔ)音處理，這里介紹一款專用的語(yǔ)音DSP方案，Realtek ALC5680.

上面可以看到此DSP芯片的參數(shù)以及硬件封裝。

使用DSP 芯片可以將前級(jí)的音頻輸出做前期處理，從而大大減少了ARM處理器的負(fù)荷，在低功耗解決方案中是常用的配置。

在軟件處理上面，當(dāng)前有一些開源的實(shí)現(xiàn)可供參考：

GNU/Linux OS

speech algorithms

- DoA (Direction of Arrival)

- BF (Beam-Forming)

- AEC (Acoustic Echo Cancellation)

- KWD Keyword wake-up

- NS(Noise suppression)

- AGC (Automatic gain control)

基于Linux系統(tǒng)，有較多的語(yǔ)音處理算法。

在AI 上面，目前主要的生態(tài)系統(tǒng)有 Amazon Google DuerOS等。

AI Ecosystem

- Amazon Alexa

- Google Assistant

- DuerOS

- Etc.