不出聲，僅僅通過(guò)喉嚨和下顎的皮膚震動(dòng)就能知道你想說(shuō)什么。

這可不是特工電影里某個(gè)天馬行空的高科技，最近，東京大學(xué)和索尼計(jì)算機(jī)科學(xué)研究所（CSL）共同研發(fā)出AI系統(tǒng)“Derma”就能實(shí)現(xiàn)上述功能，通過(guò)將傳感器貼合在喉嚨周?chē)钠つw上，就能實(shí)現(xiàn)從口形(無(wú)聲說(shuō)話)到語(yǔ)音的轉(zhuǎn)化。

電影里奄奄一息的富翁想要修改遺囑卻無(wú)法發(fā)聲最終被自私的兒子私吞財(cái)產(chǎn)的事再也不會(huì)發(fā)生了，當(dāng)然首先，你要成為富二代。

不過(guò)，這項(xiàng)技術(shù)可不是用來(lái)干這個(gè)的。

據(jù)相關(guān)研究人員透露，研究靈感最初來(lái)源于視聽(tīng)障礙者的觸診唇讀法，他們會(huì)用手指觸摸說(shuō)話者的嘴唇和下巴周?chē)?，以此讀取說(shuō)話內(nèi)容。也就是說(shuō)，他們通過(guò)觸摸障礙者嘴唇周?chē)钠つw就可以知道他們的說(shuō)話內(nèi)容。

研究中，研究者們利用機(jī)器學(xué)習(xí)把整個(gè)過(guò)程自動(dòng)化，完成了深層學(xué)習(xí)的無(wú)聲語(yǔ)音交互(Silent Speech Interaction，SSI)。

▲ 傳感器安裝圖

不過(guò)目前相關(guān)設(shè)備還在進(jìn)一步地完善中，與可穿戴電子設(shè)備和身體嵌入式計(jì)算設(shè)備結(jié)合也還處于設(shè)想階段。

但是想想總不是什么壞事。

具體說(shuō)一下“Derma”。

只要在下顎皮膚的兩個(gè)位置安裝MEMS(Micro ElectroMechanical Systems)加速度計(jì)和角速度傳感器，就能通過(guò)隨著說(shuō)話發(fā)生的下顎運(yùn)動(dòng)和舌肌運(yùn)動(dòng)引起的從下顎到喉嚨的皮膚顫動(dòng)，進(jìn)行無(wú)聲的“語(yǔ)音識(shí)別”了。

實(shí)驗(yàn)中，研究者從傳感器上獲取到了12維皮膚運(yùn)動(dòng)信息，通過(guò)深度學(xué)習(xí)能夠分析識(shí)別35種發(fā)聲命令短語(yǔ)，而且他們發(fā)現(xiàn)，系統(tǒng)的識(shí)別準(zhǔn)確率達(dá)到了94%以上。

▲ Derma的概要圖：利用附著在咽喉周?chē)つw上的加速度/角速度傳感器，通過(guò)無(wú)聲說(shuō)話獲取下顎皮膚運(yùn)動(dòng)信息，利用深層學(xué)習(xí)進(jìn)行分析和識(shí)別

于是，利用生成音素記號(hào)系列的連接時(shí)間分類(lèi)(Connectionist Temporal Classification, CTC)的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練之后的模型就能把無(wú)聲說(shuō)話的皮膚顫動(dòng)轉(zhuǎn)換為語(yǔ)音，轉(zhuǎn)換后的語(yǔ)音合成除了可以輸入到附近的具有語(yǔ)音識(shí)別功能的數(shù)字設(shè)備（語(yǔ)音助手）之外，還可以用于幫助因聲帶損傷等原因而難以發(fā)聲的用戶進(jìn)行交流。

▲ 實(shí)驗(yàn)使用的加速度/角速度傳感器

與現(xiàn)有的無(wú)聲語(yǔ)音交互研究相比，這個(gè)設(shè)備在安裝時(shí)并不顯眼，而且體積小、重量輕、耗電量低，不易受到照明條件等周?chē)h(huán)境因素的影響。在生活中，該設(shè)備也不會(huì)影響到使用者的正常生活，吃飯和日常的交流可以照常進(jìn)行，簡(jiǎn)直不能再實(shí)用。

相信這個(gè)設(shè)備在未來(lái)會(huì)造福大批殘障人士。