如果橫向?qū)Ρ日Z(yǔ)音和視覺(jué)兩種技術(shù)，大多數(shù)人可能會(huì)直觀地認(rèn)為視覺(jué)是比語(yǔ)音更復(fù)雜的一種技術(shù)，但事實(shí)真是如此嗎？

在17日舉辦的中國(guó)人工智能產(chǎn)業(yè)大會(huì)上，思必馳首席科學(xué)家、“思必馳-上海交大智能人機(jī)交互聯(lián)合實(shí)驗(yàn)室”主任、上海交通大學(xué)計(jì)算機(jī)教授俞凱博士在接受雷鋒網(wǎng)采訪時(shí)表示，“語(yǔ)音和視覺(jué)是兩種不同的模態(tài)，前者是一維信號(hào)，后者是二維信號(hào)，視覺(jué)的幀率比語(yǔ)音低很多，因?yàn)橐曈X(jué)可能是一張圖片或者是視頻，視頻一秒24幀，而語(yǔ)音1秒鐘100幀就能聽(tīng)出來(lái)差別，所以從實(shí)時(shí)性來(lái)看，語(yǔ)音的難度要高于視覺(jué)，但是從本身處理的信息量來(lái)講，視覺(jué)則會(huì)難于語(yǔ)音?！?/p>

當(dāng)然語(yǔ)音交互涉及到的問(wèn)題不僅如此，它所做的不僅僅是語(yǔ)音識(shí)別。

語(yǔ)音識(shí)別屬于感知層，而感知只是語(yǔ)音交互的一部分

從上圖來(lái)看，一個(gè)端到端的語(yǔ)音交互方案包括了感知、認(rèn)知和知識(shí)處理三個(gè)部分。俞凱表示，“識(shí)別和合成都屬于感知范疇，這部分的目的是把語(yǔ)音信號(hào)轉(zhuǎn)為編碼文字，在后端需要對(duì)轉(zhuǎn)成的編碼文字進(jìn)行相應(yīng)的理解決策以及相關(guān)的表述，這是認(rèn)知?！比绾伟迅兄驼J(rèn)知連接起來(lái)是一個(gè)問(wèn)題，也是目前思必馳正在做的一件事情。

如果只看感知和認(rèn)知部分，大數(shù)據(jù)和深度學(xué)習(xí)無(wú)疑是最核心的兩個(gè)因素。

俞凱舉了兩個(gè)例子：

不久前，微軟研究院發(fā)布的最新的語(yǔ)音識(shí)別測(cè)試結(jié)果顯示，電話語(yǔ)音在語(yǔ)音識(shí)別的測(cè)試當(dāng)中已經(jīng)達(dá)到了人類的水平（上圖左上角），人類的水平是在5.9，而這次測(cè)試的數(shù)據(jù)達(dá)到了5.8。俞凱指出，語(yǔ)音識(shí)別能夠達(dá)到這一水平的關(guān)鍵就是大幅度的計(jì)算。

第二個(gè)例子是上圖左下角展示的結(jié)果，這是思必馳利用極深的神經(jīng)網(wǎng)絡(luò)在一組抗噪的語(yǔ)音識(shí)別上做的測(cè)試，測(cè)試結(jié)果是7.1，這是一個(gè)什么樣的概念？

俞凱解釋，在深度學(xué)習(xí)產(chǎn)生之前，全世界最好的結(jié)果是13.4，深度學(xué)習(xí)產(chǎn)生之后這一數(shù)值降到了12，而7.1是目前最好的結(jié)果，如果做到5以下，就達(dá)到了人類水平，事實(shí)上，在一些特定場(chǎng)景下，結(jié)合深度學(xué)習(xí)以及大數(shù)據(jù)的技術(shù)已經(jīng)可以達(dá)到人的水平。因此，大數(shù)據(jù)和深度學(xué)習(xí)對(duì)人工智能的意義是顯而易見(jiàn)的。

但俞凱強(qiáng)調(diào)，站在學(xué)術(shù)界和產(chǎn)業(yè)界的角度看，感知層并不是最高深的問(wèn)題，遠(yuǎn)場(chǎng)和外噪聲環(huán)境下的語(yǔ)音識(shí)別、非配合式的語(yǔ)音交互這些問(wèn)題學(xué)術(shù)界和從業(yè)者進(jìn)一步深入研究就可以解決。認(rèn)知問(wèn)題，是深度學(xué)習(xí)和大數(shù)據(jù)組合之外，業(yè)界需要探索的方向。

“認(rèn)知的難點(diǎn)在于你并不知道什么是好的什么是壞的，我們很難去理解在什么程度上是好的，交互決策用什么精確的指標(biāo)來(lái)客觀的衡量它，現(xiàn)在有很多不同的指標(biāo)提出來(lái)，所以在學(xué)術(shù)界和產(chǎn)業(yè)界都會(huì)存在很大的難點(diǎn)?！?/p>

認(rèn)知計(jì)算是什么？

如果在網(wǎng)上查閱資料，你會(huì)發(fā)現(xiàn)認(rèn)知計(jì)算算不上高頻詞，至少相比深度學(xué)習(xí)，認(rèn)知計(jì)算在業(yè)界的熱度還沒(méi)那么高，俞凱坦言，關(guān)于認(rèn)知計(jì)算業(yè)界目前還沒(méi)有一個(gè)統(tǒng)一的定義。

那么它和深度學(xué)習(xí)相比有什么特點(diǎn)？

俞凱向雷鋒網(wǎng)解釋道，“深度學(xué)習(xí)是一種方法，我們可以把它用在人工智能和控制上，它解決的是輸入和輸出之間的映射（算法），例如輸入語(yǔ)音，輸出的是文字；而認(rèn)知計(jì)算解決的是理解、反饋和學(xué)習(xí)問(wèn)題，它對(duì)應(yīng)于人腦當(dāng)中比較抽象的推理部分，認(rèn)知的輸入和輸出都不明確。”

它用坐標(biāo)描述了語(yǔ)音交互在認(rèn)知計(jì)算上的分類。按照對(duì)話的應(yīng)用場(chǎng)景來(lái)看，以輪回的次數(shù)作為橫坐標(biāo)，結(jié)構(gòu)的引進(jìn)程度作為縱軸，我們就可以在坐標(biāo)的象限里分成四個(gè)部分（如上圖）：命令式、問(wèn)答式、閑聊式和任務(wù)式四種場(chǎng)景。可以看出，命令式的交互和閑聊式的交互本質(zhì)上都沒(méi)有引進(jìn)絕對(duì)的結(jié)構(gòu)化信息，命令相對(duì)簡(jiǎn)單，閑聊會(huì)更復(fù)雜，而問(wèn)答和任務(wù)這兩種交互場(chǎng)景是目前應(yīng)用得比較多的類型。

再來(lái)看看認(rèn)知計(jì)算涉及到的技術(shù)，它包括深度（序列）學(xué)習(xí)、知識(shí)與數(shù)據(jù)雙輪驅(qū)動(dòng)以及強(qiáng)化學(xué)習(xí)。

1.深度學(xué)習(xí)帶動(dòng)了包括語(yǔ)音識(shí)別、對(duì)話交互在內(nèi)的技術(shù)進(jìn)步，而在認(rèn)知系統(tǒng)里，最大的進(jìn)步還是深度序列學(xué)習(xí)，即把整個(gè)文字序列看成學(xué)習(xí)目標(biāo)。

2.知識(shí)與數(shù)據(jù)雙輪驅(qū)動(dòng)的應(yīng)用越來(lái)越多，這其中出現(xiàn)了很多基于規(guī)則和統(tǒng)計(jì)混合的新的技術(shù)。

3.強(qiáng)化學(xué)習(xí)在AlphaGo之后被廣泛關(guān)注，其在對(duì)話交互當(dāng)中已經(jīng)成為最前沿的一種方式，現(xiàn)在深度Q網(wǎng)絡(luò)也已經(jīng)被廣泛應(yīng)用起來(lái)了。

認(rèn)知計(jì)算需要解決大數(shù)據(jù)和深度學(xué)習(xí)之外的問(wèn)題

俞凱認(rèn)為，深度學(xué)習(xí)和大數(shù)據(jù)是基礎(chǔ)，但它們并不是萬(wàn)能的，認(rèn)知計(jì)算需要解決的就是深度學(xué)習(xí)和大數(shù)據(jù)不能解決的問(wèn)題。例如，一個(gè)方言識(shí)別器準(zhǔn)確率即便達(dá)到了95%以上也不代表就有了好的交互體驗(yàn)，這涉及到的是深度學(xué)習(xí)和大數(shù)據(jù)之外的問(wèn)題。

首先，在深度學(xué)習(xí)之外，有兩個(gè)需要解決的問(wèn)題：交互時(shí)機(jī)和異常處理。交互時(shí)機(jī)是指在對(duì)的時(shí)間切入交互，這里面包含了信號(hào)增強(qiáng)、對(duì)話狀態(tài)追蹤、失真及重疊語(yǔ)音的識(shí)別等任務(wù)；異常處理就是要知道如何去糾正，這其中的問(wèn)題有異常檢測(cè)及置信度衡量、異常類型劃分等等。

除此之外，俞凱還介紹，大數(shù)據(jù)之外也涉及到了兩個(gè)問(wèn)題，即語(yǔ)義理解范疇延伸、知識(shí)庫(kù)和應(yīng)用規(guī)劃的結(jié)合，這些都不是通過(guò)收集到的原始大數(shù)據(jù)就能解決的，它們都需要加入很多算法。

一言以蔽之，認(rèn)知計(jì)算需要解決上述問(wèn)題才能夠在用戶層面有好的交互體驗(yàn)。

“我們會(huì)看到大數(shù)據(jù)和深度學(xué)習(xí)對(duì)普適模型以及大一統(tǒng)方案上將有很大的進(jìn)步，但是真正實(shí)際使用過(guò)程中，要一些新型技術(shù)結(jié)合進(jìn)去才有可能解決，科學(xué)上的進(jìn)步往往是從產(chǎn)業(yè)上的問(wèn)題作為入手點(diǎn)，而提出的解決方案可能會(huì)超越大家現(xiàn)在的想象?！庇釀P如此表示。言下之意，至少在語(yǔ)音交互上，產(chǎn)業(yè)界還存在很多問(wèn)題亟待解決。

但我們對(duì)未來(lái)還是要保持樂(lè)觀的心態(tài)，隨著技術(shù)問(wèn)題的進(jìn)一步解決，語(yǔ)音交互領(lǐng)域未來(lái)會(huì)產(chǎn)生一些新的商業(yè)模式。俞凱告訴雷鋒網(wǎng)，預(yù)計(jì)明年將會(huì)有很多專業(yè)領(lǐng)域提供語(yǔ)音識(shí)別服務(wù)的公司會(huì)涌現(xiàn)出來(lái)，如醫(yī)療、金融和教育等領(lǐng)域，這些都需要專業(yè)的人來(lái)做數(shù)據(jù)模型，他們只需要用一套標(biāo)準(zhǔn)化的方案就可以實(shí)現(xiàn)應(yīng)用。換言之，雖然未來(lái)可能很難再有類似思必馳這些向第三方提供lisense的平臺(tái)型的公司出現(xiàn)，但創(chuàng)業(yè)企業(yè)可以從這些平臺(tái)公司獲取基礎(chǔ)技術(shù)，再根據(jù)細(xì)分行業(yè)的具體需求來(lái)形成應(yīng)用，這是語(yǔ)音交互產(chǎn)業(yè)的未來(lái)一個(gè)發(fā)展方向。