谷歌I/O 2018正如火如荼地進行著。今年大會吸引了超過6000人前來現場，除了提前幾小時就排好的長隊，會場外的交通也早早陷入癱瘓。據不少勤奮早起的自媒體同行的凌晨報道，谷歌I/O 2018的亮點主要有以下幾個：

深度學習在醫(yī)療領域的應用；

Google Assistant：看得見、聽得到、會對話、會打電話的新一代谷歌個人助理；

TPU 3.0：性能是TPU 2.0的8倍；

Android P：智能化的手機操作系統(tǒng)，能利用機器學習節(jié)電、調節(jié)亮度，更大程度貼合用戶使用習慣。

其中，Google Assistant電話功能背后的技術是Google Duplex，在大會上發(fā)布完畢后，Google AI（原Google Research官博）就發(fā)表了Google工程副總裁兼首席工程師Yaniv Leviathan的一篇介紹文章。

Gmail已成“精”

以下是論智對博客的編譯。

人類與計算機互動的一個長期目標是使人們能與計算機自然對話，就像普通人之間的對話一樣。近年來，特別是隨著深度神經網絡的廣泛應用，我們目睹了計算機在理解、生成自然語言上的“革命性”能力提升。但盡管如此，即便是當今最先進的AI系統(tǒng)，它還是不能很好地理解自然語言。舉個例子，如今自動電話客服系統(tǒng)所使用的技術還停留在努力識別簡單的單詞和命令上，它們不參與對話流程，如果聽不懂客戶說話內容，它們會強制要求對方調整表述，而不是進行自我調整。

所以今天，谷歌宣布推出Google Duplex，一種能在電話中用自然語言完成“現實世界”任務的技術。它目前已經能完成一些特定任務，如安排某些類型的預約。這類工作要求系統(tǒng)能做到自然對話，就像人與人正常溝通一樣，而無需強制對方適應機器。

Google Duplex的適用空間非常狹窄，這也使它能起作用的一大原因。研究人員提出的一個關鍵思路就是把它限制在一些狹窄的封閉域中，讓AI進行有限地廣泛探索。當Duplex深度某領域后，它才能學會自然對話，也就是說，它不能進行一般對話。

聽起來都很自然，它們都是發(fā)生在計算機和真人店家之間的對話。

Google Duplex技術的自然性可以讓人們的對話體驗更加舒適?？紤]到谷歌向來很重視用戶和企業(yè)對服務的良好體驗，因此產品的透明度非常關鍵。這也是本文反復強調Google Duplex目前只適用于部分預約場景的原因。

進行自然對話

AI在自然對話方面有幾個難點：一是自然語言難以理解，二是難以模仿自然行為，三是用戶期待更快的回應，四則是用合適的語調生成自然的聲音很困難。

當人們彼此交談時，他們說出的話比人和計算機的對話要復雜得多。他們會經常在話說到一半的時候糾正表述，而且往往表達得啰嗦、語法不嚴謹、嚴重依賴上下文。他們還喜歡用寬泛的表述，有時在一個句子里就能連用一大串：

所以……額……星期二到星期四，我們的開門時間是11點到14點，然后16點到19點。然后星期五、星期六、星期天，我們……星期五和星期六我們11點到21點開門，星期天我們13點到21點開門。

比起機器，人類在用自然語言對話時語速非常快，再加上口齒不清、錯詞率更高，因此常規(guī)的語音識別也會識別困難。在電話通話中，由于背景噪聲大，音質不佳，這樣的問題就更嚴重了。

而在較長的談話中，相同的句子可以根據上下文具有非常不同的含義。例如在預約場景下，“Ok for 4”可以同時表示時間（4點）和人數（4人）。如果AI要理解這一點，它必須上溯幾個句子找根據，但這一過程會因為電話通話高水平的字錯誤率而變得相當復雜。

決定要說什么是一個關于對話任務和對話狀態(tài)的函數。此外，圍繞自然對話，Google Duplex也參考了一些常見的做法——其中包括闡述（elaboration，“下周五。”“啥時候？”“下個禮拜五，18號！”）、同步（sync，“你聽得清嗎？”）、中斷（interruption，“號碼是212……”“你能再說一遍嗎？”）、暫停（pause，“你能等一會兒嗎？”[等待]“謝謝！”——等待1秒和等待2分鐘含義不同）。

認識Duplex

Google Duplex在對話上的自然表現主要歸功于這4方面的進步：理解、交互、時機和交流。

它的核心是一個專用于解決自然對話問題的遞歸神經網絡（RNN），在TensorFlow Extended (TFX)平臺上完成構建，使用的訓練數據來自匿名電話會話數據語料庫。該網絡有多個輸入，包括原音頻特征、把原音頻輸入Google自動語音識別（ASR）技術后的輸出、上下文、對話的參數（例如預約的所需服務或當前時間）等，研究人員為每種任務分別訓練了一些模型，但語料庫是跨任務共享的。最后，他們又用TFX中的超參數優(yōu)化進一步改進了模型。

原音頻經ASR系統(tǒng)處理后輸入網絡，網絡最終的輸出經TTS系統(tǒng)轉為音頻

Duplex處理“中斷”、“闡述”以及對“同步”的回應：

聽起來很自然

Google Duplex組合使用文本到語音（TTS）引擎和綜合TTS引擎（使用Tacotron和WaveNet）控制語調。

由于在對話中加入了“嗯”“呃”等詞匯，系統(tǒng)的回應聽起來更自然。但這其實是TTS連接兩個音調不同的聲音或正在等待合成時使用的小障眼法，是一種自然的表示問題正在受理中的狀態(tài)（人們也經常這么做）。經過用戶研究，研究人員發(fā)現這種反應能在不利的對話情景下給對方帶來熟悉、自然的感覺。

此外，Google Duplex在回應速度方面也比較符合用戶期望。當人們說完一件簡單的事后，比如“hello？”，他們希望得到及時的回復，對回復延遲也比較敏感。如果系統(tǒng)檢測到這種情況，它會馬上切換成更快、精度更低的模型來工作。在極端情況下，Google Duplex甚至都不會調用RNN，而至直接使用最快的近似值（通常會帶各種表示猶豫的詞匯，人類面對這種事情也會有類似的反應）。這種做法使系統(tǒng)的響應延遲能小于100毫秒。

有趣的是，研究人員發(fā)現，這種表達上的拖延有利于使對話更自然——例如在回復一個非常復雜的句子時，這種“呃呃啊啊”的做法有奇效。

系統(tǒng)操作

Google Duplex系統(tǒng)能夠應對復雜對話，并且能完全自主地完成絕大部分任務，無需人工干預。該系統(tǒng)具有自我監(jiān)控功能，可以識別無法自動完成的任務（例如，安排異常復雜的預約）。面對這種情況時，它會主動向施令者發(fā)出信號。

為了在新領域訓練系統(tǒng)，研究人員使用的是實時監(jiān)督訓練。和其他訓練任務一樣，在這些實驗中，Google Duplex也會有一個充當“教師”的經驗豐富的模型為充當“學生”的模型提供指導，確保后者執(zhí)行任務的的水平最終能和自己一致。通過監(jiān)督“學生”在新場景通話中的表現，“教師”能根據需要實時影響“學生”的行為，直到它的行為滿足系統(tǒng)預期。

對于企業(yè)和用戶

經常需要預約的企業(yè)可以從Google Duplex身上獲益，有了這樣一個智能助理，企業(yè)就無需額外安排指導人員，也不用為培訓員工煞費苦心。Google Duplex還能提醒即將到期的預約項目，方便他們參加、取消或重新安排。

此外，一些用戶會經常致電企業(yè)查詢網上無法獲得的信息（假期營業(yè)時間）。Google Duplex可以幫助企業(yè)應付這些同類電話，并在網上及時更新信息。

對于個人用戶，Google Duplex可以讓生活更方便。如果想打預約電話，他們只需給智能助理下指令就能安心處理其他事情，通話過程在后臺進行，安靜無聲，無需參與。

它的另一個好處是Duplex能夠以異步方式與服務提供商進行授權通信，例如，在非工作時間和對方聯絡。它還可以幫助解決殘障人士的不便和語言障礙問題，例如聽力障礙的用戶或不會說當地語言的用戶可以把通話任務交給Duplex，讓它幫忙執(zhí)行任務。

今年夏季，谷歌將在Google Assistant中測試Google Duplex，屆時它的功能包括預約餐廳、預約美發(fā)和跟老板請假。

Google Duplex負責人Yaniv Leviathan和該項目的工程經理Matan Kalman通過Duplex打電話預訂了一頓飯

讓人們和技術能自然而然地互動，這是谷歌長久以來的承諾，而Google Duplex向這個方向邁出了第一步。