“快點(diǎn)！導(dǎo)航去最近的醫(yī)院！”，當(dāng)你焦急地對車載助手說到。

“好的，正在為您規(guī)劃路線……”，傳統(tǒng)AI在幾秒后，以平淡語氣回應(yīng)。一個(gè)真正AI應(yīng)該迅速回應(yīng)，以沉穩(wěn)語氣說到：“好的，已為您規(guī)劃最快路線，預(yù)計(jì)12分鐘到達(dá)。請小心駕駛！”

讓AI感知用戶情緒，從冰冷服務(wù)進(jìn)化成為心意相通的助手，這并非存在于《Her》或《鋼鐵俠》等科幻電影。大模型加持的語音交互全新升級，能夠輕松應(yīng)對多輪對話，而且實(shí)現(xiàn)情緒響應(yīng)和個(gè)性定制。

2024年8月，科大訊飛發(fā)布了星火極速超擬人交互技術(shù)，在響應(yīng)和打斷速度、情緒感知情感共鳴、語音可控表達(dá)、人設(shè)扮演四個(gè)方面實(shí)現(xiàn)巨大突破，讓語音交互速度變得更快，能夠感知你話語里的喜怒哀樂并用合適的情緒回復(fù)，還可根據(jù)需要讓超擬人的聲音變換節(jié)奏、大小，甚至切換不同的角色聲音和性格對話。

現(xiàn)在超擬人交互API正式上線訊飛開放平臺，面向開發(fā)者開放調(diào)用。通過接入相應(yīng)的API，開發(fā)者無需從零開始搭建復(fù)雜架構(gòu)，即可實(shí)現(xiàn)用戶與AI的實(shí)時(shí)語音互動，構(gòu)建契合業(yè)務(wù)場景的AI實(shí)時(shí)對話能力，提供高效流暢的溝通體驗(yàn)。從游戲NPC、虛擬助手到智能客服與數(shù)字導(dǎo)游，語音交互的想象邊界正在被重新定義。

01秒級響應(yīng)，雙商在線的超擬人交互

作為人類與AI交流的最主要入口，語音交互已滲透至我們的日常工作生活中：叫音箱播放指定音樂、讓掃地機(jī)器人定時(shí)工作、對車載系統(tǒng)喊一句“導(dǎo)航回家”。AI游戲陪玩、AI虛擬陪伴、AI口語陪練等，各種AI應(yīng)用對語音交互的需求也呈爆發(fā)式增長。

然而，在實(shí)際使用中，傳統(tǒng)語音交互仍存在明顯痛點(diǎn)：

響應(yīng)遲緩：動輒數(shù)秒的延遲，打斷對話節(jié)奏，帶來強(qiáng)烈的割裂感。

情緒單一： 機(jī)械化的語調(diào)，缺乏情感溫度，難以建立真正的連接。

語境缺失： 難以理解言外之意，導(dǎo)致交互中斷或理解錯(cuò)位。

大模型時(shí)代下，當(dāng)我們從技術(shù)層面分析傳統(tǒng)語音交互體驗(yàn)不佳的原因會發(fā)現(xiàn)，傳統(tǒng)語音交互如同一個(gè)需要分布處理的流水線：語音輸入后，先由“語音識別”車間轉(zhuǎn)成文字，再交由“大模型”車間思考回復(fù)文本，最后由“語音合成”車間將文字朗讀出來。這個(gè)串聯(lián)過程不僅步驟繁瑣，且每個(gè)環(huán)節(jié)都存在延遲，累加起來，3秒的響應(yīng)時(shí)間已是常態(tài)。

同時(shí)，文本是其中傳遞信息的載體，在語音轉(zhuǎn)文字再轉(zhuǎn)語音的過程中，語音的很多情感、副語言信息甚至是環(huán)境信息都會丟失，導(dǎo)致語音交互系統(tǒng)只能針對語音的文本內(nèi)容進(jìn)行回應(yīng)，會忽略我們在語音中本身真實(shí)的情感、語氣等元素。

在許多關(guān)鍵場景中，延遲意味著無法用，甚至危險(xiǎn)。如：導(dǎo)航指令若晚幾秒反饋，用戶可能已錯(cuò)過路口；與智能客服溝通時(shí)，頻繁的“空白加載”足以讓用戶不耐煩地掛斷電話。大模型的“聰明”，只有搭配“實(shí)時(shí)”的響應(yīng)，才能成為真正有溫度、有價(jià)值的交互智能。正如智能手機(jī)時(shí)代的流暢滑動是用戶接受觸屏的關(guān)鍵，「實(shí)時(shí)」是AI接口從“嘗鮮”走向“常用”的門檻。

星火極速超擬人交互則跨文本和音頻模態(tài)，采用了統(tǒng)一神經(jīng)網(wǎng)絡(luò)直接實(shí)現(xiàn)語音到語音的端到端建模：

1語音通過音頻編碼器得到音頻表征后，通過適配器與文本語義表征進(jìn)行對齊；

2對齊完成之后的內(nèi)容輸入多模LLM，預(yù)測輸出表征；

3經(jīng)過音頻解碼器后，最終輸出情緒自然、節(jié)奏準(zhǔn)確的合成語音。

星火極速超擬人語音交互技術(shù)框架圖

相比于傳統(tǒng)的交互系統(tǒng)，統(tǒng)一的模型大大提升了整體的響應(yīng)和打斷速度，人與AI的交互也從你問我答的“微信語音模式”，切換到了實(shí)時(shí)響應(yīng)的“微信通話模式”。

但反應(yīng)迅速只是第一步，沒有情感的交互依舊是“冷冰冰”的機(jī)器。如何讓語音交互更有溫度？

在星火極速超擬人交互系統(tǒng)中，基于端到端框架之上，融入了多維度語音屬性解耦表征訓(xùn)練，將內(nèi)容、情感、語種、音色、韻律等屬性進(jìn)行解耦，進(jìn)行對比學(xué)習(xí)和掩碼預(yù)測。不僅實(shí)現(xiàn)了內(nèi)容識別更準(zhǔn)、情感等屬性感知度更高，還可以更便捷進(jìn)行定制，方便系統(tǒng)快速落地。

02“快、準(zhǔn)、真”，打造下一代AI語音應(yīng)用

基于語音交互技術(shù)的突破，面向開發(fā)者開放的超擬人交互API具有三大核心優(yōu)勢：

同時(shí)，訊飛開放平臺還為開發(fā)者提供了詳細(xì)開發(fā)文檔，方便開發(fā)者們快速上手并了解超擬人交互API 的各項(xiàng)功能特色、調(diào)用過程中的常見錯(cuò)誤。

03多場景快速落地，成本低至0.1元/分鐘

超擬人交互API的上線，不僅為開發(fā)者提供了一種新的語音應(yīng)用開發(fā)范式，降低了開發(fā)門檻，也讓開發(fā)者能夠更加聚焦應(yīng)用創(chuàng)新和場景落地，以更天馬行空的想象力，創(chuàng)造出更具“生命力”的AI應(yīng)用。

文旅場景

結(jié)合故事演繹和RAG（檢索增強(qiáng)生成），AI可以作為數(shù)字導(dǎo)游為游客介紹景點(diǎn)，在特定場景下與游客進(jìn)行角色扮演互動，讓游客“沉浸于”歷史。

游戲場景

基于角色人設(shè)，模型與玩家互動時(shí)，可以自動生成符合該角色價(jià)值觀、人生經(jīng)歷、語氣的對話，讓虛擬角色栩栩如生。

智能助手場景

可自由設(shè)定AI助理各種不同的人設(shè)，并以符合人設(shè)的背景、語氣與用戶互動，為每個(gè)用戶打造獨(dú)一無二的AI助理。

智能玩具場景

通過生動復(fù)刻各類IP角色，并以角色特有的性格、口吻與兒童互動，建立強(qiáng)烈的情感鏈接與代入感。

為進(jìn)一步降低高質(zhì)量語音交互的落地門檻，讓開發(fā)者“輕裝上陣”，在API調(diào)用成本上，訊飛開放平臺也提供了極具誠意的產(chǎn)品價(jià)格：每分鐘交互成本低至0.1元，這意味著，僅需用一杯咖啡的錢，就能讓應(yīng)用與用戶“暢聊”數(shù)小時(shí)。

此外，通過企業(yè)認(rèn)證，開發(fā)者還可“解鎖”有效期3個(gè)月，長達(dá)10小時(shí)的免費(fèi)試用，實(shí)現(xiàn)對產(chǎn)品的快速驗(yàn)證。

從OpenAI、微軟、谷歌等AI巨頭，到Character AI 的新銳AI創(chuàng)業(yè)公司，語音交互正成為AI應(yīng)用公司最強(qiáng)大的突破口之一。科大訊飛憑借在語音技術(shù)領(lǐng)域持續(xù)二十余年的深耕，在這一賽道上有著強(qiáng)大的技術(shù)實(shí)力和市場競爭力。

IDC發(fā)布的報(bào)告顯示，2024年上半年，中國人工智能語音語義整體市場規(guī)模為 72.3 億元人民幣，同比增長18%，科大訊飛市場份額在主要廠商中位居第一，持續(xù)引領(lǐng)行業(yè)發(fā)展。

現(xiàn)在，借助訊飛開放的超擬人交互API，開發(fā)者可以輕松打造真正“能聽會說、情感在線”的AI應(yīng)用，提高產(chǎn)品競爭力。