你有沒有過這樣的體驗？在高速上對著導(dǎo)航喊“小度小度”，它就神奇地回應(yīng)道“來了”；在地下車庫問“最近的充電樁”，屏幕立刻跳出相關(guān)的充電樁指引；甚至對車載語音助手說“有點冷”，空調(diào)的溫度就會悄悄調(diào)高。這些看似“讀心術(shù)”的交互背后，藏著一個能聽懂人話、能感知環(huán)境、能精準應(yīng)答的“數(shù)字領(lǐng)航員”。

當(dāng)你說“查找故宮附近的粵菜館”時，系統(tǒng)不僅要從3億多條POI數(shù)據(jù)中精準定位，還要理解“附近”是500米還是3公里；當(dāng)你追問“有包廂嗎”，它甚至能調(diào)用餐廳實時預(yù)訂系統(tǒng)。這些看似簡單的對話，需要跨越語音識別、語義理解、內(nèi)容獲取、答案生成等多重技術(shù)關(guān)卡。

百度地圖早在今年4月發(fā)布全球首個具備記憶-推理-決策全鏈能力的出行智能體「小度想想」是如何將自然語言轉(zhuǎn)化為精準指令？那些“秒回”的答案又是怎樣煉成的？

【AI地圖 Tech說】第三期將帶你拆解這位“出行搭子”的魔法工廠，看看從“聽清”到“聽懂”方面，究竟藏著多少黑科技。

上圖說明了從用戶請求到最終執(zhí)行的整個過程，可以看到其中經(jīng)過了語音識別、意圖解析、技能承接等主要的環(huán)節(jié)！

語音指令的解碼之旅：從聲波到文本

當(dāng)用戶說出"導(dǎo)航到故宮博物院"時，系統(tǒng)首先啟動聲學(xué)模型將聲波轉(zhuǎn)化為文字。這個看似簡單的步驟，其實也不容易，蘊含三層技術(shù)環(huán)節(jié)：

01基礎(chǔ)識別

其實就是我們大家常說的語音識別技術(shù)，它利用深度學(xué)習(xí)模型將聲波信號轉(zhuǎn)化為二進制序列，結(jié)合聲學(xué)模型與發(fā)音詞典生成初步文本。語音識別技術(shù)近年來經(jīng)歷了白盒化到黑盒化的演進，其性能、效果都有很大的提升，大家應(yīng)該都已經(jīng)比較熟悉。但相對于安靜室內(nèi)環(huán)境，用戶在戶外使用小度想想的時候，還有一類常見的問題是拒識。根據(jù)統(tǒng)計，至少有15%左右的語音請求是由于誤喚醒/誤收音引入的（非用戶主觀需求）。小度想想，需要考慮到行駛過程中的風(fēng)噪、聊天、多媒體播放等復(fù)雜噪音場景，百度地圖引入了雙重拒識判斷模型（聲學(xué)拒識、語義拒識），提前對問題請求進行甄別和提前攔截，最大限度降低用戶干擾，大幅提升用戶體驗。

02糾錯

通過語言模型（如BERT、N-Gram）對識別結(jié)果進行上下文糾錯，例如將“北經(jīng)”修正為“北京”。這是小度想想相對于通用的語音助手的優(yōu)勢所在，在糾錯的過程中，會使用包括地圖POI數(shù)據(jù)、路名數(shù)據(jù)等專業(yè)字典進行參考。百度地圖建設(shè)了超億條POI數(shù)據(jù)的本名、別名、關(guān)聯(lián)名的地理知識圖譜，將POI的各種表達方式建立標準化映射。在此過程中，還需要構(gòu)建錯誤拼音-標準名稱的雙向索引表，支持"西單大悅成"→"西單大悅城"這樣的智能糾錯。

03排序

在實際工程中，糾錯手段不可能只有一個，因此就需要在上述流程完成后，基于多個邏輯，會輸出多個可能的識別結(jié)果。這里就會基于用戶之前的對話習(xí)慣，以及一些其他基于先驗知識和統(tǒng)計學(xué)習(xí)的置信度評分算法，從多個候選文本中選取最優(yōu)結(jié)果（比如“橫屏模式”，在排序中會優(yōu)于“紅屏模式”）。

意圖解析的"翻譯官"：把自然語言轉(zhuǎn)化為機器指令

當(dāng)從語音的音頻識別為自然語言之后，下一步就是將其轉(zhuǎn)化為機器指令。這里包括幾個關(guān)鍵技術(shù)：

技術(shù)亮點一：『意圖模板匹配』

基于自然語言處理（NLP）技術(shù)，完成實體識別（如時間“明天”、地點“北京”）、意圖分類（如“天氣查詢”）、情感分析（如用戶是否急躁）。過去的語義理解，更多使用模板類技術(shù)，如下圖所示，針對用戶問詢的內(nèi)容抽取出關(guān)鍵要素后，再看匹配了哪種需求表達方式，這稱之為一個“意圖模板”，基于大量預(yù)置的模板就可以實現(xiàn)大部分指令的識別。

技術(shù)亮點二： 『生成式意圖理解』

模板化語義理解能解決很多問題，但是存在的關(guān)鍵短板在于泛化理解能力不足，同時高度依賴領(lǐng)域知識積累，需要提前做大量的模板標注，還要解決相近表達方式的模板沖突問題，當(dāng)模板數(shù)量達到一定程度后維護成本就會增加。LLM的出現(xiàn)，另辟蹊徑地解決了這個問題。其核心優(yōu)點是端到端利用LLM的上下文理解能力，直接解析用戶自然語言中的隱含需求，形成對“口語表達中蘊含的本質(zhì)意圖”的理解，這個過程中無需構(gòu)造模板，而是提前將全量承接API的參數(shù)規(guī)范作為“知識”以Prompt的方式注入LLM，使其自主選擇API并填充參數(shù)。舉例來說，我們可以給大模型這樣的Prompt：

角色：你是一個語音助手語義解析器，目標是將用戶指令轉(zhuǎn)換為API調(diào)用
參考資料：可用的API及參數(shù)如下：
{API參數(shù)規(guī)范庫}
用戶指令：{user_query}
任務(wù)：請按以下步驟執(zhí)行：
1.選擇最匹配的API；
2.從指令中提取參數(shù)值，若未明確提及則設(shè)為null；
3.輸出JSON格式，包含api_name和parameters。
預(yù)期輸出：{"api_name":
"search_flight","parameters": {"departure_city":
"北京", ...}}

技術(shù)亮點三：『工具調(diào)用』

工具調(diào)用是小度想想的下半身，是能夠準確承接用戶需求的關(guān)鍵支撐。其本質(zhì)上可以理解為一系列API接口的調(diào)用。當(dāng)調(diào)用序列復(fù)雜了之后，調(diào)用狀態(tài)的維護就會成為問題，小度想想針對多輪復(fù)雜工具調(diào)用，提出了基于技能的狀態(tài)機架構(gòu)，任意復(fù)雜的操作，都可以基于這套架構(gòu)來統(tǒng)一表達。

技術(shù)亮點四：『生成式AI時代的工具調(diào)用進階』

在大模型的時代，為了提升工程化的效果，在API接口的基礎(chǔ)上又誕生了兩個公認的技術(shù)范式：

MCP：聚焦模型與外部工具的連接，提供統(tǒng)一接口（如數(shù)據(jù)庫、API調(diào)用），類似“AI的USB接口”，降低跨模型開發(fā)成本。只要所有工具都以MCP的協(xié)議接入，那么大模型就可以知道這個工具能力的存在，從而能做到在合適的時候調(diào)用它。

RAG：RAG本質(zhì)上是對問答能力的數(shù)據(jù)增強，如果小度想想僅僅基于老舊的LLM底座來回答問題，會有很嚴重的幻覺發(fā)生。為了解決這個問題，往往使用檢索增強生成（Retrieval Augmented Generation，簡稱 RAG），百度地圖將所有的地圖領(lǐng)域數(shù)據(jù)以結(jié)構(gòu)化來存儲，然后在用戶提問后，以向量相似性找到對應(yīng)參考數(shù)據(jù)，并取出再用LLM做匯總，就相當(dāng)于從“閉卷考試”變成了“開卷考試”，從而保證了答案的精準性。

持續(xù)提升生產(chǎn)力：從語音助手到智能體

隨著LLM的能力越來越強，我們發(fā)現(xiàn)，它的強大理解能力，對于一個一般化的常識問題，能給出相當(dāng)接近人類的回答。那么是否它能模擬很多團隊協(xié)作的真人，甚至以硅基生命來承接現(xiàn)實世界的生產(chǎn)力？這就是智能體（Agent）要考慮的問題了。智能體是這兩年AI領(lǐng)域最火的詞之一，它是基于人工智能技術(shù)在某個領(lǐng)域體現(xiàn)高度智能，顯著提升人類工作效率的信息系統(tǒng)，相對于“語音助手”，更偏重于“通過觀察、思考、權(quán)衡利弊，動態(tài)自主調(diào)用基礎(chǔ)能力、高準確地解決復(fù)雜業(yè)務(wù)問題”的特性。

以自動駕駛場景為例，智能體可以實時感知車輛周圍的路況、其他車輛的行駛狀態(tài)、交通信號燈的變化等關(guān)鍵信息，為后續(xù)決策提供堅實的數(shù)據(jù)基礎(chǔ)。自主決策能力堪稱智能體的 “大腦”，它依據(jù)感知到的環(huán)境信息，結(jié)合內(nèi)部預(yù)設(shè)的規(guī)則和先進算法，迅速、準確地做出決策。在面對復(fù)雜路況時，自動駕駛智能體能夠綜合分析各種因素，精準判斷是加速、減速還是轉(zhuǎn)彎，以確保車輛行駛的安全與高效。又如在智能物流配送中，智能體的核心目標是按時將貨物準確送達目的地，為此它會綜合考量實時路況、車輛載重等信息，動態(tài)規(guī)劃最優(yōu)配送路線，克服重重困難以達成目標。

回到語音助手這個場景，結(jié)合地圖智能體的任務(wù)，首先要針對地圖場景深入精調(diào)大模型，百度地圖通過文心一言基座大模型進行二次預(yù)訓(xùn)練、SFT、強化學(xué)習(xí)等手段，使地圖大模型能夠精確理解用戶在地圖中的各種常見表達，理解準確率高達95%以上。

此外，針對復(fù)雜任務(wù)的執(zhí)行，還要引入的兩個特性是記憶和反思：

記憶能力

當(dāng)用戶表達不完整的需求時，能夠基于之前的問答和用戶行為，自動補全對話內(nèi)容（如用戶問“今天限行嗎？”默認補充用戶所在城市），因此需要構(gòu)建記憶能力，用于存儲歷史交互數(shù)據(jù)、用戶偏好與領(lǐng)域知識（如常用地址、路線選擇習(xí)慣、節(jié)假日出行規(guī)律），為意圖理解與決策提供背景支持，減少重復(fù)詢問并提升個性化水平。這里面的短期記憶一般是指從啟動會話至今的內(nèi)容，往往持續(xù)數(shù)分鐘，而長期記憶則是用戶相對穩(wěn)定固化的特征，就地圖智能體來說，用戶的搜索、導(dǎo)航記錄等都是長期記憶的范疇。

反思能力

一個初始狀態(tài)的智能體，在應(yīng)對用戶復(fù)雜需求以及實時環(huán)境快速變化時，往往會出現(xiàn)理解偏差、輸出內(nèi)容不完備與知識更新滯后等問題。引入反思（Reflection）能力，能顯著提升服務(wù)的精準性與智能化水平。基于上述記憶-反思流程圖，可以看到反思能力能不斷地自我判斷當(dāng)前的答案是否滿意。當(dāng)然，客觀來說，在大部分領(lǐng)域很難實現(xiàn)完美的反思能力，因為反思的本質(zhì)是要在將答案呈現(xiàn)給人之前就能判斷其質(zhì)量，這里面存在大量主觀因素和模棱兩可的問題，在這個過程中，LLM是第一大功臣，可以說針對語音對話類場景，沒有LLM純靠規(guī)則就不可能實現(xiàn)普遍有效的反思。除此之外，長短期記憶也起到了重要的作用，它能夠結(jié)合用戶之前的習(xí)慣，猜測當(dāng)前的結(jié)果是否符合用戶預(yù)期，如果不符合，會主動打回進行重新理解和執(zhí)行。

案例解析：天氣查詢的完整技術(shù)鏈路

以一個簡單的“明天北京會下雨嗎”為例，系統(tǒng)執(zhí)行以下操作：

語音識別：ASR引擎輸出“明天北京會下雨嗎”文本；

語義理解：通過注冊到小度想想的工具，結(jié)合這段文本，輸出應(yīng)當(dāng)調(diào)用天氣API，獲取相關(guān)數(shù)據(jù)；

服務(wù)調(diào)用：調(diào)用天氣API獲取預(yù)測天氣數(shù)據(jù)；

答案生成：輸出“明天北京陰有雨，15-25℃”；

反思與重新生成:LLM審視這個答案，認為還不夠詳細，反思后認為應(yīng)該按時間段細化降水概率，因此重新請求天氣API，獲取更詳細的降雨預(yù)測數(shù)據(jù)，并呈現(xiàn)給用戶。

隨著多模態(tài)大模型以及自動駕駛技術(shù)的發(fā)展，未來的小度想想會有更多的可能性。從大的趨勢來說，語音語義一體化大模型正在逐漸成熟，2025年3月31日，百度在 AI DAY 上發(fā)布了業(yè)界首個基于全新互相關(guān)注意力（Cross - Attention）的端到端語音語言大模型，該模型實現(xiàn)了超低時延與超低成本。另外，多模態(tài)的對話（比如視頻AI對話）和自動駕駛的結(jié)合也值得重視，比如通過車載攝像頭識別"前方學(xué)校區(qū)域"并自動減速；通過聲紋、視頻和車輛傳感器識別人、車的異常，主動采取應(yīng)對措施；而在導(dǎo)航行中播報的時候，所有內(nèi)容都是基于實時動態(tài)數(shù)據(jù)進行人格化生成，再也不像機器人那樣的生硬，而是像真人一樣地交流，讓我們的出行更舒適高效。