從全球協(xié)作，到國(guó)際交流，再到知識(shí)普惠，實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫(xiě)已經(jīng)成為信息傳遞的重要工具。它讓跨越時(shí)空的交流更順暢，讓內(nèi)容的獲取更高效。

近期，訊飛實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫(xiě)大模型上線訊飛開(kāi)放平臺(tái)，面向向開(kāi)發(fā)者和企業(yè)開(kāi)放調(diào)用。不僅在支持語(yǔ)種和方言數(shù)上業(yè)界領(lǐng)先，相比于傳統(tǒng)“能轉(zhuǎn)寫(xiě)”的方案，它還把“快、準(zhǔn)、穩(wěn)”做到了新高度，堪稱(chēng)語(yǔ)音轉(zhuǎn)寫(xiě)領(lǐng)域的“全能選手”。

語(yǔ)種覆蓋廣：支持37種語(yǔ)種、202種方言（全國(guó)地級(jí)市方言全覆蓋）免切識(shí)別，可滿足復(fù)雜的多樣化語(yǔ)言場(chǎng)景需求；

識(shí)別準(zhǔn)確率高：抗噪、抗口音干擾效果大幅提升，極大提高了語(yǔ)音識(shí)別準(zhǔn)確度，轉(zhuǎn)寫(xiě)準(zhǔn)確率超98%；

角色分離準(zhǔn)：對(duì)角色盲分效果重點(diǎn)提升，同時(shí)支持基于聲紋分離發(fā)音人角色，效果突出；

響應(yīng)速度快：對(duì)于音頻流實(shí)現(xiàn)毫秒級(jí)識(shí)別，并返回帶有時(shí)間戳的文字流，便于二次開(kāi)發(fā)；

01傳統(tǒng)轉(zhuǎn)寫(xiě)的“能力天花板”

科幻經(jīng)典《銀河系漫游指南》中，有一種能放進(jìn)耳朵里、實(shí)現(xiàn)宇宙間萬(wàn)物生靈實(shí)時(shí)翻譯的神奇生物——“巴別魚(yú)”。如果說(shuō)“巴別魚(yú)”寄托了人類(lèi)跨越語(yǔ)言鴻溝、實(shí)現(xiàn)無(wú)縫溝通的夢(mèng)想，那么實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫(xiě)則讓溝通更清晰、更高效。它像一個(gè)“隱形速記員”，把每一句對(duì)話即時(shí)定格為文字，讓信息不再流失。

從最初的人工手動(dòng)轉(zhuǎn)寫(xiě)到如今的智能化、全流程自動(dòng)化，實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫(xiě)技術(shù)雖在不斷革新、應(yīng)用的場(chǎng)景日益拓展，但人們?cè)谑褂脮r(shí)常常遇到不少“麻煩”：

大型體育賽事轉(zhuǎn)播中，受背景噪音干擾，觀眾看到的字幕可能是“模糊、斷句不全”的結(jié)果；

跨國(guó)會(huì)議上，因未能及時(shí)手動(dòng)切換翻譯模式，在不同語(yǔ)種夾雜的自然表達(dá)中，關(guān)鍵信息就此丟失；

團(tuán)隊(duì)討論時(shí)，實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫(xiě)技術(shù)雖然能轉(zhuǎn)寫(xiě)出文字，但往往分不清是誰(shuí)說(shuō)的，復(fù)盤(pán)觀點(diǎn)無(wú)異于一場(chǎng)“考古工作”；

在線教育場(chǎng)景里，如果老師帶有濃重口音或方言，字幕往往出現(xiàn)明顯延遲甚至錯(cuò)誤，學(xué)習(xí)體驗(yàn)瞬間被打斷；

對(duì)追求高效的現(xiàn)代企業(yè)而言，如何在“實(shí)時(shí)性、穩(wěn)定性與多語(yǔ)言覆蓋”之間找到平衡，始終是一道難題。

02大模型賦能，讓轉(zhuǎn)寫(xiě)從‘能用’到‘好用

大模型技術(shù)的浪潮給語(yǔ)音帶來(lái)了新的機(jī)會(huì)，在語(yǔ)音識(shí)別方面，提升了語(yǔ)言模型覆蓋能力和上下文相關(guān)詞識(shí)別效果，突破復(fù)雜場(chǎng)景效果上限；在多語(yǔ)種方面，提升了語(yǔ)料稀缺語(yǔ)種識(shí)別效果，以及跨語(yǔ)言聲音復(fù)刻能力。實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫(xiě)，也得以有了一次徹徹底底的“進(jìn)化升級(jí)”。

訊飛開(kāi)放平臺(tái)上線的實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫(xiě)大模型，不僅解決了“能識(shí)別”的問(wèn)題，更解決了“識(shí)別得夠快、夠準(zhǔn)、夠普適”的問(wèn)題。

37個(gè)語(yǔ)種、202種方言免切識(shí)別

從需要用戶“遷就”機(jī)器，變成了機(jī)器主動(dòng)“理解”用戶。用戶無(wú)需任何手動(dòng)操作，日語(yǔ)、韓語(yǔ)、俄語(yǔ)、法語(yǔ)、希臘語(yǔ)、西班牙語(yǔ)、孟加拉語(yǔ)等語(yǔ)種及四川話、粵語(yǔ)、客家話、閩南話、上海話等方言，模型都能實(shí)時(shí)、無(wú)縫地精準(zhǔn)轉(zhuǎn)寫(xiě)，告別因模式切換帶來(lái)的信息丟失。

訊飛提出結(jié)合語(yǔ)音屬性解耦預(yù)訓(xùn)練的語(yǔ)音大模型，實(shí)現(xiàn)了202種方言的免切換使用

在與競(jìng)品的實(shí)際測(cè)試中，訊飛實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫(xiě)大模型效果優(yōu)勢(shì)明顯。與傳統(tǒng)實(shí)時(shí)轉(zhuǎn)寫(xiě)相比，中文通用場(chǎng)景中，會(huì)議場(chǎng)景的轉(zhuǎn)寫(xiě)準(zhǔn)確率提升15%-20%。

角色分離，精準(zhǔn)識(shí)人

角色盲分效果進(jìn)行了重點(diǎn)提升，即便在多人自由討論、無(wú)任何預(yù)設(shè)的場(chǎng)景，也可實(shí)時(shí)將不同發(fā)言人標(biāo)記為“發(fā)言人1”“發(fā)言人2”“發(fā)言人3”......會(huì)議紀(jì)要從此告別混亂，每一條觀點(diǎn)都能清晰溯源；同時(shí)，支持基于聲紋注冊(cè)來(lái)分離發(fā)音人角色。只需提前錄入關(guān)鍵參會(huì)人員的聲紋，模型在轉(zhuǎn)寫(xiě)時(shí)就能直接輸出他們的真實(shí)姓名或身份。

高識(shí)別率，高準(zhǔn)確率

實(shí)時(shí)轉(zhuǎn)寫(xiě)的應(yīng)用場(chǎng)景（如會(huì)議、戶外、車(chē)載）常存在噪聲、回聲、遠(yuǎn)場(chǎng)、多說(shuō)話人等干擾，基于訊飛提出的聲紋與空間信息雙重解耦的說(shuō)話人分離技術(shù)、語(yǔ)音識(shí)別大模型聲學(xué)與語(yǔ)言自適應(yīng)方案，實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫(xiě)大模型在復(fù)雜聲學(xué)環(huán)境下的抗噪、抗口音干擾效果大幅提升，在真實(shí)多變的場(chǎng)景中確保語(yǔ)音識(shí)別的準(zhǔn)確率。

2024年6月27日，訊飛星火V4.0發(fā)布會(huì)上，現(xiàn)場(chǎng)演示強(qiáng)干擾場(chǎng)景下的語(yǔ)言識(shí)別

早在2024年，訊飛就已突破了多人混疊場(chǎng)景下的極復(fù)雜場(chǎng)景語(yǔ)音轉(zhuǎn)寫(xiě)技術(shù)，即使在三人混疊說(shuō)話的場(chǎng)景也能實(shí)現(xiàn)86%的語(yǔ)音識(shí)別準(zhǔn)確率。

03多元化場(chǎng)景應(yīng)用，溝通效率轉(zhuǎn)化為生產(chǎn)力

任何一項(xiàng)技術(shù)的價(jià)值，都要通過(guò)具體的場(chǎng)景落地來(lái)驗(yàn)證。當(dāng)實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫(xiě)大模型被應(yīng)用到真實(shí)的業(yè)務(wù)流程時(shí)，會(huì)發(fā)生怎樣的化學(xué)反應(yīng)？

全球化協(xié)作，再無(wú)障礙

無(wú)論是遠(yuǎn)程跨國(guó)會(huì)議，還是線下交流，團(tuán)隊(duì)成員可以自由地使用母語(yǔ)或夾雜外語(yǔ)進(jìn)行討論。會(huì)后，一份自動(dòng)區(qū)分發(fā)言人的結(jié)構(gòu)化紀(jì)要即刻生成，溝通效率呈指數(shù)級(jí)提升。

智能客服，洞察入微

面對(duì)多語(yǔ)種客戶，系統(tǒng)不僅能準(zhǔn)確記錄通話內(nèi)容，更支持自動(dòng)質(zhì)檢、情緒分析及客戶畫(huà)像生成，可以更好地提升客戶滿意度，挖掘服務(wù)短板與銷(xiāo)售商機(jī)。

內(nèi)容創(chuàng)作，擁抱世界

為視頻、直播一鍵生成多語(yǔ)言字幕，內(nèi)容出海的成本大大降低。一個(gè)精彩的創(chuàng)意，可以瞬間觸達(dá)全球觀眾。

04二十余年技術(shù)沉淀，產(chǎn)品背后的硬實(shí)力

要將場(chǎng)景價(jià)值從“承諾”兌現(xiàn)為穩(wěn)定可靠的“產(chǎn)品能力”，背后需要有扎實(shí)的技術(shù)作為支撐。深耕語(yǔ)音領(lǐng)域二十余年，訊飛已推出了多項(xiàng)相關(guān)的能力和解決方案，并有了大規(guī)模的落地實(shí)踐。

2008-2015年之間，訊飛先后在語(yǔ)音合成、語(yǔ)音評(píng)測(cè)、語(yǔ)音識(shí)別等領(lǐng)域首次超過(guò)人類(lèi)或人類(lèi)專(zhuān)家水平，此后在機(jī)器翻譯、機(jī)器閱讀理解和常識(shí)推理等方向上持續(xù)突破，并且承擔(dān)了語(yǔ)音及語(yǔ)言信息處理國(guó)家工程研究中心、國(guó)家新一代人工智能開(kāi)放創(chuàng)新平臺(tái)、認(rèn)知智能全國(guó)重點(diǎn)實(shí)驗(yàn)室等平臺(tái)，這些為訊飛在大模型時(shí)代進(jìn)行語(yǔ)音技術(shù)探索奠定了堅(jiān)實(shí)的基礎(chǔ)。

2024年1月，星火語(yǔ)音大模型正式推出，首批37個(gè)主流語(yǔ)種的語(yǔ)音識(shí)別效果超過(guò)OpenAI Whisper V3。

6月，憑借“多語(yǔ)種智能語(yǔ)音關(guān)鍵技術(shù)及產(chǎn)業(yè)化”項(xiàng)目榮獲國(guó)家科學(xué)技術(shù)進(jìn)步獎(jiǎng)一等獎(jiǎng)，訊飛成為過(guò)去十年人工智能領(lǐng)域首個(gè)一等獎(jiǎng)獲得者。

9月，訊飛在國(guó)際權(quán)威賽事、語(yǔ)音領(lǐng)域公認(rèn)“最難語(yǔ)音識(shí)別任務(wù)”——CHiME-8中奪冠，有效解決了人數(shù)估計(jì)、語(yǔ)音重疊、遠(yuǎn)場(chǎng)混響、人員移動(dòng)及對(duì)話風(fēng)格隨意等難題。

10月，星火語(yǔ)音大模型的多語(yǔ)種多方言免切換語(yǔ)音識(shí)別能力，首次全部覆蓋了全國(guó)地級(jí)市共202種方言。

目前，訊飛的實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫(xiě)技術(shù)已在訊飛翻譯機(jī)、辦公本、訊飛聽(tīng)見(jiàn)等多款智能軟硬件產(chǎn)品中搭載，同時(shí)服務(wù)于2025世界人形機(jī)器人運(yùn)動(dòng)會(huì)、成都大運(yùn)會(huì)等重要賽事。在AI技術(shù)生態(tài)建設(shè)方面，訊飛開(kāi)放平臺(tái)已形成了包括實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫(xiě)大模型在內(nèi)，以語(yǔ)音為核心的大模型矩陣，覆蓋多種場(chǎng)景，面向海內(nèi)外開(kāi)發(fā)者開(kāi)放調(diào)用。

未來(lái)，訊飛將持續(xù)優(yōu)化語(yǔ)種覆蓋、準(zhǔn)確率與低延遲表現(xiàn)，攜手開(kāi)發(fā)者與企業(yè)，構(gòu)建一個(gè)信息溝通高效、無(wú)障礙的世界。

點(diǎn)擊閱讀原文，即可開(kāi)始調(diào)用，開(kāi)啟高效、準(zhǔn)確的溝通新體驗(yàn)。

此外，錄音文件轉(zhuǎn)寫(xiě)大模型也已上線訊飛開(kāi)放平臺(tái)，可滿足用戶的非實(shí)時(shí)音頻處理的需求，適用于語(yǔ)音質(zhì)檢、會(huì)議訪談等場(chǎng)景。