信息爆發(fā)時代，如何快速有效地處理視頻、音頻、文字等信息變得尤為重要。無論是政企會議、公檢法辦案，還是教學(xué)培訓(xùn)、記者采訪、個人錄音等場合均需要形成完整的文字記錄材料，音視頻文件也需要形成字幕。為解決各類場景下的音頻轉(zhuǎn)文字問題，語音轉(zhuǎn)寫應(yīng)運而生。

今年7月，訊飛開放平臺推出語音轉(zhuǎn)寫功能。這項基于科大訊飛獨立研究的深度全序列卷積升級網(wǎng)絡(luò)語音識別框架的技術(shù)究竟有哪些核心原理？語音轉(zhuǎn)寫的產(chǎn)品特性和優(yōu)勢又有哪些？應(yīng)用落地的場景以及未來發(fā)展前景是什么？這些問題是很多對語音轉(zhuǎn)寫感興趣的小伙伴想要了解的。

本期AI公開課，我們邀請到科大訊飛AI研究院副院長 高建清博士為我們講解語音轉(zhuǎn)寫技術(shù)。

什么是語音轉(zhuǎn)寫？01

語音轉(zhuǎn)寫（LongFormAutomatic Speech Recognition）：基于科大訊飛獨立研究的深度全序列卷積神經(jīng)網(wǎng)絡(luò)語音識別框架（Deep Fully Convolutional Neural Network, DFCNN），針對語音的長時相關(guān)性進(jìn)行語言建模，將音頻數(shù)據(jù)轉(zhuǎn)換成文本數(shù)據(jù)，可以讓信息傳遞更高效，為后續(xù)的數(shù)據(jù)檢索和數(shù)據(jù)挖掘提供基礎(chǔ)。

按照音頻傳輸形式分為

已錄制音頻（recorded audio）：將已經(jīng)錄制好的完整音頻文件傳輸至云端的轉(zhuǎn)寫后臺，轉(zhuǎn)寫完畢之后輸出音頻對應(yīng)的完整文字結(jié)果。

實時音頻流（real-time streaming）：在采集音頻的同時連續(xù)上傳音頻流至云端，云端實時返回文字結(jié)果，可以實現(xiàn)文字和聲音的同步展現(xiàn)。

語音轉(zhuǎn)寫和語音聽寫的區(qū)別02

語音轉(zhuǎn)寫和語音聽寫很多開發(fā)者小伙伴容易混淆，在課程開始之前先把兩者的區(qū)別給大家梳理清晰：

語音轉(zhuǎn)寫應(yīng)用場景有哪些？03

電話銷售&客服

將坐席的通話轉(zhuǎn)換成文字，讓電話質(zhì)檢和信息同步更有效率，同時，也為基于文本建模的數(shù)據(jù)挖掘提供原料基礎(chǔ)。

會議&訪談記錄

可以將線上或者線下的會議和訪談的音頻記錄轉(zhuǎn)換成文字存稿，讓后期的信息檢索以及精細(xì)整理更方便快捷。

字幕生成

能夠?qū)⒁曨l中的音頻文件轉(zhuǎn)寫成帶有的時間戳的文字信息，幫助您輕松生成與視頻相對應(yīng)的字幕文件。

語音鑒別

幫助您從音頻轉(zhuǎn)成的文字信息中搜索匹配相關(guān)詞類，對黃暴或者涉政內(nèi)容進(jìn)行快速且高效的鑒別。

場景營銷

通過對轉(zhuǎn)寫結(jié)果與用戶自定義的關(guān)鍵詞進(jìn)行搜索匹配，結(jié)合對應(yīng)時間戳信息，進(jìn)行線上廣告投放。