音頻已成為我們使用媒體時(shí)沉浸感和逼真度的重要組成部分。當(dāng)前的技術(shù)正在加強(qiáng)各種體驗(yàn)本身的沉浸式體驗(yàn)，讓它們更加栩栩如生，但如果沒(méi)有頭部跟蹤，由于大腦無(wú)法解決這種關(guān)鍵的含糊不清問(wèn)題，這種沉浸感可能會(huì)被破壞。

試想一下，您正在街上走路，突然聽(tīng)到右側(cè)有人喊您的名字。您將頭轉(zhuǎn)向那個(gè)方向。此時(shí)，喊您的人就在您的視線前方。但是，當(dāng)他們?cè)俅魏澳拿謺r(shí)，盡管您已經(jīng)轉(zhuǎn)了頭，但聽(tīng)起來(lái)聲音仍然像是從您的右側(cè)傳過(guò)來(lái)。事實(shí)上，無(wú)論您做什么或如何轉(zhuǎn)頭，無(wú)論喊您的人在什么方位，您聽(tīng)到的聲音都始終從您的右側(cè)傳來(lái)。這不符合現(xiàn)實(shí)世界的規(guī)律。

再或者，如果您在玩開(kāi)放世界的奇幻電子游戲，您的角色正在探索山頂上的寶藏，情況會(huì)怎樣？游戲告訴您，您的任務(wù)目標(biāo)，也就是埋藏的寶箱，將開(kāi)始發(fā)出叮當(dāng)聲，越接近寶箱，聲音就越大。您可以聽(tīng)到叮當(dāng)聲，但您無(wú)法確切分辨聲音是來(lái)自前方還是后方。當(dāng)您走動(dòng)時(shí)，您無(wú)法分辨聲音是變得越來(lái)越大、越來(lái)越小還是保持不變。那么，您要如何才能找到自己的目標(biāo)呢?

之所以會(huì)這樣含糊不清，原因也是一樣：當(dāng)您的頭部移動(dòng)，并且改變其相對(duì)于聲源的位置時(shí)，您的大腦會(huì)漏掉現(xiàn)實(shí)生活中的細(xì)微音頻提示。

音頻已成為我們使用媒體時(shí)沉浸感和逼真度的重要組成部分。當(dāng)前的技術(shù)正在加強(qiáng)各種體驗(yàn)本身的沉浸式體驗(yàn)，讓它們更加栩栩如生，但如果沒(méi)有頭部跟蹤，由于大腦無(wú)法解決這種關(guān)鍵的含糊不清問(wèn)題，這種沉浸感可能會(huì)被破壞。如果您希望獲得廣泛、引人入勝且令人興奮的體驗(yàn)，那么在沒(méi)有頭部跟蹤的情況下，您的體驗(yàn)將很難達(dá)到理想的水平。

我們?nèi)绾味ㄎ滑F(xiàn)實(shí)世界中的聲音

對(duì)于我們感知周圍環(huán)境并與之互動(dòng)的能力而言，聲音是不可或缺的一部分。在讓我們的大腦快速準(zhǔn)確地識(shí)別聲音的位置和來(lái)源方面，我們的兩只耳朵發(fā)揮著至關(guān)重要的作用。例如，來(lái)自人左側(cè)的聲音會(huì)先到達(dá)左耳，然后再到達(dá)右耳，這稱為雙耳時(shí)間差(ITD)。由于聲音到達(dá)右耳需要經(jīng)過(guò)額外的距離，兩只耳朵的聲壓水平也會(huì)有差異，這稱為雙耳聲級(jí)差(ILD)。

確定聲源位置（方向和距離）的過(guò)程稱為聲音定位。但是，我們的聽(tīng)覺(jué)系統(tǒng)不僅包括耳朵，還包括大腦、頭部、肩部等。聲波在到達(dá)耳膜之前，會(huì)與我們的頭部、肩部以及耳朵的耳廓和耳道相互作用。聲波與我們聽(tīng)覺(jué)系統(tǒng)解剖結(jié)構(gòu)各個(gè)部分的相互作用會(huì)導(dǎo)致不對(duì)稱反射，從而導(dǎo)致聲源頻譜發(fā)生變化。

耳朵從空間中的一點(diǎn)接收聲音的這一過(guò)程可以用頭部相關(guān)傳輸函數(shù)(HRTF)來(lái)表征。HRTF測(cè)量聲音在最終進(jìn)入耳道之前在人的頭部、肩部和耳朵上的散射和反射方式所引起的聲音變化。每個(gè)人都有一個(gè)獨(dú)特的HRTF，具體取決于其聽(tīng)覺(jué)系統(tǒng)的解剖結(jié)構(gòu)。

大腦利用雙耳時(shí)間差(ITD)、雙耳聲級(jí)差(ILD)和頻譜內(nèi)容差異來(lái)定位聲音。我們的大腦會(huì)持續(xù)不斷地實(shí)時(shí)處理所有這些信息，以生成并填充我們周圍環(huán)境的聲音地圖。這不僅包括您的左側(cè)和右側(cè)，還包括您的前方和后方，以及上方和下方。這會(huì)涵蓋您周圍的全部空間，包括距離。

用音頻創(chuàng)造沉浸感

這里我們將引入空間音頻的概念。簡(jiǎn)而言之，這是一個(gè)寬泛的總括性術(shù)語(yǔ)，用于描述各種音頻播放技術(shù)，利用這些技術(shù)，我們能夠在三個(gè)維度上感知和體驗(yàn)環(huán)繞聲。

例如，在家庭影院中設(shè)置傳統(tǒng)的5.1或7.1環(huán)繞聲揚(yáng)聲器。這是許多人都擁有并十分喜愛(ài)的一種設(shè)置。但是，這種設(shè)置具有以下缺點(diǎn)：

1.需要高質(zhì)量的揚(yáng)聲器，其價(jià)格可能相當(dāng)昂貴；

2.擁有一間聲音效果足夠好或經(jīng)過(guò)聲學(xué)處理的房間，以便能夠充分享受這些揚(yáng)聲器的效果（而不會(huì)打擾鄰居?。?；

3.需要專業(yè)知識(shí)來(lái)優(yōu)化該房間中這些揚(yáng)聲器的性能。

傳統(tǒng)頭戴式耳機(jī)、頭戴式配麥耳機(jī)和耳塞式耳機(jī)的另一個(gè)問(wèn)題是，它們往往會(huì)給人一種所有聲音都源自頭部的感覺(jué)?？臻g音頻技術(shù)通過(guò)以下方式解決了這兩個(gè)問(wèn)題：

1.支持我們創(chuàng)造沉浸式、引人入勝和逼真的聲景，同時(shí)可輕松應(yīng)用于頭戴式耳機(jī)、頭戴式配麥耳機(jī)和耳塞式耳機(jī)，從而大大降低了入門門檻，提高了易用性；

2.支持我們將聲音外化，并為聽(tīng)眾創(chuàng)造沉浸式聲景。這使我們解決了傳統(tǒng)頭戴式耳機(jī)、頭戴式配麥耳機(jī)和耳塞式耳機(jī)的一個(gè)基本問(wèn)題，聲場(chǎng)隨您一起移動(dòng)，而當(dāng)我們收聽(tīng)外部揚(yáng)聲器或與周圍現(xiàn)實(shí)世界互動(dòng)時(shí)，就不會(huì)發(fā)生這種情況。

沉浸感是如何被破壞的

試想一下，您正在馬路的人行道上行走，一輛汽車在您的左側(cè)按喇叭。如果您轉(zhuǎn)頭看向汽車，這輛鳴笛的汽車現(xiàn)在應(yīng)該就在您視線正前方。聲場(chǎng)相對(duì)于外部世界保持靜止，改變的是您頭部的方向。好了，讓我們?cè)賮?lái)試想一下，您正在戴著耳機(jī)觀看電影，在電影中，一輛汽車在您的左側(cè)按喇叭。如果您朝該方向轉(zhuǎn)頭，聲場(chǎng)將會(huì)隨您一起移動(dòng)，因?yàn)槁晥?chǎng)與耳機(jī)鎖定，所以不會(huì)根據(jù)您的頭部運(yùn)動(dòng)改變聲音。這與現(xiàn)實(shí)世界發(fā)生的情況形成鮮明對(duì)比，也是導(dǎo)致頭部聲場(chǎng)崩潰、沉浸感被破壞的根本原因之一。

▲圖1：未啟用頭部跟蹤的空間音頻

另一個(gè)可能出現(xiàn)的問(wèn)題是前后混淆。我們?nèi)祟惒惶瞄L(zhǎng)區(qū)分與每只耳朵等距離的兩個(gè)相同聲音，即使一個(gè)聲音在我們前面，一個(gè)在我們后面，特別是如果聲音來(lái)自錐形混淆區(qū)。錐形混淆區(qū)是一種從頭部中心向外延伸的想象錐形區(qū)域，因此，位于該錐形區(qū)圓形底部軌跡各點(diǎn)上的任何聲源都與耳朵等距。請(qǐng)參閱此示意圖：

▲圖2：錐形混淆區(qū)

從該圖中可以看出，兩個(gè)聲源A和B都位于錐形混淆區(qū)上，距雙耳的距離相等。因此，盡管一個(gè)聲源在前面，一個(gè)在后面，但它們產(chǎn)生相同的ITD和ILD，因此很難區(qū)分和定位，從而會(huì)導(dǎo)致前后混淆。

通過(guò)移動(dòng)頭部體驗(yàn)真實(shí)聲場(chǎng)

現(xiàn)在，如果我們?cè)谶@種等距混淆局面中添加頭部跟蹤器，情況會(huì)怎樣？通過(guò)添加頭部跟蹤器，空間處理便可以解析頭部相對(duì)于聲場(chǎng)虛擬中心的運(yùn)動(dòng)，并根據(jù)頭部運(yùn)動(dòng)調(diào)整ITD、ILD和HRTF。這使聲場(chǎng)能夠固定在空間中。當(dāng)您將頭部轉(zhuǎn)向某個(gè)聲音時(shí)，您會(huì)聽(tīng)到該聲音位于您的前方。這些對(duì)細(xì)微動(dòng)作的精確響應(yīng)不僅是解決前后混淆問(wèn)題的關(guān)鍵因素，也是創(chuàng)造沉浸式用戶體驗(yàn)的關(guān)鍵因素。

試想一下，您正在玩一款高度沉浸式虛擬現(xiàn)實(shí)的第一人稱射擊游戲(FPS)。您加載并進(jìn)入一個(gè)外星飛船關(guān)卡，那里一片漆黑，沒(méi)有一絲光線，而且還有外星人在您周圍四處走動(dòng)。如果您聽(tīng)到的腳步聲恰好源自于錐形混淆區(qū)，那么將很難進(jìn)行定位。但是，如果使用了頭部跟蹤器，您頭部的細(xì)微動(dòng)作以及實(shí)時(shí)向您大腦提供的信息將會(huì)極大地解決前后混淆問(wèn)題，讓您能夠準(zhǔn)確定位那些外星人的腳步聲。

▲圖3：?jiǎn)⒂妙^部跟蹤的空間音頻

同樣，在沒(méi)有視覺(jué)提示的情況下，我們也難以衡量聲源的高度。如果您使用揚(yáng)聲器（配置了環(huán)繞聲）或傳統(tǒng)耳機(jī)，則很難感受到在您上方的聲源?？臻g音頻技術(shù)可以創(chuàng)建和渲染必要的濾波器和線索，支持用戶感知高度。在混音中添加頭部跟蹤器，再次強(qiáng)調(diào)一下，頭部的細(xì)微動(dòng)作以及聲景對(duì)這些動(dòng)作的反應(yīng)方式將幫助您準(zhǔn)確定位躲藏在上方通風(fēng)井中的外星人！瞧，您成功通過(guò)了可怕的外星飛船黑暗關(guān)卡。做得好！

乏善可陳還是一鳴驚人？

如果沒(méi)有頭部跟蹤功能，您的音頻體驗(yàn)的逼真度和沉浸感將大大受限。通過(guò)該功能，我們不僅能夠?qū)⒙曇敉饣乐诡^部聲場(chǎng)崩潰，還能在我們周圍的三維空間準(zhǔn)確將其定位，從而解決諸如前后混淆等含糊不清問(wèn)題。

如果您對(duì)這項(xiàng)技術(shù)感興趣，希望增強(qiáng)您的可聽(tīng)戴設(shè)備，不妨了解一下我們的RealSpace解決方案！RealSpace是一款搭載了頭部跟蹤技術(shù)的多聲道、雙耳渲染引擎，可帶來(lái)真正的沉浸式體驗(yàn)。RealSpace能夠直接在TWS或音頻耳機(jī)上將單聲道、立體聲、多聲道或環(huán)繞聲音頻內(nèi)容渲染為雙聲道空間音頻。

RealSpace可應(yīng)用于多種平臺(tái)，包括個(gè)人電腦/筆記本電腦、手機(jī)、VR/AR設(shè)備以及用于耳機(jī)或TWS的嵌入式DSP。RealSpace基于精確的物理環(huán)境建模，可營(yíng)造令人難忘的沉浸式音頻體驗(yàn)。

本文作者：Kaushik Sethunath, Audio Test Engineer and Content Developer, CEVA

關(guān)于CEVA

CEVA是排名前列的無(wú)線連接和智能傳感技術(shù)以及集成IP解決方案授權(quán)商，旨在打造更智能、更安全、互聯(lián)的世界。我們?yōu)?a target="_blank">傳感器融合、圖像增強(qiáng)、計(jì)算機(jī)視覺(jué)、語(yǔ)音輸入和人工智能應(yīng)用提供數(shù)字信號(hào)處理器、人工智能處理器、無(wú)線平臺(tái)、加密內(nèi)核和配套軟件。這些技術(shù)與我們的Intrinsix IP集成服務(wù)一起提供給客戶，幫助他們解決復(fù)雜和時(shí)間關(guān)鍵的集成電路設(shè)計(jì)項(xiàng)目。許多世界排名前列的半導(dǎo)體廠商、系統(tǒng)公司和OEM利用我們的技術(shù)和芯片設(shè)計(jì)技能，為移動(dòng)、消費(fèi)、汽車、機(jī)器人、工業(yè)、航天國(guó)防和物聯(lián)網(wǎng)等各種終端市場(chǎng)開(kāi)發(fā)高能效、智能、安全的互聯(lián)設(shè)備。

我們基于DSP的解決方案包括移動(dòng)、物聯(lián)網(wǎng)和基礎(chǔ)設(shè)施中的5G基帶處理平臺(tái)；攝像頭設(shè)備的高級(jí)影像技術(shù)和計(jì)算機(jī)視覺(jué)；適用于多個(gè)物聯(lián)網(wǎng)市場(chǎng)的音頻/語(yǔ)音/話音應(yīng)用和超低功耗的始終開(kāi)啟/感應(yīng)應(yīng)用。對(duì)于傳感器融合，我們的Hillcrest Labs傳感器處理技術(shù)為耳機(jī)、可穿戴設(shè)備、AR/VR、PC機(jī)、機(jī)器人、遙控器、物聯(lián)網(wǎng)等市場(chǎng)提供廣泛的傳感器融合軟件和慣性測(cè)量單元 (“IMU”) 解決方案。在無(wú)線物聯(lián)網(wǎng)方面，我們的藍(lán)牙(低功耗和雙模)、Wi-Fi 4/5/6/6E (802.11n/ac/ax)、超寬帶(UWB)、NB-IoT和GNSS 平臺(tái)是業(yè)內(nèi)授權(quán)較為廣泛的連接平臺(tái)。