大腦非常神奇。只需要兩只耳朵和一些腦部周?chē)能浌?，就可以?xún)H通過(guò)聲音線(xiàn)索準(zhǔn)確地在3D空間中定位一個(gè)物體?？梢月?tīng)聽(tīng)看周?chē)穆曇?。認(rèn)真的，停下來(lái)聽(tīng)聽(tīng)周?chē)穆曇?。即使那些音源完全不在我們的視線(xiàn)內(nèi)，應(yīng)該也可以大概知道音源的位置吧?這就是聲音的定位效果。這是一個(gè)非常厲害的能力，盡管大多數(shù)人都認(rèn)為這是理所當(dāng)然的，然而正是這種能力在生活的各個(gè)方面中幫助我們完成一系列活動(dòng)，比如安全地過(guò)馬路，不被兇狠的狗傷害，當(dāng)然也包括創(chuàng)造游戲的沉浸效果。
讓我們來(lái)理一理
在現(xiàn)實(shí)生活中我們擁有五感(如果活在 M. Night Shyamalan 大導(dǎo)演電影里的話(huà)那你還會(huì)有第六種感官)。這五感分別是觸覺(jué)、味覺(jué)、嗅覺(jué)、視覺(jué)和聽(tīng)覺(jué);但是呢，在VR的游戲世界里，只有兩種感覺(jué)能被我們自由利用，這兩感就是視覺(jué)和聽(tīng)覺(jué)。
從某些角度說(shuō)呢，這樣反而比較好(比如僵尸游戲里啟用味覺(jué)，有人想試試嗎)，既然現(xiàn)在只有兩種感覺(jué)可以被利用，那制作一個(gè)真正的沉浸式游戲就意味著將這兩感運(yùn)用到極致。簡(jiǎn)單來(lái)說(shuō)就是需要高質(zhì)量的3D圖像和3D音效。
盡管圖形領(lǐng)域近幾年一直在持續(xù)發(fā)展提升，PC 端音效的發(fā)展史看上去似乎就顯得特別混亂，有層出不窮的新發(fā)明，也有停滯不前的時(shí)期，甚至也有徹徹底底的退步。然而，隨著 VR 產(chǎn)品的問(wèn)世和不斷發(fā)展，真正的3D音效似乎再一次崛起了。這一次他們從過(guò)去層出不窮的新發(fā)明中吸取了教訓(xùn)，VR 要將沉浸式音效體驗(yàn)推向一個(gè)前所未有的巔峰。
音效急需復(fù)蘇
3D音效病了。正確執(zhí)行的3D音效還是非常炫酷的，但是在近幾十年里，3D音效的整體質(zhì)量都不容樂(lè)觀。毫不夸張地說(shuō)，想要明白為什么 VR 能夠復(fù)興3D音效，必須了解3D音效究竟為什么需要復(fù)蘇。
3D音效利用的是空間坐標(biāo)軸(x,y,z軸)內(nèi)每個(gè)聲音和聽(tīng)者的坐標(biāo)位置，然而大多數(shù)現(xiàn)代游戲都將聲音界定為水平上擴(kuò)展，但是縱向上幾乎沒(méi)有高度和距離感。這就意味著我們界定的聲音對(duì)于聽(tīng)者而言就像是一個(gè)靜止的呼啦圈，僅僅能提供一種極弱的偽3D效果。
音頻發(fā)展史
從某些角度來(lái)看，音效已經(jīng)在過(guò)去幾十年中有了突飛猛進(jìn)的變化，尤其是從保真度和信噪比的角度來(lái)看。從托馬斯·愛(ài)迪生在1800 年代末期第一次通過(guò)留聲機(jī)回放了一段聲音以來(lái)，我們已經(jīng)在音頻領(lǐng)域發(fā)展了很多。然而，盡管在保真度和預(yù)錄方面一直在持續(xù)進(jìn)步，3D界的實(shí)時(shí)音效建模卻有些差強(qiáng)人意。
那么，在游戲之中創(chuàng)造出優(yōu)秀的3D音效到底有多難呢?為什么我的游戲里沒(méi)有3D音效呢?高保真音效的重現(xiàn)其實(shí)并不難，但是要重現(xiàn)一個(gè)3D空間中的動(dòng)態(tài)行為確實(shí)是一件很難的事情。
空間障礙
首先，我們先預(yù)錄一個(gè)音效作為樣本。它可以是僵尸的呻吟，可以是開(kāi)槍的聲音，也可以是你朋友在雪地里的腳步聲。無(wú)論這個(gè)音效是什么，它肯定具備一個(gè)音源和一個(gè)聽(tīng)者。
無(wú)論是音源還是聽(tīng)者，都需要在3D空間中占有一個(gè)位置，這個(gè)過(guò)程被稱(chēng)之為空間定位。本質(zhì)上來(lái)說(shuō)呢，這就意味著音源和聽(tīng)者都有一個(gè)完整、動(dòng)態(tài)的 xyz軸坐標(biāo)，從左到右，從上到下，從前到后。隨著他們位置的變化，預(yù)錄聲音樣本也必須隨著位置變化而變化。也有專(zhuān)門(mén)的術(shù)語(yǔ)來(lái)形容從左到右，從前到后的關(guān)系，叫方位角(azimuth)，而從上到下的關(guān)系則稱(chēng)為海拔(elevation)，此外還有距離。盡管空間定位對(duì)于聲音的沉浸效果而言非常重要，這也僅僅只是冰山一角。在聲音到達(dá)聽(tīng)者的位置之前，它需要在空間里沿著彎曲復(fù)雜的路徑里行進(jìn)一段距離才行。
就像光一樣，聲音實(shí)際上很少沿直線(xiàn)從點(diǎn)A到點(diǎn)B，取決于周邊環(huán)境，它們?cè)诖┧蟮倪^(guò)程中可能經(jīng)歷成千上萬(wàn)的路徑變化。光可以被反射，聲音也可以被反射，反射又可細(xì)分為早反射(early reflections)和遲反射(late reflection);也可以被吸收(或減弱);甚至可以被完全隔絕，如聲音封閉(sound occlusion)。在一個(gè)空間內(nèi)的聲音也可以產(chǎn)生回聲(盤(pán)繞的混響/ convoluted reverberations)，這些都取決于聲音在傳播過(guò)程中的路徑。將這些環(huán)境因素合在一起，就是人們常說(shuō)的聲音氛圍(audio ambiance)。
由于這些環(huán)境因素對(duì)音波在傳播過(guò)程中的影響，也大大加強(qiáng)了計(jì)算機(jī)處理這種影響的難度。舉個(gè)不恰當(dāng)?shù)睦?，這大概就像是在你的游戲中加入另外一個(gè)物理引擎，比如聲波追蹤系統(tǒng)之類(lèi)的，這也是硬件加速音效常用且實(shí)用的一個(gè)借口。所以時(shí)至今日，大多數(shù)游戲仍然沒(méi)有將空間定位或者聲音氛圍開(kāi)發(fā)到極致。
Aureal
想要把這一切環(huán)境因素都放到你的腦邊實(shí)在有點(diǎn)難，所以不妨現(xiàn)在戴上一副耳機(jī)然后聽(tīng)聽(tīng)看這個(gè)。這是一個(gè)在1990年代末誕生的即時(shí)3D音效科技。沒(méi)錯(cuò)，大概 20 年前的科技就已經(jīng)能創(chuàng)造出富有沉浸感、栩栩如生、有方位感的3D音效。這項(xiàng)技術(shù)被稱(chēng)為A3D 2.0，它可以實(shí)時(shí)實(shí)現(xiàn)以上提到的大多數(shù)的聲音效果。而這項(xiàng)技術(shù)的擁有者正是Aureal(傲銳)。
這項(xiàng)技術(shù)很大程度上依賴(lài)于頭部相關(guān)傳遞函數(shù)(head-related transfer functions，或 HRTFs)以及用來(lái)計(jì)算3D音源如何進(jìn)入人腦數(shù)學(xué)算法，這種算法還需要考慮耳朵和上半身身形。這能在本質(zhì)上幫助我們復(fù)制聲音線(xiàn)索，以便我們準(zhǔn)確定位音源，或者將音源局限在某塊區(qū)域。我需要再一次提醒大家，這項(xiàng)技術(shù)在上世紀(jì)90年代末期就已經(jīng)實(shí)現(xiàn)了。
說(shuō)了這么多，如果你聽(tīng)了上述那個(gè)鏈接，覺(jué)得自己的耳朵被欺騙了，可以理解!這是非常正常的感受?？墒侨绻@項(xiàng)技術(shù)那么多年以前就已經(jīng)存在了，為什么如今游戲的音效很多都還沒(méi)這個(gè)強(qiáng)呢?原因歸納起來(lái)就兩個(gè)字，競(jìng)爭(zhēng)。
競(jìng)爭(zhēng)
理論上來(lái)講競(jìng)爭(zhēng)是一件好事，可以讓產(chǎn)品質(zhì)量越來(lái)越高，就好比跑步比賽中別人就快追上你了，你就決定加速一樣。然而不幸的是，競(jìng)爭(zhēng)也可能產(chǎn)生“劣幣驅(qū)逐良幣”的負(fù)面效果，比如跑步比賽中你就快追上別人了，結(jié)果他把你推倒了。有時(shí)候市場(chǎng)競(jìng)爭(zhēng)真的就是這個(gè)樣子。
Aureal 是史上最早開(kāi)拓3D音效領(lǐng)域的公司之一。即使很保守地評(píng)價(jià)，他們家的音效科技也是非常出色的，尤其是考慮到他們?cè)谏鲜兰o(jì) 90 年代末就已經(jīng)達(dá)到那種水平?？墒蔷驮陔S后，Aureal 的最大競(jìng)爭(zhēng)者 Creative(創(chuàng)新)起訴 Aureal 侵犯專(zhuān)利權(quán)。盡管人們普遍認(rèn)為 Aureal 的音頻技術(shù)比Creative的要更加優(yōu)秀一些，這場(chǎng)官司卻耗費(fèi)了 Aureal 大量財(cái)力，以至于無(wú)法繼續(xù)運(yùn)作下去。
總而言之，這兩家公司并沒(méi)有友好競(jìng)爭(zhēng)，而音頻技術(shù)也只能成為這場(chǎng)惡性競(jìng)爭(zhēng)中的陪葬品?？梢哉f(shuō)這場(chǎng)惡性競(jìng)爭(zhēng)不僅僅阻礙了3D音效的發(fā)展，更增加了消費(fèi)者們的開(kāi)銷(xiāo)，最可惡的是價(jià)格高了產(chǎn)品質(zhì)量反而變得比以前更糟糕。
在被稱(chēng)為3D音效的黃金年代的那段日子里，Creative 也繼續(xù)創(chuàng)新，然而它們的創(chuàng)新大部分是基于Microsoft 的核心技術(shù)DirectSound和DirectSound3D。
前任
首先呢，我們先來(lái)弄明白一個(gè)常用的俗名，你肯定經(jīng)常聽(tīng)到DirectX(微軟創(chuàng)建的多媒體編程接口)這名字，一般都是在描述某些很酷炫的圖形特征時(shí)會(huì)被用到。盡管 DirectX 經(jīng)常被人們與 3D 圖形聯(lián)系在一起，但實(shí)際上它是由大量多媒體應(yīng)用程序編程接口(Application Programming Interfaces，API)構(gòu)成的，簡(jiǎn)單地說(shuō)就是相當(dāng)于有好幾級(jí)軟件，將功能強(qiáng)大的軟件與不那么強(qiáng)大的連接在一起運(yùn)轉(zhuǎn)。
而DirectX的圖形API正是Direct3D。大部分人在說(shuō)DirectX的時(shí)候其實(shí)指的是Direct3D。而DirectSound呢，就相當(dāng)于是對(duì)應(yīng)的音效API。DirectSound也有擴(kuò)展部分，名為DirectSound3D。
DirectSound(以及 DirectSound3D)有兩個(gè)核心功能。一是它能夠創(chuàng)建一個(gè)標(biāo)準(zhǔn)，統(tǒng)一化的環(huán)境供3D音效發(fā)展，并能讓軟件開(kāi)發(fā)者輕松利用。第二個(gè)功能則是它能讓硬件為3D音效加速，這是一項(xiàng)非常復(fù)雜的計(jì)算任務(wù)。一直到 2006 年，DirectSound 和 DirectSound3D 一直是很多音頻應(yīng)用的主心骨。隨后Vista誕生了。
隕落
隨著Windows Vista系統(tǒng)的發(fā)布，微軟隨即將DirectSound3D 斬于馬下，將幾年來(lái)Creative 音頻發(fā)展的基石化為烏有。無(wú)論是標(biāo)準(zhǔn)音效API還是硬件加速都瞬間失去了活力。想明白這究竟造成了多大的混亂，不妨想象一下哪天微軟突然決定也停止使用Direct3D。
當(dāng)然了，圖形行業(yè)能夠很快自我復(fù)原的幾率很高，但是這么做，對(duì)于圖形界的影響一定會(huì)是巨大的。移除DirectSound和DirectSound3D從某些角度來(lái)說(shuō)是有利的，但對(duì)于當(dāng)時(shí)音頻的狀況而言是個(gè)非常巨大的打擊。這段歷史就像是 Creative 把 Aureal 的輪胎放了氣，而當(dāng) Creative 準(zhǔn)備上路的時(shí)候，微軟直接把 Creative 的輪胎卸掉了。
在 DirectSound3D 被喚醒的初期，很多人說(shuō)硬件加速是多余的，完全不需要。這么說(shuō)有那么點(diǎn)道理，但是撇開(kāi)道理不談，這么多年來(lái)的游戲中軟件執(zhí)行這塊似乎一直很單薄，而背后原因正是因?yàn)樗麄儫o(wú)法計(jì)算足夠的運(yùn)算組，以至于無(wú)法創(chuàng)建真正的 3D 音效。從樂(lè)觀的角度來(lái)看這最近一個(gè)世紀(jì)，3D 音效在退步，但在代替軟件填補(bǔ)空白的幫助下，至少也在跌跌撞撞地找回自己的步伐。
余波
盡管從Vista開(kāi)始的代替產(chǎn)品基本都是基于軟件制造的，也有少部分硬件加速的解決方案，比如AMD的TrueAudio技術(shù)(一種免費(fèi)又簡(jiǎn)單的實(shí)時(shí)無(wú)損音頻編解碼器)，它們利用GPU 進(jìn)行運(yùn)算，從而創(chuàng)造精準(zhǔn)的3D音效。當(dāng)我們想起聲音是一種物理現(xiàn)象，再想想GPU在物理渲染中日益遞增的作用(比如 Nvidia 的PhysX)，說(shuō)GPU也能夠計(jì)算出精準(zhǔn)的沉浸式 3D 音效似乎也不那么牽強(qiáng)。然而，如今的3D音效領(lǐng)域依然支離破碎。
事到如今，我們?cè)倩剡^(guò)頭來(lái)看，究竟解決方案是軟件還是硬件已經(jīng)不那么重要了。重要的是能實(shí)現(xiàn)真正的空間定位，創(chuàng)造環(huán)境氛圍?？梢哉f(shuō)近十年來(lái)，這些過(guò)程常常是敷衍了事。隨著VR的到來(lái)，對(duì)真正的3D音效的需求總算到頭了(現(xiàn)在3D音效真的能到你的“頭”里)。
歡迎光臨
VR的一切都是關(guān)于沉浸感。Oculus Rift特別強(qiáng)調(diào)了臨場(chǎng)感的概念，或是肉體上感覺(jué)自己正身處于某一環(huán)境中。視覺(jué)和聽(tīng)覺(jué)都能使這種感覺(jué)更加逼真。
在VR中，能實(shí)現(xiàn)沉浸感和臨場(chǎng)感畫(huà)面的主要方式就是通過(guò)低延遲的頭部追蹤，當(dāng)你轉(zhuǎn)頭，在地上匍匐前進(jìn)時(shí)，顯示屏能以幾乎無(wú)法察覺(jué)的延遲匹配你的實(shí)時(shí)視野。有趣的是，頭部追蹤系統(tǒng)也恰好是為什么真正的3D音效至關(guān)重要的原因。
在現(xiàn)實(shí)生活中，我們常常會(huì)微微轉(zhuǎn)動(dòng)，或者抬高頭部以確定某個(gè)聲音的確切來(lái)源，我們的大腦會(huì)記錄下這些聲音的差異。鼠標(biāo)視角某種程度上能模仿這樣的行為，因此對(duì)于鼠標(biāo)游戲來(lái)說(shuō)3D音效是個(gè)不錯(cuò)的選擇，但是頭部追蹤系統(tǒng)對(duì)于 3D 音效的需求幾乎是強(qiáng)制的。
3D音效：VR的必需品
VR中的音效可以成為臨場(chǎng)感的點(diǎn)睛之筆，也能成為敗筆。正確執(zhí)行的3D音效能加強(qiáng)一個(gè)場(chǎng)景的臨場(chǎng)感，給玩家們傳遞各種物體的位置信息，以及環(huán)境信息。能夠通過(guò)頭部運(yùn)動(dòng)追蹤一個(gè)運(yùn)動(dòng)中的物體固然很重要，能夠聽(tīng)見(jiàn)與這個(gè)物體實(shí)時(shí)位置所匹配的聲音也同樣重要。視覺(jué)和聽(tīng)覺(jué)可以相互加強(qiáng)，一旦這兩種感覺(jué)互相沖突，沉浸感就消失了。
想象一下你看見(jiàn)一個(gè)物體在你的身體上方，但聽(tīng)上去卻像是在邊上;或者是你在聽(tīng)一個(gè)角色講話(huà)，但是無(wú)論你的頭轉(zhuǎn)向何方，聲音似乎總是從正前方傳來(lái)。如果真的這樣，沉浸感就成了一個(gè)笑話(huà)，那也就更不用談什么臨場(chǎng)感了。
3D音效非常重要，因?yàn)楫?dāng)我們聽(tīng)到那些可以感覺(jué)到的聲音時(shí)，聽(tīng)覺(jué)幾乎可以替代我們無(wú)法實(shí)現(xiàn)的觸覺(jué)，比如我們聽(tīng)到了風(fēng)從臉上吹過(guò)的聲音，或者雨落在身邊的聲音。來(lái)看看這個(gè)Oculus Connect 大會(huì)上的視頻(翻墻看～)，你可以對(duì)3D音效對(duì)于 VR 的重要性有更進(jìn)一步的了解。
但這并不是說(shuō)沒(méi)有優(yōu)秀的3D音效，沉浸感就沒(méi)有了，而是真正的3D音效能將這種感覺(jué)放大至無(wú)限。這就是為什么 VR 如此堅(jiān)決地推崇整合了空間定位和環(huán)境氛圍的真正 3D 音效。
然而有點(diǎn)反常的就是，由于耳朵對(duì)于聲音的連續(xù)性判斷和準(zhǔn)確定位，利用 HRTF 的耳機(jī)似乎總比揚(yáng)聲器傳遞更逼真的 3D 音效。
音頻復(fù)蘇
在2014年，Oculus授權(quán)VisiSonic的音頻技術(shù)，并最終將其融入Oculus Audio SDK 中。這項(xiàng)技術(shù)非常依賴(lài)定制的HRTF，通過(guò)耳機(jī)來(lái)再現(xiàn)精準(zhǔn)的空間定位，這其實(shí)也是Aureal在20年前就推出的技術(shù)。
最棒的部分不僅僅是Oculus將這項(xiàng)技術(shù)整合進(jìn)了他們的Audio ADK中，而且他們還免費(fèi)供應(yīng)，甚至不僅僅在 VR 平臺(tái)上免費(fèi)，其他任何平臺(tái)上也是免費(fèi)，包括傳統(tǒng)PC平臺(tái)也是。盡管市面上也有很多各種各樣的三方音頻解決方案，但 Oculus 這么做也是為大家提供了一個(gè)高質(zhì)量，并容易上手的3D音效基準(zhǔn)，甚至為游戲內(nèi)真正的3D音效定了起跑線(xiàn)，這條起跑線(xiàn)在快十年前DirectSound3D隕落時(shí)就不見(jiàn)了蹤影。
一段時(shí)間以來(lái)3D音效都處于一個(gè)“奄奄一息”的狀態(tài)，或者你也可以樂(lè)觀地說(shuō)，它需要被復(fù)蘇。多虧了VR的到來(lái)，人們終于證實(shí)了3D音效復(fù)蘇的重要性。3D音效再也不是備選的調(diào)味料了，它是一個(gè)非常重要的原材料，是可以放大、倍增整個(gè)VR體驗(yàn)，可以將臨場(chǎng)感和沉浸感提升到圖形永遠(yuǎn)無(wú)法企及高度的重要元素。
