物联网时代VR如何复活沉寂已久的3D音效?

  余波

  尽管从Vista开始的代替产品基本都是基于软件制造的,也有少部分硬件加速的解决方案,比如AMD的TrueAudio技术(一种免费又简单的实时无损音频编解码器),它们利用GPU 进行运算,从而创造精准的3D音效。当我们想起声音是一种物理现象,再想想GPU在物理渲染中日益递增的作用(比如 Nvidia 的PhysX),说GPU也能够计算出精准的沉浸式 3D 音效似乎也不那么牵强。然而,如今的3D音效领域依然支离破碎。

  事到如今,我们再回过头来看,究竟解决方案是软件还是硬件已经不那么重要了。重要的是能实现真正的空间定位,创造环境氛围。可以说近十年来,这些过程常常是敷衍了事。随着VR的到来,对真正的3D音效的需求总算到头了(现在3D音效真的能到你的“头”里)。

  欢迎光临

  VR的一切都是关于沉浸感。Oculus Rift特别强调了临场感的概念,或是肉体上感觉自己正身处于某一环境中。视觉和听觉都能使这种感觉更加逼真。

  在VR中,能实现沉浸感和临场感画面的主要方式就是通过低延迟的头部追踪,当你转头,在地上匍匐前进时,显示屏能以几乎无法察觉的延迟匹配你的实时视野。有趣的是,头部追踪系统也恰好是为什么真正的3D音效至关重要的原因。

  在现实生活中,我们常常会微微转动,或者抬高头部以确定某个声音的确切来源,我们的大脑会记录下这些声音的差异。鼠标视角某种程度上能模仿这样的行为,因此对于鼠标游戏来说3D音效是个不错的选择,但是头部追踪系统对于 3D 音效的需求几乎是强制的。

  3D音效:VR的必需品

  VR中的音效可以成为临场感的点睛之笔,也能成为败笔。正确执行的3D音效能加强一个场景的临场感,给玩家们传递各种物体的位置信息,以及环境信息。能够通过头部运动追踪一个运动中的物体固然很重要,能够听见与这个物体实时位置所匹配的声音也同样重要。视觉和听觉可以相互加强,一旦这两种感觉互相冲突,沉浸感就消失了。

  想象一下你看见一个物体在你的身体上方,但听上去却像是在边上;或者是你在听一个角色讲话,但是无论你的头转向何方,声音似乎总是从正前方传来。如果真的这样,沉浸感就成了一个笑话,那也就更不用谈什么临场感了。

  3D音效非常重要,因为当我们听到那些可以感觉到的声音时,听觉几乎可以替代我们无法实现的触觉,比如我们听到了风从脸上吹过的声音,或者雨落在身边的声音。来看看这个Oculus Connect 大会上的视频(翻墙看~),你可以对3D音效对于 VR 的重要性有更进一步的了解。

  但这并不是说没有优秀的3D音效,沉浸感就没有了,而是真正的3D音效能将这种感觉放大至无限。这就是为什么 VR 如此坚决地推崇整合了空间定位和环境氛围的真正 3D 音效。

  然而有点反常的就是,由于耳朵对于声音的连续性判断和准确定位,利用 HRTF 的耳机似乎总比扬声器传递更逼真的 3D 音效。

  音频复苏

  在2014年,Oculus授权VisiSonic的音频技术,并最终将其融入Oculus Audio SDK 中。这项技术非常依赖定制的HRTF,通过耳机来再现精准的空间定位,这其实也是Aureal在20年前就推出的技术。

  最棒的部分不仅仅是Oculus将这项技术整合进了他们的Audio ADK中,而且他们还免费供应,甚至不仅仅在 VR 平台上免费,其他任何平台上也是免费,包括传统PC平台也是。尽管市面上也有很多各种各样的三方音频解决方案,但 Oculus 这么做也是为大家提供了一个高质量,并容易上手的3D音效基准,甚至为游戏内真正的3D音效定了起跑线,这条起跑线在快十年前DirectSound3D陨落时就不见了踪影。

 

  一段时间以来3D音效都处于一个“奄奄一息”的状态,或者你也可以乐观地说,它需要被复苏。多亏了VR的到来,人们终于证实了3D音效复苏的重要性。3D音效再也不是备选的调味料了,它是一个非常重要的原材料,是可以放大、倍增整个VR体验,可以将临场感和沉浸感提升到图形永远无法企及高度的重要元素。