为何要选用 Wwise 来打造 3D 互动音乐体验
2021-11-16 07:22:39 作者：网络转载
|
Dirty Laundry by Blake Ruby 移动 VR 应用：音频设计详解。 大家好，我叫朱利安•梅西纳，是一名音频工程师。我的商业伙伴罗伯特?库姆博 (Robert Coomber) 和我与音乐家布莱克?鲁比 (Blake Ruby) 合作开发了一款 360 度沉浸音乐体验 VR 应用。本文说的是我们为何要选用 Wwise 来做这个项目。另外，各位不妨了解一下其中采用了怎样的设备配置、遇到了哪些问题以及最终如何设法为布莱克的粉丝营造了出众的沉浸体验。 简介 罗伯特和我都是刚从贝尔蒙特大学毕业的音频工程师。跟很多人一样，我们也非常喜欢音乐和视觉艺术。随着两者的不断发展，我们一直在努力探寻如何借助新兴技术来以创新方式提升用户的视听体验。纵观当下趋势，我们发现了一个新的实践方向：结合空间音频和游戏引擎来呈现音乐和视觉艺术。为此，我们构建了 Dirty Laundry by Blake Ruby 沉浸项目。 故事背景：为什么是 3D 音频？ 在罗伯特和我合作构建这个沉浸项目之前，我曾为布莱克?鲁比制作过《A Lesser Light to Rule The Night》唱片。在制作过程中，我发现布莱克把自己那部分基本上都录好了。我觉得可以借此机会来向粉丝们展示他的这一面，让大家看到他在 360 度沉浸环境下精彩绝伦的表现。罗伯特和我知道这项任务肯定轻松不了，但有艺术家的积极配合想必会容易很多。 在启动 Dirty Laundry 项目之前，我们考察了不知道多少别的 360 度项目。总的来说，罗伯特和我感觉都不怎么好，尤其是其在音频方面的效果。这些 360 度项目的音频要么是单声道要么是立体声，即便是空间音频，也有滤波失衡、动态过大问题。我们俩都觉得，绝对不能一开始就给人以“体验效果差强人意”的印象。 我们把这个项目看作一个打造绝佳 360 度沉浸音频体验的机会。为此，我们要跟布莱克一起为听众呈现身临其境的音频效果。首先面临的难题是确定把项目部署到哪里才能获得最佳体验。最终，我们决定以可下载应用的形式来存管和分发视听内容。这样不仅可以获得更好的音频体验，而且还能提升品牌形象。当然，也可依托 Facebook 或 YouTube 来提供 360 度沉浸体验。但是，我们希望能做到最好。另外我们还面临一个挑战，即大多数消费者都没有头戴设备。虽然移动 VR 借着 Oculus Quest 等系统取得了很大进展，但我们知道并非布莱克的所有粉丝都能马上接触到这项技术。而且，这个项目不是说只面向“玩家”。在想清楚这些之后，我们决定将其部署到 iOS 上。 选用 Wwise 刚开始，我们研究了如何使用 Unity 来构建整个工程。后来慢慢发现，它并不能完全满足我们的需求（以更多的声道获得高品质声音）。为此，我们考虑了很多替代方案，最终决定用 Wwise 来实现。藉此，我们可以将最终混音作为 16 声道 Ambisonics 音频来交付。如果不这样的话，音频品质和混音效果可能会大幅下降。在试用之后，罗伯特和我一致认为 Wwise 生态系统更加方便互动音乐创作者灵活地打造出众的音频体验。随着编程工作的推进，这一点变得越发明显。 这个项目非常复杂，从预研、准备、设计、制作到整合都有很多变数。为此，我们在前端和后端方面花费了大量的时间，尤其考虑到最终要在 iOS 上实现。虽然困难重重，但有一点是我们不必担心的，那就是听觉效果。说到跟艺术家合作，作为音频工程师，很大一部分工作是将音频效果打造得尽量接近原声。为此，我们很高兴能依靠 Wwise 来解决这个问题。这对首次向布莱克的粉丝呈现高保真沉浸音乐来说非常重要。最终，我们希望能借助 Wwise 的强大功能给听众以难忘的视听体验。 制作过程：经验教训 实际制作是在 Columbia Studios A 完成的。这间录音棚为我们提供了足够的空间来根据需要安置相应装置，同时配备了各种必要的设施（如 Starbird SB-1 立架和 Pro Tools HD）。我们架设了点阵式话筒和 5.0 环绕声话筒阵列 (OCT-5) 以及一阶 Ambisonics 话筒 (Sennheiser AMBEO)。同时，监听包括五个有源雅马哈HS5扬声器和被安置在中心声道扬声器北侧+90?位置的有源KLH重低音扬声器，左和右声道扬声器在距离北方±30?的方向排列，左环绕后和右环绕后声道在距离北方±110?的方向排列。除此之外，我们还设置了一个耳机输出来监听通过 dearVR Ambi Micro 插件解码为双耳信号的 Ambisonics 输出。我们捕捉环绕/Ambisonics音频时的主要关注点是要确保使用与其匹配的具备步进电位控制及低失真的前置放大器。出于以上种种考虑，我们最终选择了 8 声道 Millenia HV-3D 话筒前置放大器。 在试听之后，我们发现就像预期的那样：演奏时录制的环绕声/Ambisonics 音轨相互交叠导致底噪电平升高，而且点阵式话筒和 Ambisonics 话筒之间不受控制地出现类似合唱的问题。这样的话，某些人声演奏部分的整体效果难免会差强人意。如果说是其他情况，这些问题都好解决。然而，对 3D 音频项目来说，问题要复杂得多。要想解决底噪问题，只能滤掉环绕声/Ambisonics 话筒。但是这样会对临场感造成影响，后续的空间化处理效果也会变差。要想解决合唱问题，就得在环绕声/Ambisonics 录音和来自点阵式话筒的特定录音之间做出选择。这样的话，又会丢失很多信息。 解决底噪和合唱问题 为了解决底噪和合唱问题，我们回到 Columbia Studios 并录制了房间的 Ambisonics 冲激响应。这些录音稍后要与 Ambisonics 3D 卷积混响效果器 AmbiVerb 结合使用。要想捕获房间的冲激响应，必须尽可能在拍摄当天进行舞台演奏以捕获类似的反射。冲激响应的录制使用了与前面相同的 Sennheiser AMBEO 话筒和 Millenia HV-3D 话筒前置放大器。第一种冲激响应为正弦波扫频信号。这些信号会输出到放在空间中各个演奏位置的有源 Yamaha HS8 扬声器。在此过程中，使用 Pro Tools 进行录音。第二种冲激响应来自于气球。这些气球同样被放在了各个演奏位置。然后，我对两种不同的冲激响应进行了对比，以确定在对正弦扫频信号进行卷积和反卷积处理后能否获得预期效果。 在创建冲激响应、加录新的同期人声并在 Pro Tools 内创建分轨之后，就可以开始对音频进行混音了。为此，我们选用了 Reaper 作为 DAW 并在其中实施混音。因为它使用起来非常灵活，更重要的是可以与 dearVR 产品集成。对 3D 音频进行混音涉及诸多方面，这当中有很多关键步骤。首先，要明确哪些声音需要空间表现、哪些声音朝向固定/无衰减。在很早的时候，我就发现了固定朝向的两点好处：一是用作发送低频信息的总线。类似于 LFE 声道，同时保留单声道；二是用作传统立体声辅助效果器（如混响和延迟）的总线。这样可以确保自动实施声像摆位。如此一来，无论观众选择将头转向哪里都能保持一致。倘若延迟和混响是空间化的，那么观众对周围这些效果的感知难免存在误导，以至于不自觉地看向某个方向。 利用 dearVR 插件和 Spatial Connect 软件，混音师可以使用耳机进行双耳监听，并借助头戴设备实施头部追踪和视频馈送。然后，便可依据视频中动作的发生位置来将音频源放在 3D 空间内。我使用一组立体声乐器总线进行了试验，但发现只对那些严重依赖立体声录制信息的乐器有效（如钢琴或立体声合成器等直达输入源）。对于像鼓这样配有大量点阵式话筒的乐器，我决定弃用立体声总线，改用单声道音频源并将其置于相应位置，来确保乐器的各个部分与视频对应。我在前面提到了要将冲激响应与 3D 卷积混响效果器结合使用。假如没有卷积混响效果器，便只能听到直达信号，感觉就像置身于四周都是扬声器的消声室中一样。点阵式话筒增添了所需的直达声，但无法提供准确的声学空间反射，而且在使用拍摄当天录制的信息时会产生合唱和底噪问题。通过结合使用 3D 卷积混响效果器和收集的来自气球的冲激响应，我可以人为地创建混响效果来对实施录音的房间进行模拟。目前这些只是为了实现相应的功能，借助混响效果来填补空白，并消除反射缺失问题。每个位置的每件乐器都有自己的 3D 卷积混响效果器总线，前端还有 Parametric EQ 协助调节混响效果器的频率响应。 最终创建的音频文件包括一个 16 声道三阶 Ambisonics 文件和一个固定朝向立体声文件。三阶 Ambisonics 文件很重要，因为其包含了更多球面谐波。藉此，不仅可以在解码时增大音频源之间的角度分辨率，还可使音频滤波不至于太过明显。不过，由于我们使用了更多的声道，所以需要一个能够满足相应要求的中间件解决方案。Wwise 似乎是不二之选，因为其具备这种能力，而且提供有 Auro3D 授权，可以接受对双耳信号的解码。 虽然采用 Wwise 意味着要执行一些额外的步骤，但这是我们获得所需品质最有效的办法。在我们看来，在声学空间中使用录制的乐器时，一阶或二阶配置听起来的效果并不理想。不仅修饰过多，而且存在其他形式的失真。这会对体验带来不好的影响。我们现在所用的大多数技术都是为了满足实际需要，不过运用类似技术（比如将固定朝向立体声用作衬底）也有很大的优势；总之，这就是我们目前对 3D 音乐进行混音的方式。 感兴趣的话不妨登录 App Store 来查看并下载这款应用。如果对我们的内容存有任何疑问或问题，可转到官网与罗伯特和我本人取得联系。 本文作者 朱利安•梅西纳 (JULIAN MESSINA) 朱利安•梅西纳 (Julian Messina) 现任 4th Floor 互动音频工程师兼联合创始人。朱利安毕业于贝尔蒙特大学，他和 Robert Coomber 与 Blake Ruby 合作开发了一款基于 iOS 和 Android 的 3D 音频体验和 360 度全景视频 VR 应用。 来源：Audiokinetic官方 原文：https://mp.weixin.qq.com/s/Ihib67mdjLF7cfWrL7ujzg |