易科 |中國傳媒大學(xué)課程回顧-沉浸聲系統在節目制作中的應用

　　音頻技術(shù)的發(fā)展在過(guò)去幾十年的時(shí)間里，讓人們的聽(tīng)覺(jué)體驗從單聲道擴展到立體聲和環(huán)繞聲，并且向帶有高度信息的沉浸聲系統快速進(jìn)化。為了讓年輕的音頻行業(yè)從業(yè)者能夠緊跟技術(shù)的快速更迭，易科國際的沉浸聲技術(shù)團隊于2022年5月26日，為中國傳媒大學(xué)的學(xué)生們進(jìn)行了一次題為《沉浸聲系統在節目制作中的應用》的主題講座。

　　講座開(kāi)始，中國傳媒大學(xué)音樂(lè )與錄音藝術(shù)學(xué)院教師賁小龍老師做了開(kāi)場(chǎng)白，易科國際市場(chǎng)營(yíng)銷(xiāo)中心高級總監冀翔則介紹了易科國際的沉浸聲技術(shù)團隊成員以及其位于深圳總部的沉浸聲系統實(shí)驗及體驗空間。

　　Part　1

　　本次講座分為三大模塊：沉浸聲系統基本概念梳理、節目的制作與交付流程以及沉浸聲系統在應用中的相關(guān)注意事項。易科國際高級品牌經(jīng)理徐若克從同學(xué)們較為熟悉的立體聲和環(huán)繞聲拾音制式說(shuō)起，如AB，M/S，X/Y，Hamasaki Square，Fukata Tree等，讓同學(xué)們對錄音制作從前期拾音到后期制作，直到最后交付節目的整體流程有一個(gè)整體的把握，也為后續的沉浸聲節目制作和節目交付埋下伏筆。

　　隨后，徐若克解釋了“基于聲道(Channel-Based)”和“基于對象(Object-Based)”的概念，對比了二者之間的異同。

　　基于聲道對于揚聲器布局有著(zhù)標準化的限制和要求，比如5.1環(huán)繞聲系統對于揚聲器的布局要求必須符合ITU-R BS.2159-9標準(官方鏈接https://www.itu.int/pub/R-REP-BS.2159-9-2022)。

　　基于對象則是在音頻文件的基礎上賦予了更多的元數據，如空間坐標信息、聲學(xué)特性等?；趯ο蠛突诼暤蓝咧g并不是相互對立的“競爭”關(guān)系，在不同應用場(chǎng)景之下，作為音頻工程師會(huì )選擇更為合適的制作系統。對于從制作到最終節目的交付，揚聲器布局遵循統一標準并且保持一致的場(chǎng)景，基于聲道的系統有著(zhù)明顯的優(yōu)勢;若節目的制作環(huán)境和交付端無(wú)法保證揚聲器布局的統一，那么為了節目遷移的一致性，基于對象的制作則有更大的優(yōu)勢，目前市場(chǎng)上的一些現場(chǎng)演出以及互動(dòng)性較強的節目都是采用這一制作系統完成的。針對如何在基于聲道和基于對象這兩種系統之間做出正確的選擇，除了上述的應用場(chǎng)景外，沉浸聲引擎自身的渲染算法也是另一重要考量因素，如基于強度的VBAP，DBAP，基于延時(shí)的WFS算法，他們對于靜態(tài)和動(dòng)態(tài)聲源的渲染上，對于系統資源的消耗有著(zhù)各自的優(yōu)勢和不足，需要在系統設計過(guò)程中綜合考量。

　　接下來(lái)，徐若克針對SARA引擎的核心算法WFS做了進(jìn)一步的介紹，從WFS的理論模型到實(shí)際應用中一些難以實(shí)施的特點(diǎn)，讓同學(xué)們不僅能夠明白WFS算法的優(yōu)勢，同時(shí)也能夠看到其在應用層面的局限性。SARA引擎的自適應波場(chǎng)合成渲染算法，其核心來(lái)自于WFS算法，并在及基礎上做出改良和優(yōu)化，所以在原有WFS的優(yōu)勢上，進(jìn)一步減少了系統中所需揚聲器的數量，更夠更好的實(shí)現垂直定位，在音色保持一致的前提下，靈活地在點(diǎn)聲源和平面波之間進(jìn)行切換。

　　易科國際解決方案經(jīng)理汪道瀾在易科總部的五樓為同學(xué)們展示了SARA引擎的操作界面和簡(jiǎn)易的工作流程。從建立一個(gè)沉浸聲系統工程，調整房間尺寸，建立揚聲器坐標，選擇揚聲器類(lèi)型(Spatial, Reinforcement, Sub)，到針對引擎SFF格式元數據的播放器進(jìn)行了功能展示，讓同學(xué)們在對于沉浸聲系統有了一定的理論層面認知之后，能夠在引擎操作頁(yè)面能夠更加直觀(guān)的感受到整個(gè)沉浸聲系統被建立起來(lái)的過(guò)程，以及在實(shí)際應用過(guò)程中，針對不同揚聲器布局，靈活且快速的比例調整。

　　Part　2

　　徐若克針對沉浸聲節目的制作和交付流程做了較為詳細的分享。當節目進(jìn)入沉浸聲的制作時(shí)，大致上可以將制作方式歸為完全基于對象、基于聲道制作加上基于對象渲染、混合制作加上基于對象渲染這三種方式。首先，針對完全基于對象的制作方式，從制作端到節目交付端，全程都有沉浸聲引擎的參與。在制作環(huán)節，工程師大多都是基于一個(gè)標準的揚聲器布局完成節目的監聽(tīng)，沉浸聲引擎作為制作環(huán)節的渲染工具，為工程師提供了基于標準揚聲器布局的監聽(tīng)信號，而非最終交付的信號。當節目制作完成到了交付端的時(shí)候，唯一需要調整的就是交付端新的揚聲器布局，這個(gè)布局需要重新導入沉浸聲引擎當中，引擎接受同樣的節目源，重新根據新場(chǎng)地的揚聲器布局進(jìn)行渲染，完成節目的交付?；诼暤乐谱骷由匣趯ο箐秩究梢宰尮澞恐谱魅藛T保留原有的制作流程和操作習慣，并且在制作環(huán)節可以允許沉浸聲引擎不參與其中，此時(shí)制作人員聽(tīng)到和最終輸出的文件既是監聽(tīng)信號又是交付信號。當制作完成之后到了交付場(chǎng)地，同樣的，沉浸聲引擎會(huì )根據場(chǎng)地的揚聲器布局模型，針對完成的節目信號進(jìn)行渲染?；旌现谱骷由匣趯ο箐秩具@中方式，在制作環(huán)節即引入了沉浸聲引擎。大部分的信號可以通過(guò)工作站的固定母線(xiàn)輸出至引擎，少數需要做特殊效果的通道可以直接輸出給引擎。在交付環(huán)節，此時(shí)的元數據既來(lái)自制作端引擎，又包含基于聲道的揚聲器布局，引擎基于新的揚聲器布局完成節目的渲染并將信號輸出給揚聲器系統。

　　當演出現場(chǎng)不具備特定揚聲器布局的安裝條件時(shí)，沉浸聲引擎基于場(chǎng)地中揚聲器模型來(lái)渲染出虛擬揚聲器來(lái)滿(mǎn)足特定重放要求的節目，就顯得非常重要。徐若克以2021年11月易科國際在星海音樂(lè )廳完成的22.2聲道，8K超高清放映系列活動(dòng) 為例，和同學(xué)們分享沉浸聲引擎在真實(shí)場(chǎng)景下的應用，團隊遇到的困難和對應措施，進(jìn)一步強化了沉浸聲系統來(lái)渲染和還原虛擬揚聲器的概念。

　　Part　3

　　沉浸聲系統在實(shí)際應用中，除了提供核心運算的沉浸聲引擎，還有很多其他設備的參與，比如調音臺、數字信號轉換器、交換機、功放、揚聲器等。當面對(設計)一套沉浸聲時(shí)，我們需要全面了解各自設備在系統當中的角色。徐若克從網(wǎng)絡(luò )規劃，時(shí)鐘規劃的角度幫助同學(xué)們進(jìn)一步了解了在應用層面會(huì )遇到的一些問(wèn)題和注意事項。當我們采用Dante™作為信號傳輸鏈路的時(shí)候，我們需要明確將哪些設備規劃在統一網(wǎng)段下。比如沉浸聲主機，MADI/Dane轉換盒，控制電腦需要在統一網(wǎng)段，以便進(jìn)行沉浸聲引擎的操作管理，Dante™信號流的路由監測。如果系統中有調音臺和其他基于A(yíng)oIP的設備，那么我們也需要將他們接入沉浸聲引擎所在的網(wǎng)段之下。

　　同時(shí)，在數字音頻當中，時(shí)鐘這一重要元素是不可忽略的。以SARA引擎為例的沉浸聲系統當中，沉浸聲引擎未必都是做主時(shí)鐘的。根據調音臺在系統中的角色變化，工程師可以將調音臺作為主時(shí)鐘。沉浸聲引擎和后級的其他設備都可以再整個(gè)系統當中以從屬狀態(tài)跟隨主時(shí)鐘，實(shí)現數字信號的同步。由于系統中Dante™信號的存在，我們還需要考慮Dante™系統的主時(shí)鐘(Master)和從設備(Slave)，此處的案例當中，是以MADI/Dante信號轉換器作為Dante™系統的Dante™時(shí)鐘。

　　在講座進(jìn)行過(guò)程中，同學(xué)們都紛紛提出了關(guān)于系統設計和場(chǎng)地建模等多方面的問(wèn)題，冀翔老師也一一進(jìn)行了解答，同學(xué)們也在這短短的3個(gè)多小時(shí)的課程中有所收獲。目前，由于疫情防控的相關(guān)政策要求，同學(xué)們無(wú)法親臨北京易科分公司實(shí)際上手感受這套沉浸聲系統。

　　傳媒大學(xué)賁小龍老師表示：“沉浸聲制作現在已經(jīng)滲透到“聲音行業(yè)”的各個(gè)域，無(wú)論是基礎研究、影視、音樂(lè )、游戲當然還有現場(chǎng)擴聲。這次非常榮幸的能夠邀請到易科國際的三位老師給我們做這樣一次技術(shù)分享。在現場(chǎng)擴聲中沉浸聲的制作對我們來(lái)說(shuō)還是一個(gè)新興事物，通過(guò)對沉浸聲節目的制作與交付以及沉浸聲系統的重放等環(huán)節對同學(xué)們進(jìn)行演示、講解，能夠幫助大家更好的理解課堂上老師講授的原理及現場(chǎng)制作中沉浸聲系統的應用現狀。唯一的遺憾就是由于疫情原因無(wú)法按原定計劃帶著(zhù)同學(xué)們到展廳內體驗沉浸聲制作系統，待疫情緩和希望能夠有機會(huì )帶領(lǐng)同學(xué)們到現場(chǎng)進(jìn)行學(xué)習實(shí)踐。最后還要再次感謝易科的三位老師能夠為同學(xué)們提供這次寶貴的學(xué)習機會(huì )。”

　　通過(guò)這次的線(xiàn)上課程，相信能夠讓更多的同學(xué)能夠對沉浸聲系統及其應用有更多的興趣，希望他們未來(lái)也能為音頻行業(yè)，尤其是沉浸聲的制作和實(shí)踐注入更多的新鮮血液。