“建立在堅(jiān)實(shí)技術(shù)基礎(chǔ)上的創(chuàng)意娛樂(lè)公司”索尼，始終以“人”為本，在前沿技術(shù)領(lǐng)域不斷探索進(jìn)取。后疫情時(shí)代，索尼黑科技正式確立了3R戰(zhàn)略（真實(shí)（Reality）、實(shí)時(shí)（Real-time）和遠(yuǎn)程（Remote），致力于為內(nèi)容創(chuàng)作賦能，共同開(kāi)創(chuàng)前所未有的娛樂(lè)表達(dá)方式?！八髂岷诳萍肌睂?zhuān)欄將定期為您介紹較具代表性的索尼技術(shù)創(chuàng)新成果，探索如何“用創(chuàng)意和科技的力量感動(dòng)世界”。 本期將為您帶來(lái)的是——360臨場(chǎng)音效。

    索尼360臨場(chǎng)音效讓聽(tīng)眾沉浸在仿佛來(lái)自四面八方的聲音中，似乎樂(lè)隊(duì)就在眼前演奏。自2019年秋天推出以來(lái)，集成索尼集團(tuán)技術(shù)積累而打造的這種全新音樂(lè)體驗(yàn)，通過(guò)與著名藝術(shù)家的成功合作，獲得了人們的關(guān)注。目前，索尼正在構(gòu)建一個(gè)生態(tài)系統(tǒng)，將這一體驗(yàn)帶給全世界的人們。

受訪人信息：

球形聲場(chǎng)帶來(lái)的沉浸式體驗(yàn)

──究竟什么是360臨場(chǎng)音效？

富岡萬(wàn)紀(jì)：360臨場(chǎng)音效是一種全新的音樂(lè)體驗(yàn)，使用索尼基于對(duì)象的音頻技術(shù)創(chuàng)造一個(gè)逼真的聲場(chǎng)。我們通過(guò)提供制作、分發(fā)和播放兼容內(nèi)容所需的技術(shù)，打造一個(gè)開(kāi)放的生態(tài)系統(tǒng)。具體來(lái)說(shuō)，在內(nèi)容制作過(guò)程中，位置信息被附加到每個(gè)聲源上，如人聲、和聲、樂(lè)器等，并被置于一個(gè)球形空間內(nèi)。為了將這種新的娛樂(lè)形式順利地推介給廣大用戶，索尼向創(chuàng)作者和藝術(shù)家提出了一系列技術(shù)建議。自2019年秋季該服務(wù)推出以來(lái)，歐洲、美國(guó)和亞洲的多個(gè)流媒體服務(wù)已經(jīng)發(fā)布了不同類(lèi)型的兼容音樂(lè)。

──360臨場(chǎng)音效與其他立體聲場(chǎng)的體驗(yàn)有何不同？

海野由紀(jì)子: 它有三大特點(diǎn)。首先，由于它從制作到分發(fā)都是基于對(duì)象的，因此可以根據(jù)不同播放設(shè)備上的各種收聽(tīng)方式進(jìn)行調(diào)整，從而實(shí)現(xiàn)高質(zhì)量的聲場(chǎng)再現(xiàn)。這里的"基于對(duì)象"是指根據(jù)接收方的喜好和音頻系統(tǒng)傳遞聲音素材和元數(shù)據(jù)，生成音頻信號(hào)的方法。再則，在內(nèi)容創(chuàng)作過(guò)程中，創(chuàng)作者和藝術(shù)家可以將人聲、和聲、樂(lè)器等聲源自由定位在一個(gè)球形的空間內(nèi)。還有一個(gè)較重要的功能是，通過(guò)智能手機(jī)拍攝的耳朵照片分析個(gè)人的聽(tīng)覺(jué)特征，可以針對(duì)個(gè)人進(jìn)行聲學(xué)優(yōu)化，讓他們?cè)谑褂枚鷻C(jī)播放的情況下也能享受到360臨場(chǎng)音效的音頻體驗(yàn)。除此之外，它基于MPEG-H 3D音頻國(guó)際標(biāo)準(zhǔn)，因此可以在整個(gè)音樂(lè)行業(yè)廣泛使用，該格式可以通過(guò)智能手機(jī)和其他移動(dòng)設(shè)備進(jìn)行流媒體播放，是音樂(lè)分發(fā)服務(wù)的理想選擇。

──哪些技術(shù)是用來(lái)分析個(gè)人聽(tīng)覺(jué)特征的？

福田和巳: 為了重現(xiàn)身臨其境的空間聲場(chǎng)，針對(duì)每個(gè)聽(tīng)眾的獨(dú)特聽(tīng)覺(jué)特征優(yōu)化播放效果是非常重要的。當(dāng)聲音到達(dá)你的耳膜時(shí)，它已經(jīng)在幾個(gè)不同的表面上進(jìn)行了反射和衍射，包括地板、墻壁，甚至你自己的身體。聲音的特性會(huì)根據(jù)人的耳朵與聲源的相對(duì)位置發(fā)生變化，人們會(huì)根據(jù)這些差異下意識(shí)地判斷聲音來(lái)自哪里。360臨場(chǎng)音效就是利用這些聲音特性，讓人產(chǎn)生從耳機(jī)外聽(tīng)到聲音的感覺(jué)，從而再現(xiàn)空間聲場(chǎng)。然而，人的耳朵和頭部形狀不同，對(duì)聲音的感知也不同。因此，要想獲得更深的沉浸感，就必須進(jìn)行個(gè)性化優(yōu)化。我們開(kāi)發(fā)了一種個(gè)人優(yōu)化算法，根據(jù)我們記錄頭部/耳朵形狀和聽(tīng)力特征之間關(guān)系的專(zhuān)有的數(shù)據(jù)庫(kù)，利用機(jī)器學(xué)習(xí)從耳朵的照片中預(yù)測(cè)聽(tīng)覺(jué)特征。因此，通過(guò)使用"Sony | Headphones Connect"應(yīng)用程序拍攝耳朵照片，用戶可以使用云端的算法分析自己的聽(tīng)覺(jué)特征，并創(chuàng)造優(yōu)化的聲音體驗(yàn)。

雖然使用任何廠商的耳機(jī)都可以享受到兼容360臨場(chǎng)音效的內(nèi)容，但若想打造更為優(yōu)化的聆聽(tīng)體驗(yàn)，則需要索尼耳機(jī)對(duì)于個(gè)人聽(tīng)覺(jué)特征的分析。上圖中行業(yè)領(lǐng)先*的WH-1000XM4降噪耳機(jī)就是索尼的推薦產(chǎn)品之一。

*截至2020年4月21日，基于索尼研究，采用符合JEITA標(biāo)準(zhǔn)的準(zhǔn)則測(cè)量，指頭戴式降噪耳機(jī)市場(chǎng)。

──開(kāi)發(fā)和推出這項(xiàng)服務(wù)較困難的部分是什么？

海野由紀(jì)子：提高個(gè)性優(yōu)化聲音體驗(yàn)的準(zhǔn)確性是一個(gè)挑戰(zhàn)。索尼基于用戶耳朵的照片推斷個(gè)人聽(tīng)覺(jué)特征的專(zhuān)有技術(shù)，集成了圖像處理技術(shù)、人工智能技術(shù)、空間聲學(xué)理論和人耳數(shù)據(jù)庫(kù)，且都為自主研發(fā)。我們?yōu)檫@個(gè)想法感到非常自豪，但要將其付諸實(shí)踐，我們需要復(fù)查數(shù)據(jù)庫(kù)并為用戶創(chuàng)建拍攝照片的方法。模型推出之前，我們做了很多準(zhǔn)備工作。一開(kāi)始，我們努力提高音質(zhì)和聽(tīng)源定位，使得很難界定個(gè)性優(yōu)化的標(biāo)準(zhǔn)。于是，我們從頭審視了處理流程，找出了影響準(zhǔn)確性的處理模塊。通過(guò)集中精力改進(jìn)這些模塊的算法，我們得以改善了音質(zhì)和聽(tīng)覺(jué)定位。我們非常感謝那些幫助我們進(jìn)行大量評(píng)估的人。較終，我們能夠?qū)崿F(xiàn)發(fā)布更加沉浸式的聲音體驗(yàn)。該產(chǎn)品在日本和海外都進(jìn)行了評(píng)估。我們?cè)O(shè)置了可以體驗(yàn)360臨場(chǎng)音效的試聽(tīng)室，并為廣泛的聽(tīng)眾進(jìn)行了音質(zhì)評(píng)估。我們對(duì)這種新的音樂(lè)體驗(yàn)將如何被接受感到緊張，但還是得到了非常積極的反饋，比如 "就像被聲音包圍了"，"就像置身于現(xiàn)場(chǎng)音樂(lè)會(huì)中"。這給我們推出這一服務(wù)增強(qiáng)了信心。

優(yōu)化聽(tīng)覺(jué)特征，讓用戶體驗(yàn)到沉浸感，如同置身演出現(xiàn)場(chǎng)。

富岡萬(wàn)紀(jì)：在推出之前，我們面臨著一項(xiàng)新業(yè)務(wù)會(huì)遭遇的所有挑戰(zhàn)。我們與唱片公司、藝術(shù)家、混音工程師和音樂(lè)發(fā)行公司進(jìn)行了艱難的談判。我們還前往海外，向盡可能多的人展示360臨場(chǎng)音效的價(jià)值。這種全新的音樂(lè)體驗(yàn)有望促進(jìn)行業(yè)發(fā)展，我們認(rèn)為，如果人們能夠理解我們所提供的價(jià)值，合作伙伴范圍將會(huì)擴(kuò)大。果不其然，甚至是那些較初對(duì)空間音效持懷疑態(tài)度的人，在我們演示后也給予了非常積極的反饋，演示后也總會(huì)引發(fā)進(jìn)一步的討論。

調(diào)動(dòng)整個(gè)音樂(lè)產(chǎn)業(yè)參與內(nèi)容制作

──你們也在專(zhuān)注于創(chuàng)造兼容的內(nèi)容。除技術(shù)開(kāi)發(fā)外，為什么還關(guān)注內(nèi)容創(chuàng)作？

富岡萬(wàn)紀(jì)：制作各種高質(zhì)量、有吸引力的內(nèi)容，是為人們創(chuàng)造一個(gè)新的生態(tài)系統(tǒng)，使其享受360臨場(chǎng)音效等空間音頻的關(guān)鍵。索尼的研發(fā)中心、索尼家庭娛樂(lè)和音頻產(chǎn)品公司和工作室工程師密切合作，推動(dòng)內(nèi)容制作直至該服務(wù)推出。

──你們是如何合作為360臨場(chǎng)音效創(chuàng)作內(nèi)容的？能否介紹一下你們的具體工作流程？

福田和巳：研發(fā)中心開(kāi)發(fā)了360臨場(chǎng)音效制作工具，并提供給各大廠牌的制作工作室。這些制作工具可以讓工程師在球形空間內(nèi)自由放置樂(lè)器和人聲，而工具中所搭載的空間音頻技術(shù)可以讓他們使用耳機(jī)和揚(yáng)聲器確認(rèn)位置。

富岡萬(wàn)紀(jì)：業(yè)務(wù)開(kāi)發(fā)部將制作的基礎(chǔ)設(shè)施引入到索尼音樂(lè)娛樂(lè)公司（SME）及其附屬的一些工作室，并對(duì)其工程師進(jìn)行了內(nèi)容制作方面的培訓(xùn)。在與流媒體服務(wù)商討論了可行的內(nèi)容后，我們會(huì)接洽唱片公司，并請(qǐng)他們制作。我們還開(kāi)發(fā)了一個(gè)360臨場(chǎng)音效應(yīng)用程序，用于處理藝術(shù)家對(duì)混音歌曲的審批。

海野由紀(jì)子：產(chǎn)品技術(shù)二部與業(yè)務(wù)開(kāi)發(fā)部及工作室工程師合作，挖掘了一連串的內(nèi)容制作技巧。通過(guò)多次嘗試和試驗(yàn)，我們總結(jié)出了一套能有效產(chǎn)出360臨場(chǎng)音效的聽(tīng)覺(jué)定位、空間感、韻律感等關(guān)鍵特征的方法。

Mark Wilder：Battery studios（索尼音樂(lè)娛樂(lè)公司位于美國(guó)紐約的音樂(lè)制作機(jī)構(gòu)）與各個(gè)團(tuán)隊(duì)攜手合作，為軟件和技術(shù)進(jìn)步提供想法，并幫助準(zhǔn)備來(lái)自SME和其他唱片公司內(nèi)容。Battery Studios致力于“One Sony”戰(zhàn)略，這是一個(gè)非常充實(shí)的過(guò)程。

為世界各地的用戶提供感動(dòng)人的音樂(lè)體驗(yàn)

──能和我們分享未來(lái)的計(jì)劃和發(fā)展?jié)摿幔?/p>

富岡萬(wàn)紀(jì)：自2019年10月在紐約舉行360臨場(chǎng)音效發(fā)布會(huì)以來(lái)，我們收到了很多來(lái)自業(yè)內(nèi)專(zhuān)業(yè)人士和用戶的積極反饋，360臨場(chǎng)音效的市場(chǎng)占有率也在穩(wěn)步增長(zhǎng)。日前我們一直在努力發(fā)行The Chainsmokers和Kane Brown等索尼音樂(lè)娛樂(lè)旗下熱門(mén)藝人的歌曲。未來(lái)，索尼計(jì)劃在各個(gè)國(guó)家建立合作關(guān)系，旨在進(jìn)一步擴(kuò)大用戶群。

Kane Brown利用360臨場(chǎng)音效發(fā)布了兩張較新專(zhuān)輯

海野由紀(jì)子：我想，我們能夠在新興的空間音頻領(lǐng)域創(chuàng)造出這一全新的音樂(lè)體驗(yàn)，要?dú)w功于我們員工多樣化的知識(shí)儲(chǔ)備。我們希望大家能享受這種全新的、沉浸式的聲音體驗(yàn)。我們將繼續(xù)挑戰(zhàn)在音頻領(lǐng)域開(kāi)發(fā)新技術(shù)。

Mike Piacentini：在過(guò)去的幾年里，看到索尼集團(tuán)全體員工齊心協(xié)力在不同國(guó)家跨不同的業(yè)務(wù)集團(tuán)共同推出一款產(chǎn)品，我感到非常榮幸。

福田和巳：在瞬息萬(wàn)變的社會(huì)環(huán)境中，娛樂(lè)業(yè)不斷發(fā)展，我希望為用戶提供全新的音樂(lè)體驗(yàn)，并尋找新的方式為他們提供感動(dòng)（kando）。