即將于3月26、27日上演的THE9“虛實之城”沉浸式虛擬演唱會第一場——“晝·造夢”已經進入倒計時，作為使用全球比肩技術的國內首場沉浸式虛擬演唱會，演出將平臺的技術優勢融入內容呈現之中，搭建了一場擁有豐富想象空間的虛擬大Show。
不久前，官博釋出最新一批演出場景概念圖，其中有異域風情十足的神廟、有科技感拉滿的電子空間、也有來自宇宙的星環。在過去的傳統演唱會中，這樣沉浸式的場景營造和豐富的場景變換是無法想象的。
正如愛奇藝首席技術官兼基礎架構和智能內容分發事業群總裁劉文峰所說：“當技術應用于娛樂行業時，首先要看技術是否給用戶帶來價值。”而在制作團隊的采訪當中，我們能夠窺探到XR技術和影視級LED寫實化虛擬制作技術融入線上演唱會所帶來的震撼魅力。
XR技術不是新東西，但能和創意碰撞出新舞臺
XR技術在演唱會的制作運用當中，最重要有兩點，一方面是調試與更新并行的實時測試。據THE9演唱會執行制片人吳磊介紹，這次搭建了專屬的虛擬測試間，模擬整個XR舞臺，擁有完整的流程，這是過去所沒有的。另一方面，技術團隊和導演團隊的認知溝通也非常重要，“導演團隊一開始只有內容設想，但具體怎么做、為什么不能做、要做多久這些東西都需要技術團隊進行培訓，我們起碼要理解技術的內容邏輯。”總導演譚寅子說道。
XR技術應用于演唱會、晚會已漸成趨勢，劉文峰認為，將游戲領域應用廣泛的XR技術遷移至娛樂領域，是為了讓用戶擁有更加沉浸的觀看體驗。“XR在真正的C端，特別是游戲領域的應用已經很成熟了，消費者接受度也很高，現在我們把電影、綜藝、演出的創意，和這種技術兩相結合，一碰撞就形成新的東西。”
作為技術團隊參與演唱會的制作，跟導演團隊之間會出現哪些需要解決的溝通挑戰？
劉文峰：很多。互相之間語言體系就不一樣，在XR這個概念上技術團隊的描述方式和導演團隊的理解方式是不一樣的，諸如此類還有很多。所以需要大家花時間針對一個目標共同討論解決方案，然后再對齊大家的認知。就這一個方法，沒有別的方法，包括現場大概有幾十個工程師、產品經理、研發人員等等，并不是只看不做，而是直接在現場研發，有任何需要做代碼調整的就現場修改上線了。目前這種做項目的方式，將來可能都會產品化，形成一個個新的演出形態。
XR技術真正應用到劇綜、演藝表演，或是類似的規模化、高效應用的場景時，還需要解決哪些關鍵的問題呢？
劉文峰：最大的挑戰在于實時性，與用戶之間的互動是否能夠做到流暢和自然。它和傳統的制作非常不一樣，和用戶之間的互動越實時，給這個節目帶來的不確定性越高，而這個不確定性是考驗創意的，考驗內容制作團隊的，考驗現場導演的臨時反應的，也考驗準備的充分程度的。所以這類內容制作將來的方式、團隊的組成和結構以及創意方式等有可能會有很大的變化。
影視級LED寫實化虛擬制作技術，成為“不穿幫鏡頭”的必備
據了解，此次演唱會應用了四面LED大屏組成演出舞臺，用以提高場景的真實感。眾所周知，起步之初的XR表演并不是真正使用LED進行場景搭建，而是先利用綠布拍攝再進行后期加工，藝人在表演中無法與場景進行互動。“LED則能夠將環境投射在人的皮膚、穿戴上，增加了真實感，這是LED的優勢。”執行制片人吳磊介紹。
同時，這種技術的變化會對未來娛樂產品帶來內容與形態上的革新，“這些正在開發和使用的技術會在制作流程、內容成本、內容質量上帶來非常大的改善和提高。”愛奇藝副總裁楊海濤說。
這次的LED屏幕跟一般會議活動演出的LED屏原理是一樣的？
劉文峰：原理類似，但是會比普通屏的精度高，像素和像素之間的距離要小。有一個數據是《曼達洛人》拍攝用的屏也是中國的屏，它就是兩個像素點之間的距離是2.84mm，我們這次比它還要小。這個點距決定了你站近一點，也看不出屏幕上每個點的顆粒。并且接口之間的縫隙是感覺不到的。
在演唱會的準備上有遇到過技術挑戰嗎？
劉文峰：軟件的挑戰更大，傳統的將LED屏作為節目的一部分時，很多是應用于氛圍的，比如說舞臺上的LED屏，后面播出的內容是用來渲染當前的演出氛圍，我們稱之為是風格化的一種用法。而這次的虛擬拍攝，LED屏上是一個真實的三維場景，這個三維場景在屏幕上的渲染符合透視原理。這個透視原理相當于攝像機看到的畫面等同人的眼睛看到的真實世界的畫面。但真實世界顯然有很深的深度信息，在屏幕上都是用平面展現出來的，這意味著攝像機在有輕微的位移時，屏幕里所有的像素都要立刻計算出新的數據，包括經過的所有屏幕顯示出來的內容，經過GPU 3D引擎計算出當前攝像機偏移以后新的位置和大小。這些是基于虛擬拍攝的一套復雜的軟件系統和一套很強的算法做成的。這個技術也運用在部分影視制作中，不同之處是電影拍出來之后還要經過后期制作，并不是直播的，而我們是完全直播的場景，所以挑戰大太多了。
據了解，演唱會里有一個雨林場景，需要做到不穿幫的實景化場景，其中有哪些需要解決的具體技術難點嗎？
朱梁：第一要點關于分辨率，我們希望看上去是真的，高清的模式已經不行了，因為屏幕面積很大，如果完全用高清的視頻，一旦擴大到寬十幾米寬、高六米的屏幕，就會很粗糙。因此我們用引擎當中的nDisplay技術，只渲染我們真正給觀眾播出的畫面，它的質量是最好的。還有一個難點，解決屏和屏之間怎么互相影響，以及色彩準確度的問題。在不同的視角看屏，顏色的偏轉是不一樣的，這是LED的燈珠制造決定的。怎么改變彼此的亮度和色彩的關系，使你不管在哪個角度觀看都是完整無縫的影像，這些地方是很困難的。包括和地屏的配合，地屏容易出現高低不平的情況，鞋或舞臺上的道具可能會損害我們的屏，我們也需要想保護措施，既可以保護屏幕，也可以維護色彩的一致性和更高的畫質。
從世界范圍內看，這次使用的技術有什么優勢呢？
朱梁：據我了解，在北美，算上美國和加拿大，伴隨著《西部世界》和《曼達洛人》的應用，大家已經看到LED的優勢。現在至少已經有200個攝影棚在北美地區開始裝配LED拍攝的方案了，這會是一個非常大的潮流。
技術和娛樂結合的演出，核心在于技術還是故事。在技術和故事融合的方面，有沒有故事可以分享？
劉文峰：核心是我們如何能夠將技術和創意兩者進行結合。我一直認為我們科技和創意的“雙螺旋”特別有意義，互為依賴。光有技術沒有辦法娛樂大眾，光有創意沒有辦法很好的實現與展現，也沒有辦法讓用戶體會到新的技術，所以是互為存在的。
比如這次整個的演唱創意是每個成員心目中有一個自己理想的世界，我們在虛擬世界里創造出來。正好也契合愛奇藝的企業使命，讓夢想綻放，讓快樂簡單。先讓這九個小姑娘的夢想綻放了，她夢想說我要在什么地方跳舞，好，就像上帝說要有光一樣的。真要物理搭不僅僅是難，而是可能無法實現。當你看到演出會發現，要去外星球、在獅身人面像前跳舞，還可以從中間分開到里面去，很驚人的。其實是沒有邊界的，可以海闊天空的想，然后技術同步實現，往盡可能滿足演員的方向去發揮。這次投入也是非常大的原因也在這了。
