尼克國際兒童頻道(Nickelodeon)在圣迭戈國際動漫展上亮相了“Rise of the Teenage Mutant Ninja Turtles VR Interview Experience(忍者神龜：崛起 VR采訪體驗)”，其中用戶可以步入青年忍者神龜的世界，并且在虛擬現實中采訪《忍者神龜：崛起》的扮演者。這種獨一無二的采訪允許用戶可以與米開朗基羅或多納泰羅進行對話(分別由系列聲優布蘭登·史密斯和喬什·布雷納配音)。Unreal日前采訪了尼克國際兒童頻道娛樂實驗室高級副總裁Chris Young，以下是映維網的具體整理：
是什么啟發了你將VR用作“忍者神龜：崛起”動漫展新聞發布會的媒介呢?
這個想法起源于我們在拉斯維加斯NAB展會與Epic Games，Adobe和NewTek舉行的會議。我們已經整合了一個管道，利用NewTek的NDI技術來將Adobe Character Animator傳輸至UE4中，而且我們希望在游戲引擎中進行實時動畫制作，VR則是近距離體驗它的明顯方式。
你是如何在VR中與米開朗基羅和多納泰羅進行實時雙向對話的呢?
我們圍繞實時木偶戲進行了大量探索，并將全身和面部表現捕捉傳輸至Unreal，而當能夠結合忍者神龜的機會出現時，令記者直接在實時體驗中與我們的角色進行對話似乎是一種創新體驗。
現場體驗是否集成了動捕呢?
由于《忍者神龜：崛起》是2D設計風格，我們依靠Adobe的Character Animator工具來處理動畫，這允許我們在用于角色的模型，藝術上進行創作。我們有一個大型動捕空間，其中我們正在開發幾個項目，采用更傳統的表演捕捉和一個流式傳輸至UE4的管道。
請你描述從創建初始CG/環境asset到最終采訪的工作流程(硬件和軟件，頭顯，捕捉)。
這款VR體驗是通過Unreal引擎進行開發。在游戲引擎中開發這種體驗可以支持你創建實時交互和對話。我們使用NewTek NDI技術來體驗米開朗基羅和多納泰羅木偶。NDI允許你通過共享網絡流式傳輸大型視頻文件。米開朗基羅和多納泰羅是由Adobe Character Animator進行實時驅動。MIDI Keyboards則用于觸發米開朗基羅和多納泰羅的各種姿勢。這些MIDI Keyboards是在采訪中進行實行操作。NDI允許你從Character Animator導出木偶，并由其他各種使用這些實時動畫進行體驗和合成的機器進行拾取。
當用戶站在綠幕前的時候，他們將合成至紐約市的屋頂，并且尼克兒童頻道的角色來作為頭像。為了保持VR查看器的性能并創建高質量的輸出，我們是通過提供網絡觀眾版本的體驗來完成合成。這一觀眾版本將前景層和背景層分開。然后，這些圖層將在Resolume中顯示，并與實時動作素材進行實時合成。最終合成將通過NDI導出Resolume。
實況錄像的最終合成，VR玩家的POV，以及兩只忍者神龜的特寫鏡頭和廣角鏡頭都用TriCaster進行錄制。TriCaster允許你在采訪過程中進行實時編輯，能夠在完成采訪后通過拇指驅動器將ISO記錄和最終節目編輯交給記者。
我們在前景中使用2D平面的組合來作為背景元素和CG網格，從而獲取VR查看器的正確視角。為了在3D空間中復制2D外觀，我們將Maya中的變形網格對象帶到UE4，直到我們認為我們已經為風格化的手繪環境捕捉到正確的視角。回到Maya，我們從VR玩家的POV向背景幾何投射平面，并使用實際的Photoshop筆刷在這些平面UV上繪制紋理。這完美地捕捉了手繪的背景畫風格。
這款體驗是否使用了與為Imax VR中心開發的尼克兒童頻道體驗類似的技術呢?這款動漫展體驗是如何作為該技術的延伸呢?
我們將許多用于處理VR pawns和VoIP的代碼，以及我們為SlimeZone VR創建的一些CG角色asset融入至忍者神龜體驗。
你們為什么選擇在Unreal引擎中開發這種體驗呢?
我們曾多次成功在UE4中快速完成了從原型到全功能版本的開發過程。結合在UE4中創建VR而獲得的知識，以及在Blueprints中模擬想法的能力，我們能夠快速進行迭代并自由專注于創建酷炫的元素。
你們采用了哪個版本的Unreal引擎呢，你們又是否經常使用任何喜愛的Unreal引擎功能呢?
我們用了4.19。由于我們的開發往往是實驗性質，而且周期很短，因此我們非常積極地更新至最新版本的游戲引擎。我們在很大程度上依賴于NewTek的NDI插件，以及將視頻流式傳輸到UE4的alpha支持。
“忍者神龜”系列的動畫師是否有與動漫展VR體驗的創作者進行合作呢?
我們與創作者和動畫團隊進行了密切合作，共同將節目的外觀和動畫風格融入至VR體驗。將2D外觀轉換為VR需要花費很多精力。
你們面臨的最大挑戰是什么?
現場方面，以及同步音頻/視頻/游戲資源，我們同時需要一個向伯班克工作室和動漫展現場發送和接收數據的機器網絡，一切都需要大量的預先計劃。
在設計需要動態實時更新的VR體驗時，制作考量有何不同?
這需要在一個現場直播環境中整合動畫，游戲開發，真人表演，木偶戲，虛擬電影攝影技術。一切都需要融為一體，而我們以前從未做過這樣的事情。
尼克國際兒童頻道(Nickelodeon)在圣迭戈國際動漫展上亮相了“Rise of the Teenage Mutant Ninja Turtles VR Interview Experience(忍者神龜：崛起 VR采訪體驗)”，其中用戶可以步入青年忍者神龜的世界，并且在虛擬現實中采訪《忍者神龜：崛起》的扮演者。這種獨一無二的采訪允許用戶可以與米開朗基羅或多納泰羅進行對話(分別由系列聲優布蘭登·史密斯和喬什·布雷納配音)。
尼克國際兒童頻道(Nickelodeon)在圣迭戈國際動漫展上亮相了“Rise of the Teenage Mutant Ninja Turtles VR Interview Experience(忍者神龜：崛起 VR采訪體驗)”，其中用戶可以步入青年忍者神龜的世界，并且在虛擬現實中采訪《忍者神龜：崛起》的扮演者。這種獨一無二的采訪允許用戶可以與米開朗基羅或多納泰羅進行對話(分別由系列聲優布蘭登·史密斯和喬什·布雷納配音)。
尼克國際兒童頻道(Nickelodeon)在圣迭戈國際動漫展上亮相了“Rise of the Teenage Mutant Ninja Turtles VR Interview Experience(忍者神龜：崛起 VR采訪體驗)”，其中用戶可以步入青年忍者神龜的世界，并且在虛擬現實中采訪《忍者神龜：崛起》的扮演者。這種獨一無二的采訪允許用戶可以與米開朗基羅或多納泰羅進行對話(分別由系列聲優布蘭登·史密斯和喬什·布雷納配音)。
來源：yivian
