來(lái)源：映維網(wǎng)

如果我說(shuō)“優(yōu)秀的圖形”，你大概會(huì)認(rèn)為這是指支持高分辨率紋理和光追的最新3A級(jí)游戲。如果我說(shuō)“照片級(jí)真實(shí)感”，答案可能會(huì)類似，但會(huì)額外關(guān)注圖形細(xì)節(jié)和真實(shí)世界之間的相似性。不過(guò)，英特爾實(shí)驗(yàn)室的最新研究向我們展示了何謂照片級(jí)真實(shí)感，以及其在游戲開(kāi)發(fā)方面的應(yīng)用，尤其是虛擬現(xiàn)實(shí)。

這種新技術(shù)名為Free View Synthesis（自由視圖合成），它可以利用你從環(huán)境中獲取源圖像（如在森林行走時(shí)錄制的視頻），并重建和渲染圖像描述的環(huán)境，而且這一切是以完全的“照片級(jí)真實(shí)感”3D格式進(jìn)行。你將能擁有玩家般的“Target View（目標(biāo)視圖）”，然后在這個(gè)環(huán)境中自由行走并產(chǎn)生新的真實(shí)感視圖。值得一提的是，研究人員將在ECCV2020展示相關(guān)的研究，有興趣的讀者可以關(guān)注大會(huì)。

這種技術(shù)對(duì)游戲開(kāi)發(fā)的應(yīng)用顯而易見(jiàn)。就理論而言，當(dāng)擁有了真實(shí)世界的圖片，系統(tǒng)就能夠自動(dòng)生成一個(gè)不僅在布局和內(nèi)容方面相同，而且在外觀方面同樣接近的游戲環(huán)境。利用所述技術(shù)，游戲開(kāi)發(fā)者能夠快速輕松地進(jìn)行關(guān)卡設(shè)計(jì)，并實(shí)現(xiàn)可與現(xiàn)實(shí)媲美的視覺(jué)逼真度。

Free View Synthesis（自由視圖合成）擁有大量的應(yīng)用，但具體到游戲方面，英特爾實(shí)驗(yàn)室智能系統(tǒng)的首席科學(xué)家弗拉登·科爾頓（Vladen Koltun）指出“它可以創(chuàng)造出與現(xiàn)實(shí)別無(wú)二致的游戲”。

具體的技術(shù)細(xì)節(jié)請(qǐng)參閱下面的論文，但概要而言，根據(jù)源圖像產(chǎn)生的環(huán)境是利用了Structure from Motion（SfM）和Multi-View Stereo（MVS），它們可以創(chuàng)建一個(gè)代理深度映射，然后，目標(biāo)視圖通過(guò)“卷積網(wǎng)絡(luò)”重投影和處理特征，從而合成新視圖。簡(jiǎn)而言之：獲取源圖像，根據(jù)圖像創(chuàng)建一個(gè)“深度映射”環(huán)境，然后使用卷積網(wǎng)絡(luò)合成新視圖。

相關(guān)論文：Free View Synthesis

“這會(huì)涉及在經(jīng)典圖形管道中遇到的一定幾何計(jì)算，然后再通過(guò)一個(gè)卷積網(wǎng)絡(luò)，正如你在標(biāo)準(zhǔn)深度網(wǎng)絡(luò)推理中看到的那樣。”團(tuán)隊(duì)將深度學(xué)習(xí)用于只有有限數(shù)量源圖像作為參考的真實(shí)場(chǎng)景，并創(chuàng)建照片級(jí)真實(shí)感視圖的任務(wù)。

下面的視頻展示了其他嘗試做類似事情的技術(shù)，包括NPBG。但正如視頻所示，F(xiàn)ree View Synthesis（自由視圖合成）可以產(chǎn)生稍微更好的效果。

科爾頓指出，SfM和MVS的使用對(duì)于Free View Synthesis（自由視圖合成）非常重要，“許多其他技術(shù)沒(méi)有像我們那樣使用SfM/MVS”。研究人員認(rèn)為不重視SfM/MVS已經(jīng)取得（并將繼續(xù)取得）的所有驚人進(jìn)展是非常浪費(fèi)的事情，“相反，我們應(yīng)該以其作為基礎(chǔ)，并再接再厲。我們的方法之所以能達(dá)到如此高的保真度，很大程度上要?dú)w功于SfM/MVS技術(shù)在過(guò)去30年間所取得的進(jìn)步。”

就理論而言，利用Free View Synthesis（自由視圖合成），游戲開(kāi)發(fā)者可以錄制一段在當(dāng)?shù)毓珗@漫步的視頻，然后將圖像放入相關(guān)管道，這樣就能夠產(chǎn)生公園的照片級(jí)真實(shí)感畫(huà)面，并選擇想要的任何移動(dòng)路線。我們同時(shí)可以由此推論，這項(xiàng)技術(shù)應(yīng)該可以快速地創(chuàng)建一個(gè)逼真的虛擬現(xiàn)實(shí)環(huán)境，并允許玩家在其中自由走動(dòng)。另外，盡管“當(dāng)前的實(shí)現(xiàn)沒(méi)有針對(duì)實(shí)時(shí)性能進(jìn)行優(yōu)化……但在實(shí)時(shí)執(zhí)行方面沒(méi)有根本性的障礙”。

Free View Synthesis（自由視圖合成）需要深度學(xué)習(xí)的圖形能力，但這應(yīng)該不是一個(gè)問(wèn)題。真正需要解決的挑戰(zhàn)是（至少對(duì)于游戲而言）：在場(chǎng)景中創(chuàng)造新的合成元素。在一個(gè)照片真實(shí)感的公園里走來(lái)走去當(dāng)然不錯(cuò)，但要制作一款游戲，你需要能夠與環(huán)境交互，或許要引入其他元素（比如FPS游戲中的槍支）。

科爾頓表示，這種技術(shù)如何應(yīng)對(duì)所述情況“是一個(gè)有待研究的問(wèn)題”。換言之，這個(gè)問(wèn)題尚未得到回答。“在目前的形式中，所述方法只適合處理靜態(tài)場(chǎng)景。它允許你在靜態(tài)場(chǎng)景中自由移動(dòng)視點(diǎn)，同時(shí)保留照片級(jí)真實(shí)感的外觀。最終，諸如此類的技術(shù)將能夠擴(kuò)展到動(dòng)態(tài)場(chǎng)景中。這是一個(gè)活躍的研究課題。”

這可能就是為什么這項(xiàng)技術(shù)“不會(huì)馬上出現(xiàn)”在游戲中的原因。他補(bǔ)充道：“即使在未來(lái)幾年內(nèi)都不會(huì)出現(xiàn)，但最終會(huì)成為現(xiàn)實(shí)”。

對(duì)于Free View Synthesis（自由視圖合成）這樣的渲染技術(shù)，再結(jié)合頭顯硬件方面的進(jìn)步，這將能為虛擬現(xiàn)實(shí)帶來(lái)了巨大的技術(shù)飛躍。

原文鏈接：https://yivian.com/news/77319.html