來源:映維網 作者 廣東客
蘋果正在開發一種可以根據平面視頻內容生成混合現實或虛擬現實環境的技術。
美國專利商標局日前公布了一份名為“Method And Device For Generating A Synthesized Reality Reconstruction Of Flat Video Content(根據平面視頻內容生成合成現實重構的方法和設備)”的蘋果專利申請。作為說明,蘋果一般在專利中將XR稱為計算機生成現實(Computer-Generated Reality;CGR)或合成現實(Synthetic Reality;SR)。CGR和SR包含虛擬現實、增強現實和混合現實。
根據專利的技術,用戶可以通過iPad或iPhone等手持式設備體驗SR體驗。但發明主要描述了如何通過平面視頻內容生成SR角色、對象和環境。換句話說,這種技術應該可以把電視節目變成一個用戶可以身臨其境地進行探索的沉浸式現實環境。
蘋果在專利中寫道:“用戶可能希望體驗諸如電視劇或電影等視頻內容,以一種他/她與角色同在一個場景中一樣。換言之,用戶希望將視頻內容變成SR體驗,而不是簡單地通過電視或其他顯示設備瀏覽。”
文件指出,大多數SR內容都是提前“精心創建”,并添加到用戶可以選擇的庫中。但發明描述了一種通過“利用數字資產”來“無縫地、快速地”將平面內容導入SR體驗,從而生成基于視頻的按需型SR內容重建方法。
具體來說,系統通過識別場景中的“情節執行者”,合成場景描述,并“根據場景的場景描述驅動與第一情節執行者相關聯的第一數字資產”來生成場景的重建”。
“情節執行者”定義為內容中的角色或演員。
系統可以根據視頻內容生成SR重建,同時可以從相關文本內容和外部數據中提取信息。這可以是視頻片段中演員的照片,演員的身高和尺寸,場景的各種視圖,以及其他數據。
“在一個實現中,數字資產至少部分地根據視頻內容和與視頻內容相關聯的外部數據動態生成。在一個實現中,與視頻內容相關聯的外部數據對應于演員的圖片、演員的高度和其他測量、集合和對象的各種視圖(如平面、側面、透視圖等)和/或諸如此類的視圖。”
另外,一個類似的SR生成系統可以根據音頻和相關內容創建交互式場景,包括有聲讀物、廣播劇和其他純音頻內容。
專利同時說明了可執行對象(角色與之交互的對象)和不可執行對象之間的區別,而這種區別可允許SR系統提前知道場景中需要交互的對象類型。
相關專利:Method And Device For Generating A Synthesized Reality Reconstruction Of Flat Video Content
名為“Method And Device For Generating A Synthesized Reality Reconstruction Of Flat Video Content(根據平面視頻內容生成合成現實重構的方法和設備)”的蘋果專利申請最初在2019年1月提交,并在日前由美國專利商標局公布。需要注意的是,這只是一份專利申請,尚不確定蘋果是否會或將于何時商業化所述的發明技術。