VR研討會問與答
關於色度鍵的問題
問題:早期訪問用戶可以通過API使用色度鍵功能嗎?
回答:Chroma Key是Varjo的混合現實C ++ API的壹部分,已作為所有軟件版本v2.2的壹部分與所有Varjo用戶共享。該API提供了用於管理色度鍵配置以及為特定客戶端層啟用/禁用該功能的功能。 ChromaKeyTool是用於設置色度鍵配置的實驗性幫助工具。可以將其提供給選定的搶先體驗合作夥伴。在以下發行版中將添加虛幻和Unity插件以及Varjo UI支持。 API文檔可在此處獲得。
問題:相機圖像是否在進入顯示屏之前已經通過計算機,還是所有色度鍵控和扭曲都發生在耳機本身上?
回答:色度鍵控發生在PC上的視頻透明後處理和合成器管道中。無論是否啟用色度鍵功能,路徑都相同。
問題:您能解釋在色度鍵演示中看到的“綠色薄片”嗎?
回答:作為壹種技術,色度鍵控需要受控的環境和照明。現場演示中看到的“綠色薄片”是由於房間的自然采光和將XR-1攝像機設置為自動模式以適應各種條件而引起的。當相機僅看到綠色屏幕表面時,這會導致錯誤的測光。最佳設置應具有專用的燈光以創建均勻的光景,並針對環境微調參數,並鎖定相機設置以防止白平衡隨時間變化。我們正在努力改進色度鍵算法,以自動將其調整為相機設置。
問題:我可以在這裏使用自己的代碼來創造性地控制圖像融合嗎?
回答:這是我們目前正在努力的工作,請繼續關註將來的更新。
問題:Varjo的頭戴式耳機是否可以提供360度視頻播放器,通過將觀看者的身體融入到真人體驗中來利用色度鍵?如果可以,它將支持立體聲還是僅單聲道?
回答:雖然Varjo不提供360視頻播放器,但可以使用C ++ API或任何受支持的引擎(例如Unity或Unreal)創建壹個。另外,也可以使用Steam商店中的視頻播放器。
問題:是否有壹種方法可以調整色度設置(而不是隨機微調)?
回答:Varjo將提供壹個用戶界面,用於調整即將到來的軟件更新中的設置。這將基於Varjo的實驗性ChromaKeyTool實用程序,該實用程序允許用戶通過將耳機指向綠色屏幕來從攝像機圖像中選擇基本參數。然後可以手動微調參數。
問題:您能解釋色度鍵遮擋嗎?真手和虛擬物體也有遮擋嗎?
回答:色度鍵遮罩基於顏色匹配-它無法以任何方式識別真手。遮擋是基於這樣的事實,即人類皮膚的顏色與色度背景不同,通常是綠色或藍色,因為它是距人類膚色最遠的顏色。
問題:現實世界中包含的對象是否在色度鍵控環境中以單聲道或立體聲投影?我知道相機是立體聲的,但是圖像呢?
回答:壹切都以立體聲投影。高分辨率焦點區域具有更高分辨率的色度鍵蒙版。如果啟用並校準了眼動追蹤,那麼該高分辨率區域也會跟隨您的視線。
問題:深度蒙版與模板蒙版與色度之間有什麼區別?
回答:上述所有內容都可以用來解決相同的問題。深度遮罩要求將VR放置在物理自由空間中(在房間墻壁內),並且當手比VR內容更接近HMD時,手會遮蓋VR內容。對於手遮擋,色度鍵控通常可提供更高的分辨率和更穩定的輪廓。模板遮罩(使用VR渲染中的真實環境模型,其中alpha渲染為0)允許遮擋靜態對象(例如飛機座艙),但是當將手移到VR內容(例如風景)上時,無法解決手遮擋通過座艙窗看到)。有關更多詳細信息,請查看我們的博客文章,討論屏蔽問題。
問題:HMD和色度之間的最大距離是多少?
回答:HMD和色度之間的距離沒有限制。與設置相關的唯壹事情是相機需要看到顏色。
有關視覺標記的問題
問題:追蹤標記的最長距離是多少?
A. 以下是不同大小的標記的列表及其在跟蹤標記時與耳機的建議最大距離:
- 25毫米(〜1英寸),最遠可達0.5米(1.5英尺)
- 50mm(〜2“)最佳距離為1米(3英尺)
- 150mm(〜6“)最佳距離達3米(9英尺)
問題:我可以使用自定義標記嗎?例如,壹個巨大的4米高的標記。您可以同時使用不同大小的標記嗎?
回答:當前不支持自定義標記。
問題:可以使用Vive圓盤代替打印標記嗎?
回答:Vive冰球可以通過OpenVR API使用。
問題:是否有可能使用手與上面放置有虛擬屏幕的標記進行交互,否則手會幹擾標記?
A.標記被阻塞時,將保留其最後的已知位置。可以使用本機API將無效標記的超時更改為所需的時間長度。
關於兩個功能的問題
問題:這可以與OpenVR集成嗎?
回答:目前,僅Varjo本機C ++ API支持色度鍵控。但是,使用實驗性的ChromaKeyTool實用程序,我們可以強制全局覆蓋模式在所有應用程序中都可以使用,無論它是OpenVR,Unity,Unreal還是Varjo本機應用程序。即使它是純VR應用程序,也沒有任何混合現實支持,它仍然可以工作。視覺標記只能通過本機C ++ API訪問。
問題:標記跟蹤器與綠屏相結合是否存在手閉塞?
回答:在Visual Marker演示的開始(請參見網絡研討會錄制的時間戳記35:20),Varjo的聯合創始人Urho Konttori將PacMan Arcade機器放在綠色畫布上。然後禁用手部遮擋,以在非綠色環境中顯示其他標記跟蹤的對象。
問題:您能否描述內置眼動儀的交互作用?
回答:色度鍵遮罩在焦點區域以更高的分辨率進行評估。我們偏愛的視頻透視功能會跟隨用戶的視線,如果啟用了眼動跟蹤功能,則用戶將始終看到指向視線的較清晰的蒙版。這大大增強了視覺體驗。
問題:虛擬對象和真實對象之間可見的輕微“遊動”是什麼原因?虛擬圖像和相機圖像的等待時間是否相等?
回答:通常,VST延遲低於VR延遲;但是,我們通過做位置和旋轉時間扭曲來對齊兩個視圖來糾正此問題。跟蹤系統(例如SteamVR)可能會引入漂移,這種漂移在MR場景中比在完整VR場景中更為明顯。但是,解決此問題的壹種方法是使用可視標記,根據定義,它會將VR定位與可視VST圖像對齊。
關於XR-1的問題
問題:如果我有兩個XR-1耳機,我希望將相機從壹個耳機傳送到另壹個耳機的顯示器,反之亦然。您的系統是否具有這種靈活性?
回答:雖然我們沒有內置這樣的功能,但是客戶端應用程序可以讀取VST視頻流並將其通過網絡發送給另壹個客戶端,然後由另壹個客戶端將其呈現為VR內容。應當註意,在這種情況下,等待時間會高得多。
問題:從前置攝像頭到渲染的延遲如何?如果移動頭會暈眩嗎?是否有某種重新投影?
回答:從VST相機的曝光時間結束到顯示器發出的光子,我們達到15ms的光子到光子延遲。從相機到渲染,等待時間均較低,約為9ms。這種等待時間足夠低,以至於大多數人根本無法察覺。但是,我們通過執行渲染時間旋轉時間扭曲來消除因轉動頭而產生的延遲,從而進壹步減少了明顯的延遲。
問題:您的相機是以立體聲還是單聲道捕捉現實世界?
回答:攝像機以立體聲捕捉現實世界。
問題:XR-1中是否有手動跟蹤選項,可與虛擬內容和實際現實進行無縫交互?
回答:Varjo的VR-2 Pro具有Ultraleap內置的手部追蹤技術,並且使用XR-1,您可以在XR-1前面自己添加Leap Motion模塊。
有關產品未來的問題
問題:將來會有無線版本嗎?
回答:作為所有產品公司,我們始終在實驗室中開發新產品,但我們不會提前評論未來的產品。
問題:Varjo的庫是否獨立,以確保將來的應用程序不僅與下壹代Varjo兼容,而且與其他耳機兼容?
回答:Varjo API已針對Varjo產品進行了優化。我們不評論與硬件或軟件相關的未來發展。
討論者:Urho Konttori
Varjo聯合創始人和首席產品官
Jussi Mäkinen
Chief Marketing Officer at Varjo首席市場運營官
Ville Timonen
Varjo 混合現實主管
Saku Tiainen
Mixed Reality Developer at Varjo 混合現實研發人員
來源:Vajor