VR研讨会问与答

关于色度键的问题  

问题：早期访问用户可以通过API使用色度键功能吗？

回答：Chroma Key是Varjo的混合现实C ++ API的一部分，已作为所有软件版本v2.2的一部分与所有Varjo用户共享。该API提供了用于管理色度键配置以及为特定客户端层启用/禁用该功能的功能。 ChromaKeyTool是用于设置色度键配置的实验性帮助工具。可以将其提供给选定的抢先体验合作伙伴。在以下发行版中将添加虚幻和Unity插件以及Varjo UI支持。 API文档可在此处获得。

问题：相机图像是否在进入显示屏之前已经通过计算机，还是所有色度键控和扭曲都发生在耳机本身上？

回答：色度键控发生在PC上的视频透明后处理和合成器管道中。无论是否启用色度键功能，路径都相同。

问题：您能解释在色度键演示中看到的“绿色薄片”吗？

回答：作为一种技术，色度键控需要受控的环境和照明。现场演示中看到的“绿色薄片”是由于房间的自然采光和将XR-1摄像机设置为自动模式以适应各种条件而引起的。当相机仅看到绿色屏幕表面时，这会导致错误的测光。最佳设置应具有专用的灯光以创建均匀的光景，并针对环境微调参数，并锁定相机设置以防止白平衡随时间变化。我们正在努力改进色度键算法，以自动将其调整为相机设置。

问题：我可以在这里使用自己的代码来创造性地控制图像融合吗？

回答：这是我们目前正在努力的工作，请继续关注将来的更新。

问题：Varjo的头戴式耳机是否可以提供360度视频播放器，通过将观看者的身体融入到真人体验中来利用色度键？如果可以，它将支持立体声还是仅单声道？

回答：虽然Varjo不提供360视频播放器，但可以使用C ++ API或任何受支持的引擎（例如Unity或Unreal）创建一个。另外，也可以使用Steam商店中的视频播放器。

问题：是否有一种方法可以调整色度设置（而不是随机微调）？

回答：Varjo将提供一个用户界面，用于调整即将到来的软件更新中的设置。这将基于Varjo的实验性ChromaKeyTool实用程序，该实用程序允许用户通过将耳机指向绿色屏幕来从摄像机图像中选择基本参数。然后可以手动微调参数。

问题：您能解释色度键遮挡吗？真手和虚拟物体也有遮挡吗？

回答：色度键遮罩基于颜色匹配-它无法以任何方式识别真手。遮挡是基于这样的事实，即人类皮肤的颜色与色度背景不同，通常是绿色或蓝色，因为它是距人类肤色最远的颜色。

问题：现实世界中包含的对象是否在色度键控环境中以单声道或立体声投影？我知道相机是立体声的，但是图像呢？

回答：一切都以立体声投影。高分辨率焦点区域具有更高分辨率的色度键蒙版。如果启用并校准了眼动追踪，那么该高分辨率区域也会跟随您的视线。

问题：深度蒙版与模板蒙版与色度之间有什么区别？

回答：上述所有内容都可以用来解决相同的问题。深度遮罩要求将VR放置在物理自由空间中（在房间墙壁内），并且当手比VR内容更接近HMD时，手会遮盖VR内容。对于手遮挡，色度键控通常可提供更高的分辨率和更稳定的轮廓。模板遮罩（使用VR渲染中的真实环境模型，其中alpha渲染为0）允许遮挡静态对象（例如飞机座舱），但是当将手移到VR内容（例如风景）上时，无法解决手遮挡通过座舱窗看到）。有关更多详细信息，请查看我们的博客文章，讨论屏蔽问题。

问题：HMD和色度之间的最大距离是多少？

回答：HMD和色度之间的距离没有限制。与设置相关的唯一事情是相机需要看到颜色。

有关视觉标记的问题

问题：追踪标记的最长距离是多少？

以下是不同大小的标记的列表及其在跟踪标记时与耳机的建议最大距离：

• 25毫米（〜1英寸），最远可达0.5米（1.5英尺）
• 50mm（〜2“）最佳距离为1米（3英尺）
• 150mm（〜6“）最佳距离达3米（9英尺）

问题：我可以使用自定义标记吗？例如，一个巨大的4米高的标记。您可以同时使用不同大小的标记吗？

回答：当前不支持自定义标记。

问题：可以使用Vive圆盘代替打印标记吗？

回答：Vive冰球可以通过OpenVR API使用。

问题：是否有可能使用手与上面放置有虚拟屏幕的标记进行交互，否则手会干扰标记？

A.标记被阻塞时，将保留其最后的已知位置。可以使用本机API将无效标记的超时更改为所需的时间长度。

关于两个功能的问题

问题：这可以与OpenVR集成吗？

回答：目前，仅Varjo本机C ++ API支持色度键控。但是，使用实验性的ChromaKeyTool实用程序，我们可以强制全局覆盖模式在所有应用程序中都可以使用，无论它是OpenVR，Unity，Unreal还是Varjo本机应用程序。即使它是纯VR应用程序，也没有任何混合现实支持，它仍然可以工作。视觉标记只能通过本机C ++ API访问。

问题：标记跟踪器与绿屏相结合是否存在手闭塞？

回答：在Visual Marker演示的开始（请参见网络研讨会录制的时间戳记35:20），Varjo的联合创始人Urho Konttori将PacMan Arcade机器放在绿色画布上。然后禁用手部遮挡，以在非绿色环境中显示其他标记跟踪的对象。

问题：您能否描述内置眼动仪的交互作用？

回答：色度键遮罩在焦点区域以更高的分辨率进行评估。我们偏爱的视频透视功能会跟随用户的视线，如果启用了眼动跟踪功能，则用户将始终看到指向视线的较清晰的蒙版。这大大增强了视觉体验。

问题：虚拟对象和真实对象之间可见的轻微“游动”是什么原因？虚拟图像和相机图像的等待时间是否相等？

回答：通常，VST延迟低于VR延迟；但是，我们通过做位置和旋转时间扭曲来对齐两个视图来纠正此问题。跟踪系统（例如SteamVR）可能会引入漂移，这种漂移在MR场景中比在完整VR场景中更为明显。但是，解决此问题的一种方法是使用可视标记，根据定义，它会将VR定位与可视VST图像对齐。

关于XR-1的问题

问题：如果我有两个XR-1耳机，我希望将相机从一个耳机传送到另一个耳机的显示器，反之亦然。您的系统是否具有这种灵活性？

回答：虽然我们没有内置这样的功能，但是客户端应用程序可以读取VST视频流并将其通过网络发送给另一个客户端，然后由另一个客户端将其呈现为VR内容。应当注意，在这种情况下，等待时间会高得多。

问题：从前置摄像头到渲染的延迟如何？如果移动头会晕眩吗？是否有某种重新投影？

回答：从VST相机的曝光时间结束到显示器发出的光子，我们达到15ms的光子到光子延迟。从相机到渲染，等待时间均较低，约为9ms。这种等待时间足够低，以至于大多数人根本无法察觉。但是，我们通过执行渲染时间旋转时间扭曲来消除因转动头而产生的延迟，从而进一步减少了明显的延迟。

问题：您的相机是以立体声还是单声道捕捉现实世界？

回答：摄像机以立体声捕捉现实世界。

问题：XR-1中是否有手动跟踪选项，可与虚拟内容和实际现实进行无缝交互？

回答：Varjo的VR-2 Pro具有Ultraleap内置的手部追踪技术，并且使用XR-1，您可以在XR-1前面自己添加Leap Motion模块。

有关产品未来的问题

问题：将来会有无线版本吗？

回答：作为所有产品公司，我们始终在实验室中开发新产品，但我们不会提前评论未来的产品。

问题：Varjo的库是否独立，以确保将来的应用程序不仅与下一代Varjo兼容，而且与其他耳机兼容？

回答：Varjo API已针对Varjo产品进行了优化。我们不评论与硬件或软件相关的未来发展。

讨论者：Urho Konttori

Varjo联合创始人和首席产品官

Jussi Mäkinen

Chief Marketing Officer at Varjo首席市场运营官

Ville Timonen

Varjo 混合现实主管

Saku Tiainen

Mixed Reality Developer at Varjo 混合现实研发人员

来源：Vajor