“将样式交互式传递到实时视频流”为艺术家创造了新的可能性

这幅画由Zuzana Studena提供，经许可使用。

经过鼓舞人心的SIGGRAPH 2020虚拟体验和激动人心的Real-Time Live！之后，我们赶上了在展会期间展示的OndřejTexler(OT)。 Texler是“交互式样式向实时视频流的传输”（SIGGRAPH 2020 Real-Time Live）背后的创建者之一。该项目获得了两场比赛的最佳表演奖，以及技术论文“使用基于少量补丁的培训进行交互式视频样式化”。在这里，特克斯勒分享了他的团队对获得最佳展示奖的反应，演示的开发方式以及该项目如何帮助艺术家创作自己的作品。此外，特克斯勒（Texler）谈到了他的团队技术论文研究中最令人兴奋的方面，并鼓励其他人将他们的工作提交给该计划。

SIGGRAPH：祝贺您在SIGGRAPH 2020的Real-Time Live！上获得了两场最佳表演奖。您对获得这一荣誉有何反应？
（OT）：谢谢！我们当然感到高兴和惊讶。即将在SIGGRAPH Real-Time Live中出现！会议永远是我们的梦想。我们知道要被展会接受是多么困难，因此能够参加展览本身就是一项成就。您可以想象委员会宣布我们也获得了最佳展示奖时的感受！

SIGGRAPH：告诉我们您在布拉格Live!现场直播的经验。
OT：我喜欢在会议上做演讲，我很期待在观众面前的舞台上经历自己的“六分钟成名”。但是我也很喜欢这个虚拟的活动。每个人都在尽其所能使一切顺利进行，整个虚拟体验令人愉悦，而且无疑是独一无二的。

SIGGRAPH：让我们谈下技术。您是如何开发“交互式样式转移到实时视频流”的？是什么激发了该项目？有多少人参与？花了多长时间？
OT：在我们位于布拉格CTU的计算机图形学与交互系，我们不仅关注有趣的研究问题，而且还喜欢开发实用工具。从研究的角度来看，将样式转移到视频是一个有趣的问题，并且艺术家也迫切要求解决此问题，因此他们的兴趣是我们的基本灵感。

由于我们的八人团队是根据我们先前的研究经验和知识建立起来的，因此很难确切说明开发该项目需要花费多长时间。为了发明这种方法，制造原型并让论文被接受，我们花了大约一年的时间。

SIGGRAPH：与以前的样式转换技术相比，此方法不需要冗长的预训练过程或庞大的训练数据集。为什么这是该项目开发的重要方面？
OT：想象一下，您想对一个视频进行样式化，对于该视频而言，收集足够多的训练数据集（例如中世纪城堡的内部）将面临挑战。您不想手工绘制每个框架，因此可以提供一个或几个样式化的关键帧。然后，您希望看到样式以语义上有意义的方式转移到序列的其余部分。例如，使用与示例中相同的红色笔触绘制的砖块。您还希望看到序列中任意帧快速风格化。您无需等待很长时间即可对整个视频进行样式化。所有这些实际要求对于以前的方法都具有很高的挑战性，因此我们尝试在我们的框架中解决它们。

SIGGRAPH：交互式样式转移网络如何在几秒钟内适应样式变化？
OT：在我们的培训策略中，我们考虑了艺术家创作作品的方式。绘画通常是一个缓慢而渐进的过程。由于这一事实，网络也可以跟随艺术家并逐步完善。我们方法的巨大优势在于，它可以使绘画创作与训练并行进行，并分摊为现有网络示例训练网络所需的时间。

SIGGRAPH：您如何看待将来使用此交互式平台？它解决什么问题？
OT：我们相信我们的方法为创作风格化的电影和现场互动会议或装置提供了可能性，艺术家可以在其中制作自己的作品的现场版本，以适应捕获环境的变化。我们的方法不仅适用于艺术场景，还适用于真实感设置，例如虚拟实况化妆或用于现场表演的旋转蒙版的创建。

SIGGRAPH：在SIGGRAPH 2020上，您的团队还介绍了技术论文“使用基于少量修补程序的培训进行交互式视频样式化”。这项研究最令人兴奋的是什么？
OT：最激动人心的时刻是我们发明了一些最初认为不可行的东西。一旦设法使其正常运行，我们立即开始看到我们框架的众多实际用例。取得新的可能性的时刻总是令人着迷。

SIGGRAPH：考虑向SIGGRAPH提交技术论文，您会与他人分享什么建议？

OT：跟随您的激情，使您的梦想变为现实，并将其提交给SIGGRAPH。

SIGGRAPH 2021技术论文提交即将开放。请访问SIGGRAPH 2021网站以获取最新信息。

认识团队
OndřejTexler是布拉格CTU的博士候选人和研究员，由DanielSýkora教授指导。他在同一所大学获得了计算机科学学士学位和理学硕士学位。他的主要研究兴趣在于计算机图形学，图像处理，计算机视觉和深度学习。他专门根据某些条件或示例生成逼真的图像。近年来，Texler与Adobe Research和Snap Inc.合作进行了多个研究项目。目前，他与三星研究美国公司的NEON.life团队合作。

DanielSýkora是布拉格计算机图形学与交互CTU系的教授，他领导着艺术家算法的开发。 Sykora与Google，Snap，Adobe和迪士尼合作。他获得了科学奖，包括GünterEnderle最佳论文奖和有前途的青年科学家神经元奖。

来源：Siggraph