数字Hulk和Thanos的实时现场可视化背后的“奇迹”
Profile Studios的Matt Madden分享了将Mark Ruffalo和Josh Brolin与CG资产进行虚拟整合，现场直播，为“Endgame”和“Infinity War”电影制作人提供了他们所需的即时观看功能，以便他们能够不断调整和完善电影的关键数字角色的表演。
对于Profile Studios来说，Marvel的背靠背猛片，复仇者联盟：无限战争和复仇者：Endgam，为公司提供了一个独特的机会，可以充分利用他们最先进的现场实时可视化系统，实现在可以说是有史以来最精致，最具挑战性的两部VFX驱动电影中。
Profile Studios由总裁兼创意总监Matt Madden和执行制片人Connie Kennedy于2014年创立，专门从事电影，游戏和电视的性能捕捉和虚拟制作服务。他们参与了许多备受瞩目的项目，包括蜘蛛侠：远离家乡，黑豹，Welcome to Marwen和星球大战：原力觉醒。
在无限战争开始之前由Marvel带来，Madden和他的团队有一个非常重要的任务：为电影制作人提供他们现场拍摄的即时可视，实时“虚拟”版本，取代动作拍摄数字字符与其他主要CG资产一起表演。该拍摄场景的虚拟合成版本允许即时评估表演和相机取景的质量和精度, 可以在现场进行所需的调整。
Profile Studios对两部Marvel电影的主要工作涉及捕捉和完善Mark Ruffalo的表演，如Hulk和Josh Brolin，作为Thanos，尽管他们也参与了The Black Order和其他无法只通过化装来表现的角色。2016年底开始准备工作，Madden和他的12-15位艺术家团队于2017年1月开始制作，在一年中的大部分时间以及2018年的大部分时间里进行拍摄，通常会持续拍摄3段一次-6周。
除非另有说明，否则所有图片均为©2019 Industrial Light＆Magic（Lucasfilm Entertainment Company Ltd.的一个部门）所有，并保留所有权利。
“在制作过程中，首先，我们捕捉演员的表演，”Madden分享道。 “然后，我们会将演员的动作重新定位到他们实时播放的各个角色上。如果有绿屏更换，电影制作人还可以选择合成CG背景。但是，至少，他们可以看到完全数字化的角色在拍摄时实时合成到真人画面中。我们使用模型和其他生产资产，例如Hulk和Thanos的CG角色骨架设置，这些资产之前已经由不同的VFX供应商同意并且由Marvel批准。
当一切按计划运作时，电影制作人通过两个监视器观看真人秀场景：一个只看到演员，另一个是带有数字字符和资产的虚拟CG复合。该实时制作系统允许即时评估两个“场口”之间的关系，从而能够根据角色的最终“大小”和场口内的位置立即调整演出或构图。对于任何场景的外观和流动至关重要的变化，取决于最终数字角色表现的可视化，可以在原始拍摄时快速进行。
在一个例子中，Madden描述了他们在一家餐馆拍摄的Hulk场口。 “我们在亚特兰大的Buckhead Diner拍摄了一个Smart Hulk场景。我们在隐藏摄像机上安装了一个小型捕捉卷，然后捕获了Ruffalo，跟踪了摄像机，并在现场完成了实时复合。”
实时的现场可视化还可以帮助演员穿上动作捕捉服和相机，感觉他们真的被束缚在物理场景中，与其他演员互动，从而使最终动作感觉更加真实和令人信服。 “创建这些复杂的场景涉及许多角色，需要不同的过程，以前在时间上是不可能的，并且演员可能在他们的表演和电影的”世界“之间感受到’脱节’，“ Madden注意到。 “对于如此多的表演微妙之处，只有让演员们一起拍摄时，才能完全捕捉。当每个人都被一个团队在动作捕捉阶段单独拍摄时，这种联系就会消失。”
通过他们的努力，Profile Studios的实时渲染，性能捕捉和CG合成的创新结合的帮助，消除了许多类似CG密集型电影所遭受的一些问题，其中各种数字字符和元素被任意“推入”框架，和与真人元素联系在一起; 一旦合成到最终的电影中，这些不同的片段往往缺乏情感或视觉联系。由于各种供应商正在研究如此众多的CG元素，所有这些元素只在后期制作中首次整合在一起编辑，因此电影制作人总是难以将所有内容融合成一个连贯，可信的故事。在拍摄基础真人表演的同时，可视化一些最终的数字角色整合，为电影制作人提供了极具价值的创作工具。
但他们现场的努力只是该项目的一部分。他们的后期制作管道团队由10位艺术家组成，同样忙于拍摄清理工作，直到2019年初。“在制作过程中，我们的主要目标是实时可视化角色和背景，这是物理上无法完成的，” Madden分享道。 “当然，有一个后期编辑会议，并且清理，这是在那之上完成的。
“一旦拍摄完成，我们就可以从编辑中获得一次拍摄重播，”Madden描述道。 “我们基本上会清理动作中的任何细微缺陷，基本上重新处理并重新跟踪演出，然后将角色动作重新定位到演员身上，这样我们就可以对演出进行微调。我们重新定位控制以确保Thanos和Hulk的动作尽可能准确地从演员投射到角色上，同时仍允许进行物理差异调整。我们将渲染的镜头转回Marvel编辑; 他们将所有角色的更新动作分发给了像Weta这样的VFX供应商。”
凭借如此庞大而复杂的制作，Madden最大的挑战在于实现真实的现场体验。 “许多电影现场都非常庞大，当你在第一台景时，电影制作人需要自由去做他们想做的事情，” 他解释说。 “所以，你永远不会希望它们受到任何技术限制的约束。我们的工作是应对变化，并确保我们拥有一个团队，首先可以在问题出现之前预见到问题，其次，一旦感觉到需要进行变更时，就会迅速做出响应。例如，当实时捕捉时，没有烟雾和镜子。您必须能够看到演员正在做什么，这样您才能准确地实时重新创建该动作。如果跟踪或解决系统导致问题，它可能会分散他们的注意， 那可能需要关闭，因为他们需要专注于他们的表演。如果数据中存在噪音，那么在某些情况下，弊大于利。”
“因此，最重要的是我们在捕捉中没有噪音，实时动作捕捉相对干净，这样才能让创意团队专注并评估演出，”他继续道。 “你有十几个不同的部门，每个部门都有一个目标，有时这些目标可能会与需求发生冲突，无论是捕捉部门，设置装饰还是照明。所有这些都给其他部门带来挑战。但我们都必须共同努力。”
Madden强调，实时可视化实际上可以让其他部门更好地了解性能捕获和数字视觉特效的实际工作。 “实时查看所有内容的好处之一是，其他部门可以观赏我们正在做的事情，以及他们的工作如何影响我们的工作。如果它全是蓝屏，绿屏，点和跟踪标记，他们无法与此过程建立连接，和我们在现场的角色。但是，如您可以直观看到实时结果，您会立即了解我们的集体工作如何为舞台上的产品做出贡献。它帮助我们建立了一种非语言交流，他们看到我们在一切可控的混乱中，为下一次设置做准备，并直观地了解我们正在努力实现的目标。因此，在我们没有要求的情况下，他们可能会以某种方式移动旗帜或灯光，因为他们会理解我们的目标，并希望帮助创建这种现成的解决方案。”
从技术角度来看，Profile Studios依赖他们的现成和专有的软件系统集成的生产管道。 根据Madden的说法，就技术而言，“这肯定是一种混合。 我们拥有核心技术，如捕获和渲染，这不是专有技术。 但是，我们拥有专有层，使一切以某种方式进行沟通。 因此，有摄像机跟踪硬件，以及我们自己与商业跟踪技术集成的跟踪技术。 那商业软件提供了沟通的能力，因此，如果我们想要添加单独的跟踪层，我们就有能力使这个过程更加健壮。”
“我们需要研究多种跟踪方式，”他补充说，“它会利用不同的反馈来确定相机的位置和方向，因为没有一种可以在各种条件下工作的现场工具。对我们来说，拥有多个资信来源随时确定摄像机位置非常重要。 我们已编写可与其他现场硬件一起使用的软件。例如，透镜编码器。它们是生产使用的编码器，是摄像机操作员使用的编码器，我们编写了软件将数据传输到我们的系统并将其与摄像机位置跟踪数据集成，因此我们与相机中的所有信息是同步和即时的。”
回顾这个项目，Madden反思他对这种体验的欣赏程度。 “与漫威的员工一起工作是非常好的，” 他总结道，“每个人都是真正的专业人士。总的来说，无论是Marvel员工还是像我们这样的供应商，我们都有相同的目标，每个人之间的连续性都非常特殊。 Marvel了解他们对我们的要求，这有助于沟通。他们从根本上理解我们需要做的事情，这明显有助于规划，排除故障和解决问题。 您通常不会从那些在这些领域没有经验的生产合作伙伴那里得到那种支持。”
记者：Dan Sarto
编辑：Maggie
