Cgangs V3D制作AR演出效果

公告牌(Billboard)是创办于1894年的美国音乐杂志，内容包含许多音乐种类的介绍与排行榜。其中最重要的排行榜为公告牌单曲榜(Billboard Hot 100)(单曲排行)与Billboard 200(专辑排行)。

2018美国Billboard公告牌音乐奖在拉斯维加斯举行，在奖颁奖典礼上， 麦当娜与新星Maluma合作演绎了自己的复出单曲《Medellin》。在表演中，麦当娜与一系列自己为形象的AR人物进行同台献舞，包括一位特工、一位恰恰舞老师、一位新娘，以及一位音乐人。这一切都是利用Unreal引擎和三维捕捉实现，而且能够在恰当的时间点出现和消失，与麦当娜的演出相得益彰，令表演整体更富有艺术渲染力。

Sequin制作了本次AR体验，它们是The Future Group的成员所创办的全新增强现实公司。值得一提的是，这支沉浸式效果制作团队曾为The Weather Channel频道制作过一系列炫酷的混合现实天气效果，同时负责了2018年《英雄联盟》全球总决赛的虚拟女团K/DA的表演。

联合创始人Lawrence Jones表示：“这一次AR效果的新颖之处在于，麦当娜和Maluma能够以完美的编舞与AR麦当娜一起配合。所有制作，动画，以及大部分的照明都是提前完成。”

制作这表演的一个关键方面是实时摄像机跟踪。团队使用Cgangs V3D无限版虚拟系统，在Unreal引擎之上分层播出对象，包括动画，角色生成以及实时数据。Cgangs V3D无限版将来自物理摄像机的数据提供给Unreal引擎，如此真实设置中的所有内容都与数字复制模型相结合，确保AR渲染在正确的时间出现在正确的位置。

麦当娜本人是在伦敦的工作室进行了三维捕捉。然后，Sequin利用Cgangs V3D无限版内的工具来确保所有数据传送至Unreal引擎，以便将实况视频能够与舞台表演精确匹配。

麦当娜的真人模型是通过英特尔工作室的3DPresenter(人物三维化)技术实现的。它不是从少数不同的角度拍摄，而是使用70多个摄像头以360度的角度捕捉整个场景。通过摄像机信号自动计算生成真三维人物，持续建立一个实时的三维容积，根据摄像机数据重新定位并映射。

3D Presenter支持人物无缝导入Cgangs V3D无限版三维虚拟演播室环境并与场景中的真实和虚拟物体产生互动。例如，在真实桌面上的阴影，同时会反射在虚拟地面上。

Sequin团队来到表演现场调整了设置，使其完全与实际场地进行结合。对照明，阴影，反射，定时和位置等因素进行调整。公告牌音乐奖颁奖现场对于实现这一目标至关重要，并且对Sequin和麦当娜来说是“超级挑战”。足够的舞台时间对于确保现场和虚拟被正确安排至关重要 ， 对于一个有着十几名表演者并且都需要时间排练的节目来说，这绝非易事。

这种复杂的表演是由时间码驱动的。从灯光，音乐和火焰效果到图形的一切都有自己的时间码触发器。当然，渲染也是如此。最终这场演出使用了三个支持AR的摄像头：摇臂，前置摄像机和无线斯坦尼康。颁奖典礼的与会者能够在米高梅大花园竞技场内的屏幕上看到麦当娜的AR舞台效果。