Cgangs V3D制作AR演出效果

公告牌(Billboard)是創辦於1894年的美國音樂雜誌，內容包含許多音樂種類的介紹與排行榜。其中最重要的排行榜為公告牌單曲榜(Billboard Hot 100)(單曲排行)與Billboard 200(專輯排行)。

2018美國Billboard公告牌音樂獎在拉斯維加斯舉行，在獎頒獎典禮上， 麥當娜與新星Maluma合作演繹了自己的復出單曲《Medellin》。在表演中，麥當娜與壹系列自己為形象的AR人物進行同臺獻舞，包括壹位特工、壹位恰恰舞老師、壹位新娘，以及壹位音樂人。這壹切都是利用Unreal引擎和三維捕捉實現，而且能夠在恰當的時間點出現和消失，與麥當娜的演出相得益彰，令表演整體更富有藝術渲染力。

Sequin制作了本次AR體驗，它們是The Future Group的成員所創辦的全新增強現實公司。值得壹提的是，這支沈浸式效果制作團隊曾為The Weather Channel頻道制作過壹系列炫酷的混合現實天氣效果，同時負責了2018年《英雄聯盟》全球總決賽的虛擬女團K/DA的表演。

聯合創始人Lawrence Jones表示：“這壹次AR效果的新穎之處在於，麥當娜和Maluma能夠以完美的編舞與AR麥當娜壹起配合。所有制作，動畫，以及大部分的照明都是提前完成。”

制作這表演的壹個關鍵方面是實時攝像機跟蹤。團隊使用Cgangs V3D無限版虛擬系統，在Unreal引擎之上分層播出對象，包括動畫，角色生成以及實時數據。Cgangs V3D無限版將來自物理攝像機的數據提供給Unreal引擎，如此真實設置中的所有內容都與數字復制模型相結合，確保AR渲染在正確的時間出現在正確的位置。

麥當娜本人是在倫敦的工作室進行了三維捕捉。然後，Sequin利用Cgangs V3D無限版內的工具來確保所有數據傳送至Unreal引擎，以便將實況視頻能夠與舞臺表演精確匹配。

麥當娜的真人模型是通過英特爾工作室的3DPresenter(人物三維化)技術實現的。它不是從少數不同的角度拍攝，而是使用70多個攝像頭以360度的角度捕捉整個場景。通過攝像機信號自動計算生成真三維人物，持續建立壹個實時的三維容積，根據攝像機數據重新定位並映射。

3D Presenter支持人物無縫導入Cgangs V3D無限版三維虛擬演播室環境並與場景中的真實和虛擬物體產生互動。例如，在真實桌面上的陰影，同時會反射在虛擬地面上。

Sequin團隊來到表演現場調整了設置，使其完全與實際場地進行結合。對照明，陰影，反射，定時和位置等因素進行調整。公告牌音樂獎頒獎現場對於實現這壹目標至關重要，並且對Sequin和麥當娜來說是“超級挑戰”。足夠的舞臺時間對於確保現場和虛擬被正確安排至關重要 ， 對於壹個有著十幾名表演者並且都需要時間排練的節目來說，這絕非易事。

這種復雜的表演是由時間碼驅動的。從燈光，音樂和火焰效果到圖形的壹切都有自己的時間碼觸發器。當然，渲染也是如此。最終這場演出使用了三個支持AR的攝像頭：搖臂，前置攝像機和無線斯坦尼康。頒獎典禮的與會者能夠在米高梅大花園競技場內的屏幕上看到麥當娜的AR舞臺效果。