數字Hulk和Thanos的實時現場可視化背後的“奇跡”
Profile Studios的Matt Madden分享了將Mark Ruffalo和Josh Brolin與CG資產進行虛擬整合，現場直播，為“Endgame”和“Infinity War”電影制作人提供了他們所需的即時觀看功能，以便他們能夠不斷調整和完善電影的關鍵數字角色的表演。
對於Profile Studios來說，Marvel的背靠背猛片，復仇者聯盟：無限戰爭和復仇者：Endgam，為公司提供了壹個獨特的機會，可以充分利用他們最先進的現場實時可視化系統，實現在可以說是有史以來最精致，最具挑戰性的兩部VFX驅動電影中。
Profile Studios由總裁兼創意總監Matt Madden和執行制片人Connie Kennedy於2014年創立，專門從事電影，遊戲和電視的性能捕捉和虛擬制作服務。他們參與了許多備受矚目的項目，包括蜘蛛俠：遠離家鄉，黑豹，Welcome to Marwen和星球大戰：原力覺醒。
在無限戰爭開始之前由Marvel帶來，Madden和他的團隊有壹個非常重要的任務：為電影制作人提供他們現場拍攝的即時可視，實時“虛擬”版本，取代動作拍攝數字字符與其他主要CG資產壹起表演。該拍攝場景的虛擬合成版本允許即時評估表演和相機取景的質量和精度, 可以在現場進行所需的調整。
Profile Studios對兩部Marvel電影的主要工作涉及捕捉和完善Mark Ruffalo的表演，如Hulk和Josh Brolin，作為Thanos，盡管他們也參與了The Black Order和其他無法只通過化裝來表現的角色。2016年底開始準備工作，Madden和他的12-15位藝術家團隊於2017年1月開始制作，在壹年中的大部分時間以及2018年的大部分時間裏進行拍攝，通常會持續拍攝3段壹次-6周。
除非另有說明，否則所有圖片均為©2019 Industrial Light＆Magic（Lucasfilm Entertainment Company Ltd.的壹個部門）所有，並保留所有權利。
“在制作過程中，首先，我們捕捉演員的表演，”Madden分享道。 “然後，我們會將演員的動作重新定位到他們實時播放的各個角色上。如果有綠屏更換，電影制作人還可以選擇合成CG背景。但是，至少，他們可以看到完全數字化的角色在拍攝時實時合成到真人畫面中。我們使用模型和其他生產資產，例如Hulk和Thanos的CG角色骨架設置，這些資產之前已經由不同的VFX供應商同意並且由Marvel批準。
當壹切按計劃運作時，電影制作人通過兩個監視器觀看真人秀場景：壹個只看到演員，另壹個是帶有數字字符和資產的虛擬CG復合。該實時制作系統允許即時評估兩個“場口”之間的關系，從而能夠根據角色的最終“大小”和場口內的位置立即調整演出或構圖。對於任何場景的外觀和流動至關重要的變化，取決於最終數字角色表現的可視化，可以在原始拍攝時快速進行。
在壹個例子中，Madden描述了他們在壹家餐館拍攝的Hulk場口。 “我們在亞特蘭大的Buckhead Diner拍攝了壹個Smart Hulk場景。我們在隱藏攝像機上安裝了壹個小型捕捉卷，然後捕獲了Ruffalo，跟蹤了攝像機，並在現場完成了實時復合。”
實時的現場可視化還可以幫助演員穿上動作捕捉服和相機，感覺他們真的被束縛在物理場景中，與其他演員互動，從而使最終動作感覺更加真實和令人信服。 “創建這些復雜的場景涉及許多角色，需要不同的過程，以前在時間上是不可能的，並且演員可能在他們的表演和電影的”世界“之間感受到’脫節’，“ Madden註意到。 “對於如此多的表演微妙之處，只有讓演員們壹起拍攝時，才能完全捕捉。當每個人都被壹個團隊在動作捕捉階段單獨拍攝時，這種聯系就會消失。“
通過他們的努力，Profile Studios的實時渲染，性能捕捉和CG合成的創新結合的幫助，消除了許多類似CG密集型電影所遭受的壹些問題，其中各種數字字符和元素被任意“推入”框架，和與真人元素聯系在壹起; 壹旦合成到最終的電影中，這些不同的片段往往缺乏情感或視覺聯系。由於各種供應商正在研究如此眾多的CG元素，所有這些元素只在後期制作中首次整合在壹起編輯，因此電影制作人總是難以將所有內容融合成壹個連貫，可信的故事。在拍攝基礎真人表演的同時，可視化壹些最終的數字角色整合，為電影制作人提供了極具價值的創作工具。
但他們現場的努力只是該項目的壹部分。他們的後期制作管道團隊由10位藝術家組成，同樣忙於拍攝清理工作，直到2019年初。“在制作過程中，我們的主要目標是實時可視化角色和背景，這是物理上無法完成的，” Madden分享道。 “當然，有壹個後期編輯會議，並且清理，這是在那之上完成的。
“壹旦拍攝完成，我們就可以從編輯中獲得壹次拍攝重播，”Madden描述道。 “我們基本上會清理動作中的任何細微缺陷，基本上重新處理並重新跟蹤演出，然後將角色動作重新定位到演員身上，這樣我們就可以對演出進行微調。我們重新定位控制以確保Thanos和Hulk的動作盡可能準確地從演員投射到角色上，同時仍允許進行物理差異調整。我們將渲染的鏡頭轉回Marvel編輯; 他們將所有角色的更新動作分發給了像Weta這樣的VFX供應商。”
憑借如此龐大而復雜的制作，Madden最大的挑戰在於實現真實的現場體驗。 “許多電影現場都非常龐大，當妳在第壹臺景時，電影制作人需要自由去做他們想做的事情，” 他解釋說。 “所以，妳永遠不會希望它們受到任何技術限制的約束。我們的工作是應對變化，並確保我們擁有壹個團隊，首先可以在問題出現之前預見到問題，其次，壹旦感覺到需要進行變更時，就會迅速做出響應。例如，當實時捕捉時，沒有煙霧和鏡子。您必須能夠看到演員正在做什麽，這樣您才能準確地實時重新創建該動作。如果跟蹤或解決系統導致問題，它可能會分散他們的註意， 那可能需要關閉，因為他們需要專註於他們的表演。如果數據中存在噪音，那麽在某些情況下，弊大於利。”
“因此，最重要的是我們在捕捉中沒有噪音，實時動作捕捉相對幹凈，這樣才能讓創意團隊專註並評估演出，”他繼續道。 “妳有十幾個不同的部門，每個部門都有壹個目標，有時這些目標可能會與需求發生沖突，無論是捕捉部門，設置裝飾還是照明。所有這些都給其他部門帶來挑戰。但我們都必須共同努力。”
Madden強調，實時可視化實際上可以讓其他部門更好地了解性能捕獲和數字視覺特效的實際工作。 “實時查看所有內容的好處之壹是，其他部門可以觀賞我們正在做的事情，以及他們的工作如何影響我們的工作。如果它全是藍屏，綠屏，點和跟蹤標記，他們無法與此過程建立連接，和我們在現場的角色。但是，如您可以直觀看到實時結果，您會立即了解我們的集體工作如何為舞臺上的產品做出貢獻。它幫助我們建立了壹種非語言交流，他們看到我們在壹切可控的混亂中，為下壹次設置做準備，並直觀地了解我們正在努力實現的目標。因此，在我們沒有要求的情況下，他們可能會以某種方式移動旗幟或燈光，因為他們會理解我們的目標，並希望幫助創建這種現成的解決方案。”
從技術角度來看，Profile Studios依賴他們的現成和專有的軟件系統集成的生產管道。 根據Madden的說法，就技術而言，“這肯定是壹種混合。 我們擁有核心技術，如捕獲和渲染，這不是專有技術。 但是，我們擁有專有層，使壹切以某種方式進行溝通。 因此，有攝像機跟蹤硬件，以及我們自己與商業跟蹤技術集成的跟蹤技術。 那商業軟件提供了溝通的能力，因此，如果我們想要添加單獨的跟蹤層，我們就有能力使這個過程更加健壯。”
“我們需要研究多種跟蹤方式，”他補充說，“它會利用不同的反饋來確定相機的位置和方向，因為沒有壹種可以在各種條件下工作的現場工具。對我們來說，擁有多個資信來源隨時確定攝像機位置非常重要。 我們已編寫可與其他現場硬件壹起使用的軟件。例如，透鏡編碼器。它們是生產使用的編碼器，是攝像機操作員使用的編碼器，我們編寫了軟件將數據傳輸到我們的系統並將其與攝像機位置跟蹤數據集成，因此我們與相機中的所有信息是同步和即時的。”
回顧這個項目，Madden反思他對這種體驗的欣賞程度。 “與漫威的員工壹起工作是非常好的，” 他總結道，“每個人都是真正的專業人士。總的來說，無論是Marvel員工還是像我們這樣的供應商，我們都有相同的目標，每個人之間的連續性都非常特殊。 Marvel了解他們對我們的要求，這有助於溝通。他們從根本上理解我們需要做的事情，這明顯有助於規劃，排除故障和解決問題。 您通常不會從那些在這些領域沒有經驗的生產合作夥伴那裏得到那種支持。”
記者：Dan Sart
編輯： Maggie
