實時,光線追蹤和Level Ex
Level Ex團隊總部位於芝加哥,由視頻遊戲開發人員組成,他們以前曾為Activision,EA,Microsoft,LucasArts等遊戲巨頭工作。現在,這些專家將他們在遊戲設計,工程和圖形方面的全部技能用於為醫療專業人員制作有助於提高醫師技能的遊戲。 Level Ex以前所未有的方式加速了采用醫療保健曲線。
在SIGGRAPH 2019期間,Level Ex團隊的兩名成員演示了“進行各種光線…在移動中前進”,作為Real-Time Live的壹部分!我們向首席執行官兼創始人Sam Glassenberg了解有關該演示以及團隊的最新動態的更多信息。
SIGGRAPH:讓我們從高層次開始。就實時技術而言,您在Level Ex的工作有何獨特之處?
Sam Glassenberg(SG):我們正在使用實時技術來捕捉視頻遊戲機制對醫學實踐的挑戰。要做到這壹點-捕獲出血以及外科和臨床挑戰-您需要重現逼真的液體和軟組織。我們不僅在可見光下,而且在超聲,X射線和所有其他這些具有各種古怪物理性質並且以不同方式表現的成像方式下,都這樣做。我們正在做的是重新實時創建它。
目前,我們有超過60萬醫療專業人員在玩移動設備上玩我們的遊戲。這不僅是在X射線下重新創建或模擬介入性心臟病的問題,還是我們在SIGGRAPH(介入性肺病學)上展示的另壹個示例,而是使其在iPhone GPU上運行的問題。您知道,這些總是讓電話掉線。 [笑]在過去的兩年中,我們成功進入了Real-Time Live!並顯示壹些瘋狂的很酷的東西,例如與軟組織環境混合並相互作用的逼真的液體。另外,我們是通過電話進行現場演示的僅有的幾個項目之壹。
SIGGRAPH:請向我們介紹Cardio Ex演示背後的技術?
SG:在我們的演示中,我們演示了如何使用光線行進來捕獲心臟病學和肺病中有趣且具有挑戰性的案例的三個示例。第壹個示例是射線行進X射線。介入心臟病學是您的專長,您可以在金屬絲上瀏覽鮮活的,跳動著人類心臟的脈管系統。該過程完全在X射線下完成,因此您可以像在X射線板上投射的陰影壹樣可視化整個遊戲。我們開發了各種技術來重現這些組織在X射線下的行為和外觀,包括諸如將不透射線的染料註入患者的循環系統中這樣的東西,以便您實際上可以看到要導航的動脈迷宮。 。
第二個例子是射線行進超聲波。這些東西以聲音的速度而不是光的速度運動。您實際上是在模擬聲波,而不是X射線或光波。聲波在某些方面與光的行為類似,例如它們會投射陰影。但是,它們在其他方面的行為卻大不相同,例如,它們實際上將通過不同的介質來改變速度。這會創建各種有趣的偽像,這些偽像只有在查看由聲波生成的圖片時才能看到。
然後,最後壹個示例是使用射線行進在肺中創建更逼真的粘液。為此,我們使用光線在有符號的距離場中行進來創建外觀逼真的,平坦的,折射的粘性流體。
SIGGRAPH:光線行進與光線跟蹤有何不同?
SG:兩者之間有著密切的聯系。實際上,光線跟蹤硬件也可以加速光線行進。使用光線行進時,您基本上是在壹系列不同的介質中逐步移動光線,而光線跟蹤通常集中於這些光線與表面的相互作用方式(反射,折射,遮擋)。我們必須找出如何使算法在沒有普通GPU的情況下工作。使用專用的光線跟蹤硬件,您可以做瘋狂的,驚人的事情。
SIGGRAPH:是什麼促使Level Ex專註於醫療技術?
SG:我的職業生涯是在視頻遊戲行業度過的。我最初在LucasArts制作《星球大戰》遊戲,也曾在Microsoft的DirectX Graphics團隊工作。但是,我來自壹個醫生家庭。我的祖父實際上是《美國醫學會雜誌》(JAMA)的高級編輯。所以,這就是我的原因。我有點像壹家人的“異類”,他們從沒吃過藥。幾年前,為了對我父親有所幫助,我為他制作了壹個手機遊戲,訓練他的居民如何進行光纖插管。我很快就將其投入到App Store中,以便他的同事可以下載。兩年後,當我查看時,發現它已經吸引了10萬觀眾。當時我想:“哦,顯然有這種遊戲的需求。如果我們聘請了來自行業內的頂級視頻遊戲開發人員,他們的工作內容包括從“光暈”到“真人快打”的各個領域,並他們面臨為醫生創造遊戲的挑戰,會發生什麼?”
SIGGRAPH:光線跟蹤硬件是您演示的主要方面。您如何看待未來的技術?
SG:我們對其能力感到非常興奮。首先,我們很高興能夠在移動設備上運行這些更高級的算法。其次,我們也進行VR開發-我們實際上在SIGGRAPH 2018上演示了我們的壹些VR內容-我們對在此應用光線追蹤的可能性感到興奮。最後,在我們的工具鏈中利用光線追蹤進行光烘焙,並幫助藝術家制作更逼真的,外觀更好的內容。
SIGGRAPH:為移動GPU設計有哪些困難或獨特之處?
SG:總的來說,我們看到的是硬件首先出現在PC上,以支持PC遊戲。並最終在數年後進入了移動設備。我們很高興能盡快投入使用,但是當我們創建綁定到PC的VR體驗時,我們也很高興使用這些PC技術。
SIGGRAPH:技術(舊的或新的)對您的項目產生的最不可預測的影響是什麼?
SG:簡單地說:遊戲應變性。當您使用技術來創建任何類型的模擬或任何現實的環境時,您都會發現有趣的遊戲玩法來自於物理和圖形。因此,當您的環境中液體可以與軟組織混合並相互作用時,就會出現壹系列您可能從未想過的有趣場景。現在,遊戲設計師可以基於這些技術提出新穎而令人興奮的設計。
SIGGRAPH:作為過去的與會者,您對SIGGRAPH會議最喜歡的記憶是什麼?
SG:我去SIGGRAPH很久了。我最喜歡的記憶壹直是Real-Time Live!與世界頂尖的圖形團隊站在壹起,面對3000名視頻遊戲開發商,展示自己的作品,然後在觀眾投票中名列第二。我也有其他美好的回憶。在2004年,我實際上介紹了Real-Time Live的前身!稱為“實時直播:演示或死亡”。那年,我認為觀眾中有1000多人,他們嘗試使用激光指示器投票,所以每個人都試圖指向演講者的眼中。 (笑)我什麼也沒看就試圖演示。 2018/2019年的演示文稿有了重大改進。
SIGGRAPH:您對未來的實時直播有什麼建議嗎?提交者或參與者?
SG:我的建議是玩得開心。壓力可能很大:您正在現場演示,只有幾分鐘的時間。有時,您正在有效地演示仍在開發中的原型軟件。或崩潰了;或斷層了。 您必須進行大量的演練,這可能會導致壓力累積並使其感到非常緊張,尤其是要知道您將在3,000名受尊敬的同事面前演示。但是,最重要的是享受並保持當下。玩得開心。繼續吧。這是千載難逢的體驗。
來源:Siggraph