GoKu開源視頻模型

最近，位元組跳動與香港大學聯合發佈的開源視頻生成模型 GoKu 及其子模型 GoKu+，引發了行業內外的廣泛關注，被不少人認為是推動數字行銷進入全新階段的關鍵力量。

GoKu 是一款基於流的視頻生成基礎模型，而子模型 GoKu + 則聚焦於真人口播和產品擺拍場景。

Goku團隊構建了包含3600萬視頻+1.6億圖像的數據集，並通過美學評分、OCR分析、多模態大模型標注等技術嚴格篩選數據品質。Goku採用了聯合圖像和視頻生成的方法，大家可以理解為把圖片和視頻放在一起學習。它用了一個特別的工具，叫做“聯合圖像-視頻變分自編碼器”（你可以把它想像成一個壓縮機），這個工具可以把圖片和視頻都變成一種通用的“代碼”（就像把不同的語言翻譯成一種通用語言）。這樣，模型就能同時學習圖片的靜態內容和視頻的動態內容，最後生成又好看又流暢的圖片和視頻。Goku使用了基於Transformer的架構，這種架構能夠處理複雜的時空關係，使得生成的視頻在時間和空間上更加連貫。它還採用了“全注意力機制”，能夠更好地捕捉圖像和視頻中的細節。

在實際應用場景中，只需一張產品單圖就能生成高質量的產品擺拍畫面；通過口播形式，產品資訊可以一鍵上鏡展示，極大地簡化了廣告製作流程。

在影視行業，GoKu 模型的應用為創作帶來了前所未有的便捷與創新。傳統的影視拍攝，常常受限於場地、道具、天氣等諸多因素，拍攝成本居高不下，創作週期也被拉長。有了 GoKu 模型，這些問題都能得到有效緩解。

導演們可以借助 GoKu 模型，通過文生圖、文 / 圖生視頻的功能，快速搭建虛擬拍攝場景。

例如，想要拍攝一部古裝仙俠劇，無需耗費大量資金搭建真實的仙俠場景，只需輸入 “雲霧繚繞的仙山、古樸的亭臺樓閣、仙氣飄飄的宮殿” 等文本描述，GoKu 就能生成美輪美奐的仙俠場景視頻素材。而且，在角色塑造上，也可以通過輸入角色的外貌、性格、動作等關鍵資訊，生成虛擬角色的表演片段。

這對於一些需要特效場景和虛擬角色的科幻片、奇幻片來說，大大節省了特效製作成本和時間。

同時，在拍攝一些危險場景時，使用虛擬角色和場景，還能保障演員的安全。像一些災難片裏的地震、海嘯場景，以往需要花費大量時間和資金去模擬真實場景，現在 GoKu 模型可以快速生成逼真的特效場景，讓影片的製作更加高效。

廣告行銷領域是 GoKu 模型大展身手的重要陣地。

在激烈的市場競爭中，品牌想要脫穎而出，就需要有創意且吸引人的廣告。

GoKu 模型的出現，為廣告創作帶來了無限可能。

品牌方可以利用 GoKu + 子模型，根據產品特點和目標受眾，定制專屬的數字人進行產品推廣。

比如美妝品牌，能夠創建出擁有不同膚色、膚質和風格的數字人模特，展示化妝品的使用效果。

數字人可以模擬真實的使用場景，像在化妝臺前熟練地使用產品，展示使用前後的對比效果，而且表情和動作自然流暢，讓消費者更直觀地感受到產品的功效。

在產品擺拍方面，GoKu + 同樣表現出色。以往拍攝產品廣告，需要專業的攝影團隊、精心佈置的場景和大量的時間來調整拍攝角度。

現在，只需要一張產品單圖，GoKu + 就能生成各種不同風格、不同場景下的產品擺拍圖。無論是時尚單品在奢華的時尚秀場背景下展示，還是家居用品在溫馨的客廳場景中呈現，GoKu + 都能輕鬆實現，為廣告創意提供了更多選擇。

通過 GoKu + 的口播功能，產品資訊可以以生動有趣的方式一鍵上鏡。品牌方可以根據產品的賣點，編寫吸引人的口播文案，讓數字人主播自然流暢地進行講解，大大提高了廣告的傳播效果。

遊戲行業對內容的創新和豐富性有著極高的要求，GoKu 模型為遊戲開發和宣發注入了新的活力。

在遊戲開發過程中，GoKu 模型可以幫助遊戲公司快速生成遊戲場景、角色動畫等素材。以開放世界遊戲為例，遊戲中的龐大地圖、多樣的建築和複雜的自然環境，製作起來耗時費力。利用 GoKu，開發者只需輸入相關的文本描述，如 “神秘的中世紀城堡，周圍環繞著茂密的森林和湍急的河流”，就能快速獲得相應的場景模型和動態視頻，經過簡單調整後即可應用到遊戲中。在角色設計方面，GoKu 可以根據遊戲的風格和設定，生成具有獨特個性和動作的角色動畫，豐富遊戲角色的表現力。

在遊戲宣發階段，GoKu 模型的作用同樣不可小覷。遊戲公司可以利用 GoKu 製作精美的遊戲宣傳視頻，通過生動的畫面和精彩的劇情片段吸引玩家的關注。比如在宣傳一款新的角色扮演遊戲時，製作團隊可以根據遊戲的故事情節，使用 GoKu 生成主角在冒險過程中的精彩戰鬥片段、探索神秘遺跡的場景等，讓玩家在遊戲未上線前就能感受到遊戲的魅力，提高遊戲的關注度和期待值。

在教育領域，GoKu 模型為教學方式帶來了創新性的變革，有助於打造更加生動、高效的學習環境。

對於一些抽象的知識概念，傳統的教學方式往往難以讓學生直觀理解。借助 GoKu 模型，教師可以將這些抽象知識轉化為具體的視頻內容。例如在物理教學中，講解天體運動時，通過輸入相關的物理參數和場景描述，GoKu 可以生成太陽系中行星圍繞太陽公轉的動態視頻，展示行星的運動軌跡、速度變化等，讓學生更直觀地理解天體運動的規律。

在語言學習方面，GoKu 可以生成各種語言環境下的對話視頻。

比如學習英語時，學生可以觀看數字人模擬的英語日常對話場景，如在餐廳點餐、在機場辦理登機手續等，通過觀察數字人的表情、動作和語言表達，提高語言學習的效果。此外，在歷史、地理等學科的教學中，GoKu 可以還原歷史事件的場景、展示不同地區的自然風光和人文景觀，讓學生仿佛身臨其境，增強學習的趣味性和參與度。

GoKu 模型憑藉其強大的視頻生成能力，在影視創作、廣告行銷、遊戲行業、教育領域等多個方面展現出了巨大的應用潛力。

隨著技術的不斷發展和完善，相信 GoKu 模型將在更多領域得到應用，為人們的生活和工作帶來更多的便利和創新。