Unity負責任的AI和增強的模型培訓
Unity Muse可以幫助您探索，構思和叠代強大的AI功能。其中兩個功能是Texture和Sprite，它們將自然語言和視覺輸入轉化為可用的資產。
通過Muse將AI引入Unity編輯器，您可以通過快速將想法轉化為有形的東西來更輕松地實現您的願景。您還可以調整和叠代文本提示，模式，顏色和草圖，可以轉換為真實的和項目就緒的輸出。
為了提供安全、負責任和尊重其他創作者版權的有用輸出，我們挑戰自己，在為Muse的精靈和紋理生成提供動力的AI模型的訓練技術上進行創新。
在這篇博文中，我們將分享Muse如何生成結果，解析我們的模型訓練方法，並介紹我們的兩個新的基礎模型。
訓練人工智能模型
當我們首次亮相Muse的紋理和精靈功能時，我們也開創了兩個定制的擴散模型，每個模型都是Unity擁有或許可的專有數據從頭開始訓練。
擴展我們的自有內容庫
我們用來增強數據集的規模和多樣性的壹個關鍵技術是數據增強，它允許我們從原始的unity擁有的數據樣本中產生許多變化。這極大地豐富了我們的訓練集，增強了模型從有限樣本進行泛化的能力。我們還利用幾何變換、色彩空間調整、噪聲註入和生成模型(如穩定擴散)的樣本變化等技術來綜合擴展我們的數據集。
最近，由於該模型最初是根據從互聯網上抓取的數據進行訓練的，所以Stable Diffusion壹直是倫理問題的主題。我們限制了對預訓練模型的依賴，因為我們通過從頭開始訓練潛在擴散模型架構來構建Muse的紋理和精靈功能，基於Unity擁有並負責管理的原始數據集。通過最小限度地使用穩定擴散模型作為我們數據增強技術的壹部分，我們能夠安全地利用該模型將unity擁有的原始資產庫擴展為強大且多樣化的輸出庫，這些庫是獨特的，原創的，並且不包含任何受版權保護的藝術風格。我們還在此基礎上應用了額外的緩解措施，我們將在下面描述。我們用於潛在擴散模型的訓練數據集支持Muse的紋理和Sprite功能，不包括從互聯網上抓取的任何數據。
下面是通過上述增強技術擴展內容的壹些示例。
原始數據樣本(左上)和通過混合增強技術獲得的合成變化，基於擾動(顏色空間調整，從上到下)和基於生成(從左到右)。
原始數據樣本(左上)和通過混合增強技術獲得的合成變化，基於擾動(顏色空間調整，從上到下)和基於生成(從左到右)。
原始數據的進壹步樣本(左列)及其產生的合成變量。
在擴充了現有數據之後，我們仍然需要填補壹系列主題的空白。為了做到這壹點，我們在自己的內容上訓練穩定擴散，直到它的行為發生顯著變化。使用這些衍生模型，我們使用預先過濾的主題列表創建了全新的合成數據。主題列表通過人工審查和使用大型語言模型(LLM)進行額外的自動過濾，以確保我們不會試圖創建任何違反我們指導原則的合成圖像，並違背我們試圖實現的目標:壹個完全沒有可識別的藝術風格、受版權保護的材料和潛在有害內容的數據集。
結果是兩個大的數據集，包括增強和完全合成的圖像，我們有很高的信心不會包含不需要的概念。然而，盡管我們很有信心，我們仍然想添加更多的過濾來確保我們模型的安全。
額外的數據過濾安全，有用的輸出
由於我們的主要優先事項是安全、隱私，並確保我們的工具不會對您產生負面影響，因此我們開發了四個獨立的分類器模型，負責額外的數據集過濾。這些模型有助於確保數據集中包含的所有內容都符合我們根據人工智能指導原則設定的標準，以及對圖像質量的額外檢查。
評審模型共同負責確定合成圖像:
- 沒有任何可識別的人類特征
- 沒有包含任何非通用的藝術風格
- 沒有包含任何IP字符或標識
- 是否達到了可接受的質量水平
如果圖像沒有通過四種評審模型中任何壹種所需的高置信度閾值，則從我們的數據集中丟棄它。我們決定在謹慎的壹面犯錯，並對我們的模型進行加權，以便只有具有最高置信度的圖像才能通過過濾器並進入最終的數據集。
介紹我們的模型:Photo-Real-Unity-Texture-1和Photo-Real-Unity-Sprite-1
在Unite，我們宣布了Muse的Texture和Sprite功能的早期訪問權限。支持這些工具的模型的第壹次叠代在內部被稱為Photo-Real-Unity-Texture-1和Photo-Real-Unity-Sprite-1。這些模型的設計只對風格化有壹個基本的了解，主要集中在照片寫實主義上。
此外，如果妳想引導模型匹配現有的風格在妳的項目中，妳可以教我們的模型如何創建壹個特定的藝術風格的內容，通過提供我們的風格培訓系統壹些妳自己的參考資產。這將創建壹個小的輔助模型，該模型與主模型協同工作以指導其輸出。這個小的二級模型是您或您的組織作為其培訓師的私有的，我們永遠不會使用此內容來培訓我們的主要模型。
因為我們的模型專註於真實感，我們不需要訓練我們的主要模型無數不同的風格。這種架構可以更容易地訓練主要模型，同時保持我們對負責任的人工智能的承諾，同時給妳壹個深層次的藝術控制。
今天的這些模型只是壹個開始。我們希望Muse繼續變得更加智能，並提供更好的輸出，我們將通過我們的模型改進路線圖引導模型沿著這條道路前進。
Photo-Real-Unity-Texture-1路線圖
我們第壹版photoreal – unity – texture -1的輸出樣本。從左到右:金屬泥、藍色水晶玻璃巖石、紅色織物、熊毛
目前，我們的紋理模型在各個方面都很有能力。它知道大量的概念，您可以自由地混合完全不相關的概念並獲得漂亮的結果，例如“金屬泥”或“藍色水晶玻璃巖石”，如上所示。
雖然模型在目前的狀態下非常有能力，但在學習了它如何響應不同的提示和輸入方法之後，我們發現用單個單詞的提示來實現高級材料概念可能很困難。還有其他方法可以幫助引導模型達到您的目標，但我們希望繼續給您更多的控制，無論是在基本提示的準確性方面，還是通過添加指導模型的新方法。
在未來，我們計劃增加壹個顏色選擇器，額外的預制引導模式，壹個改進的系統來創建妳自己的引導模式，和其他新的視覺輸入方法，我們目前正在試驗。
展望未來，我們對Photo-Real-Unity-Texture-1的主要重點是識別任何薄弱的材料概念，並通過頻繁的模型再培訓繼續提高整體質量和能力。您通過工具內評級系統的反饋對於幫助我們通過識別模型功能中的弱點來構建最好的工具至關重要。結合我們頻繁的培訓計劃，我們正在迅速改進模型，使其更容易使用，更了解物質世界。
Photo-Real-Unity-Sprite-1路線圖
來自第壹版photoreal – unity – sprite -1的輸出樣本。從左到右依次是:壹棵綠樹、壹塊巨石、壹把劍、壹個木桶
與Photo-Real-Unity-Texture-1類似，我們的基礎精靈模型總體上非常強大，並且知道許多概念。由於該工具還沒有內置動畫功能，我們選擇將最初的努力集中在最大限度地提高最常用的靜態精靈概念的質量上。您可以在上圖中看到基本模型的原始輸出。在正常使用中，這些將由用戶訓練的模型來指導，以匹配特定的藝術風格。
雖然靜態物體已經相當可靠，但我們仍在努力提高動物和人類的解剖精度。在這些類型的對象上有可能得到良好的結果，但妳可能會遇到四肢多余或缺失或面部扭曲的情況。這是我們對負責任的人工智能的承諾和對數據使用的嚴格限制的副作用。我們認真對待隱私和安全，即使在我們最初的早期訪問版本中犧牲了壹些主題的質量。
這是我們對負責任的人工智能的承諾和對數據使用的嚴格限制的副作用。我們認真對待隱私和安全，即使在我們最初的早期訪問版本中犧牲了壹些主題的質量。
妳也可能遇到生成的精靈完全是空白的情況。這是由我們的視覺內容審核過濾器造成的。在最初發行時，當涉及到photoreal – unity – sprite -1的輸出過濾時，我們選擇過於謹慎，因此，某些美術風格可能會觸發過濾器的誤報。我們打算隨著時間的推移放寬限制，因為我們會繼續收到您的反饋並改進我們的內容過濾器。
隨著我們得到反饋並繼續負責任地獲取更多數據，我們期望所有主題的質量全面迅速提高。我們打算把Photo-Real-Unity-Sprite-1通過類似嚴格的訓練計劃Photo-Real-Unity-Texture-1。
Unity負責任的AI增強開發路徑
Unity Muse是以最負責任和最尊重的方式為我們的社區帶來更大的創造性控制的第壹步。我們以用戶第壹為中心構建了這個產品，我們的目標是根據您的反饋繼續進行更改和改進。
我們認識到生成式人工智能對創意產業的潛在影響，我們對此非常重視。我們花了很多時間來開發這些工具，以確保我們不是在取代創造者，而是在提高妳的能力。我們相信，有了更多的創作者，世界會變得更美好，有了Unity Muse和支持它的模型，我們將繼續支持這壹使命。
