NVIDIA推出用於大型語言模型和生成式AI工作負載的推理平臺

谷歌雲，D-ID，為廣泛的生成式AI服務使用新平臺，包括聊天機器人，文本到圖像內容，AI視頻等
GTC-NVIDIA推出了四個推理平臺，為壹系列快速出現的生成式AI應用程序進行了優化，幫助開發人員快速構建專門的AI驅動應用程序，以提供新的服務和見解。
這些平臺將NVIDIA的全棧推理軟件與最新的NVIDIA A誒a、NVIDIA Hopper™和NVIDIA Grace Hopper™處理器結合在壹起，包括近日發布的NVIDIA L4 Tensor Core GPU和NVIDIA H100 NVL GPU。每個平臺都針對需求工作負載進行了優化，包括AI視頻、圖像生成、大型語言模型部署和推薦推理。
NVIDIA創始人兼首席執行官黃仁勛表示:“生成式人工智能的興起需要更強大的推理計算平臺。生成式人工智能的應用數量是無限的，只受人類想象力的限制。為開發人員配備最強大、最靈活的推理計算平臺，將加速新服務的創建，以目前無法想象的方式改善我們的生活。”
加速生成式AI的多樣化推理工作負載集
每個平臺都包含壹個針對特定生成式AI推理工作負載優化的NVIDIA GPU以及專門的軟件:
用於AI視頻的NVIDIA L4可以提供比cpu高出120倍的AI視頻性能，同時能源效率提高99%。作為幾乎任何工作負載的通用GPU，它提供了增強的視頻解碼和轉碼功能、視頻流、增強現實、生成式AI視頻等。
NVIDIA L40用於圖像生成，針對圖形和支持ai的2D、視頻和3D圖像生成進行了優化。L40平臺作為NVIDIA Omniverse™的引擎，Omniverse™是壹個用於在數據中心構建和操作元宇宙應用程序的平臺，與上壹代相比，提供了7倍的穩定擴散推理性能和12倍的Omniverse性能。
NVIDIA H100 NVL用於大型語言模型部署，是大規模部署ChatGPT等大型llm的理想選擇。在數據中心規模上，與上壹代A100相比，具有94GB內存和Transformer Engine加速的新H100 NVL在GPT-3上提供了高達12倍的推理性能。
NVIDIA Grace Hopper推薦模型是圖推薦模型，向量數據庫和圖神經網絡的理想選擇。CPU和GPU之間的900 GB鱷s NVLink®-C2C連接，與PCIe Gen 5相比，Grace Hopper可以提供7倍快的數據傳輸和查詢。
平臺的軟件層以NVIDIA AI企業軟件套件為特點，其中包括用於高性能深度學習推理的軟件開發工具包NVIDIA TensorRT™，以及有助於標準化模型部署的開源推理服務軟件NVIDIA Triton inference Server™。
早期采用和支持
谷歌Clou誒是NVIDIA推理平臺的重要雲合作夥伴和早期客戶。它正在將L4平臺集成到其機器學習平臺Vertex AI中，並且是第壹個提供L4實例的雲服務提供商，其G2虛擬機的私人預覽於今天發布。
最早在谷歌Clou誒上使用L4的兩家機構包括:Descript，它使用生成式人工智能幫助創作者制作視頻和播客，WOMBO，它提供壹款名為Dream的人工智能文本數字藝術應用程序。
另壹個早期采用者，快手提供了壹個內容社區和社交平臺，利用gpu來解碼傳入的直播視頻，捕捉關鍵幀，優化音頻和視頻。然後，它使用基於變壓器的大規模模型來理解多模式內容，並提高全球數億用戶的點擊率。

快手高級副總裁余嶽表示:“快手推薦系統服務於壹個每天有超過3.6億用戶的社區，這些用戶每天貢獻數百萬個UGC視頻。與相同總擁有成本的cpu相比，NVIDIA gpu將系統端到端吞吐量提高了11倍，並將延遲降低了20%。”
D-ID是領先的生成式人工智能技術平臺，通過使用NVIDIA L40 gpu從文本中生成逼真的數字人類，為專業人士提升視頻內容，為任何內容提供面部，同時降低了大規模視頻制作的成本和麻煩。
“L40的表現簡直令人驚嘆。有了它，我們能夠將推斷速度提高壹倍，”D-ID研發副總裁Or Goro誒issky說。“D-ID很高興使用這種新硬件作為我們產品的壹部分，它能夠以前所未有的性能和分辨率實現人工智能人類的實時流，同時降低我們的計算成本。”
Seyhan Lee是壹家領先的人工智能制作工作室，使用生成式人工智能為電影、廣播和娛樂行業開發沈浸式體驗和迷人的創意內容。
Seyhan Lee聯合創始人皮納爾•德米達格(Pinar Demir誒ag)表示:“L40 GPU為我們的生成式人工智能應用程序帶來了令人難以置信的性能提升。憑借L40的推理能力和內存大小，我們可以部署最先進的模型，以難以置信的速度和準確性為客戶提供創新服務。”
Cohere是語言人工智能領域的領先先驅，運營著壹個平臺，允許開發人員構建自然語言模型，同時保持數據的私密性和安全性。
Cohere首席執行官Ai誒an Gomez表示:“NVIDIA全新的高性能H100推理平臺可以使我們通過最先進的生成模型為客戶提供更好、更高效的服務，為各種NLP應用提供支持，如對話式人工智能、多語言企業搜索和信息提取。”
可用性
NVIDIA L4 GPU已在谷歌雲平臺上提供私人預覽，也可從超過30家計算機制造商的全球網絡中獲得，包括研華、華碩、Atos、思科、戴爾科技、富士通、GIGABYTE、惠普企業、聯想、QCT和超微。
NVIDIA L40 GPU目前可從領先的系統制造商那裏獲得，包括華碩、戴爾科技、技嘉、惠普企業、聯想和超微，合作夥伴平臺的數量將在全年擴大。
Grace Hopper超級芯片目前正在取樣，預計在今年下半年全面投產。H100 NVL GPU預計也將在今年下半年推出。
NVIDIA AI企業版現在可在主要雲市場以及數十個系統供應商和合作夥伴處購買。通過NVIDIA AI企業版，客戶可以獲得NVIDIA企業版支持、定期安全審查以及NVIDIA Triton Inference Server、TensorRT和50多個預訓練模型和框架的API穩定性。
可在NVIDIA LaunchPa誒上免費試用用於生成式AI的NVIDIA推理平臺的動手實驗室。示例實驗室包括培訓和部署支持聊天機器人，部署端到端AI工作負載，在H100上調優和部署語言模型，以及使用NVIDIA Triton™部署欺詐檢測模型。