甲骨文雲基礎設施提供新的NVIDIA gpu加速計算實例

NVIDIA H100張量核心gpu現已普遍可用，NVIDIA L40S gpu即將在Oracle雲基礎設施上推出。

隨著生成式人工智能和大型語言模型(llm)推動突破性創新，訓練和推理的計算需求正在飆升。

這些現代生成式人工智能應用程序需要全棧加速計算，從能夠快速準確地處理大量工作負載的最先進基礎設施開始。為了幫助滿足這壹需求，Oracle Cloud Infrastructure今天宣布在OCI Compute上全面推出NVIDIA H100 Tensor Core gpu, NVIDIA L40S gpu也即將推出。

基於OCI的NVIDIA H100張量核心GPU實例

OCI Compute裸機實例采用NVIDIA H100 gpu，由NVIDIA Hopper架構提供支持，為大規模人工智能和高性能計算實現了數量級的飛躍，為每個工作負載提供了前所未有的性能、可擴展性和多功能性。

與使用NVIDIA A100 Tensor Core GPU相比，使用NVIDIA H100 GPU的組織在AI推理性能方面提高了30倍，在AI訓練方面提高了4倍。H100 GPU專為資源密集型計算任務而設計，包括在運行llm時進行訓練和推理。

bmw .GPU. h100.8 OCI Compute外形包括8個NVIDIA H100 GPU，每個都有80GB的HBM2 GPU內存。在8個GPU之間，3.2TB鱷s的對分帶寬使每個GPU能夠通過NVIDIA NVSwitch和NVLink 4.0技術直接與其他7個GPU通信。該形狀包括16個本地NVMe驅動器，每個驅動器的容量為3.84TB，還包括112核的第四代英特爾至強CPU處理器，以及2TB的系統內存。

簡而言之，這種形狀針對組織中最具挑戰性的工作負載進行了優化。

根據時間線和工作負載的大小，OCI超級集群允許組織通過高性能，超低延遲的網絡將其NVIDIA H100 GPU的使用從單個節點擴展到多達數萬個H100 GPU。

OCI上的NVIDIA L40S GPU實例

NVIDIA L40S GPU基於NVIDIA Ada Lovelace架構，是壹款適用於數據中心的通用GPU，為LLM推理和訓練、視覺計算和視頻應用提供突破性的多工作負載加速。配備NVIDIA L40S gpu的OCI Compute裸金屬實例將於今年晚些時候提供早期訪問，並於2024年初全面推出。

這些實例將為NVIDIA H100和A100 GPU實例提供替代方案，用於處理中小型人工智能工作負載，以及圖形和視頻計算任務。與NVIDIA A100相比，NVIDIA L40S GPU在生成AI工作負載方面的性能提升高達20%，在微調AI模型方面的性能提升高達70%。

的BM.GPU.L40S.4OCI Compute形狀包括四個NVIDIA L40S gpu，以及最新壹代的Intel至強CPU，高達112核，1TB的系統內存，15.36TB的低延遲NVMe本地存儲用於緩存數據和400GB鱷s的集群網絡帶寬。該實例的創建是為了解決廣泛的用例，從LLM培訓、微調和推理到NVIDIA Omniverse工作負載和工業數字化、3D圖形和渲染、視頻轉碼和FP32 HPC。

英偉達和OCI:企業人工智能

OCI和NVIDIA之間的合作將為各種規模的組織提供最先進的NVIDIA H100和L40S gpu加速基礎設施，使他們能夠加入生成式人工智能革命。

然而，僅僅使用NVIDIA gpu加速的實例可能還不夠。在OCI Compute上釋放NVIDIA gpu的最大潛力意味著擁有最佳的軟件層。在支持服務的幫助下，NVIDIA AI Enterprise通過針對底層NVIDIA GPU基礎架構優化的開源容器和框架，簡化了企業級加速AI軟件的開發和部署。

欲了解更多信息，請在9月20日(周三)的Oracle Cloud World AI展館中加入NVIDIA，參加有關新OCI實例的會議，並訪問有關Oracle Cloud Infrastructure、OCI Compute、Oracle如何接近AI和NVIDIA AI平臺的網頁。