甲骨文雲基礎設施提供新的NVIDIA gpu加速計算實例

NVIDIA H100張量核心gpu現已普遍可用，NVIDIA L40S gpu即將在Oracle雲基礎設施上推出。 隨著生成式人工智能和大型語言模型(llm)推動突破性創新，訓練和推理的計算需求正在飆升。 這些現代生成式人工智能應用程序需要全棧加速計算，從能夠快速準確地處理大量工作負載的最先進基礎設施開始。為了幫助滿足這壹需求，Oracle Cloud Infrastructure今天宣布在OCI Compute上全面推出NVIDIA H100 Tensor Core gpu, NVIDIA L40S gpu也即將推出。 基於OCI的NVIDIA H100張量核心GPU實例 OCI Compute裸機實例采用NVIDIA H100 gpu，由NVIDIA Hopper架構提供支持，為大規模人工智能和高性能計算實現了數量級的飛躍，為每個工作負載提供了前所未有的性能、可擴展性和多功能性。 與使用NVIDIA A100 Tensor Core GPU相比，使用NVIDIA H100 GPU的組織在AI推理性能方面提高了30倍，在AI訓練方面提高了4倍。H100 GPU專為資源密集型計算任務而設計，包括在運行llm時進行訓練和推理。 bmw .GPU. h100.8 OCI Compute外形包括8個NVIDIA H100 GPU，每個都有80GB的HBM2 GPU內存。在8個GPU之間，3.2TB鱷s的對分帶寬使每個GPU能夠通過NVIDIA NVSwitch和NVLink 4.0技術直接與其他7個GPU通信。該形狀包括16個本地NVMe驅動器，每個驅動器的容量為3.84TB，還包括112核的第四代英特爾至強CPU處理器，以及2TB的系統內存。 簡而言之，這種形狀針對組織中最具挑戰性的工作負載進行了優化。 根據時間線和工作負載的大小，OCI超級集群允許組織通過高性能，超低延遲的網絡將其NVIDIA H100 GPU的使用從單個節點擴展到多達數萬個H100 GPU。 OCI上的NVIDIA L40S GPU實例 NVIDIA L40S GPU基於NVIDIA Ada Lovelace架構，是壹款適用於數據中心的通用GPU，為LLM推理和訓練、視覺計算和視頻應用提供突破性的多工作負載加速。配備NVIDIA L40S gpu的OCI[.....]