甲骨文云基础设施提供新的NVIDIA gpu加速计算实例

NVIDIA H100张量核心gpu现已普遍可用，NVIDIA L40S gpu即将在Oracle云基础设施上推出。

随着生成式人工智能和大型语言模型(llm)推动突破性创新，训练和推理的计算需求正在飙升。

这些现代生成式人工智能应用程序需要全栈加速计算，从能够快速准确地处理大量工作负载的最先进基础设施开始。为了帮助满足这一需求，Oracle Cloud Infrastructure今天宣布在OCI Compute上全面推出NVIDIA H100 Tensor Core gpu, NVIDIA L40S gpu也即将推出。

基于OCI的NVIDIA H100张量核心GPU实例

OCI Compute裸机实例采用NVIDIA H100 gpu，由NVIDIA Hopper架构提供支持，为大规模人工智能和高性能计算实现了数量级的飞跃，为每个工作负载提供了前所未有的性能、可扩展性和多功能性。

与使用NVIDIA A100 Tensor Core GPU相比，使用NVIDIA H100 GPU的组织在AI推理性能方面提高了30倍，在AI训练方面提高了4倍。H100 GPU专为资源密集型计算任务而设计，包括在运行llm时进行训练和推理。

bmw .GPU. h100.8 OCI Compute外形包括8个NVIDIA H100 GPU，每个都有80GB的HBM2 GPU内存。在8个GPU之间，3.2TB/s的对分带宽使每个GPU能够通过NVIDIA NVSwitch和NVLink 4.0技术直接与其他7个GPU通信。该形状包括16个本地NVMe驱动器，每个驱动器的容量为3.84TB，还包括112核的第四代英特尔至强CPU处理器，以及2TB的系统内存。

简而言之，这种形状针对组织中最具挑战性的工作负载进行了优化。

根据时间线和工作负载的大小，OCI超级集群允许组织通过高性能，超低延迟的网络将其NVIDIA H100 GPU的使用从单个节点扩展到多达数万个H100 GPU。

OCI上的NVIDIA L40S GPU实例

NVIDIA L40S GPU基于NVIDIA Ada Lovelace架构，是一款适用于数据中心的通用GPU，为LLM推理和训练、视觉计算和视频应用提供突破性的多工作负载加速。配备NVIDIA L40S gpu的OCI Compute裸金属实例将于今年晚些时候提供早期访问，并于2024年初全面推出。

这些实例将为NVIDIA H100和A100 GPU实例提供替代方案，用于处理中小型人工智能工作负载，以及图形和视频计算任务。与NVIDIA A100相比，NVIDIA L40S GPU在生成AI工作负载方面的性能提升高达20%，在微调AI模型方面的性能提升高达70%。

的BM.GPU.L40S.4OCI Compute形状包括四个NVIDIA L40S gpu，以及最新一代的Intel至强CPU，高达112核，1TB的系统内存，15.36TB的低延迟NVMe本地存储用于缓存数据和400GB/s的集群网络带宽。该实例的创建是为了解决广泛的用例，从LLM培训、微调和推理到NVIDIA Omniverse工作负载和工业数字化、3D图形和渲染、视频转码和FP32 HPC。

英伟达和OCI:企业人工智能

OCI和NVIDIA之间的合作将为各种规模的组织提供最先进的NVIDIA H100和L40S gpu加速基础设施，使他们能够加入生成式人工智能革命。

然而，仅仅使用NVIDIA gpu加速的实例可能还不够。在OCI Compute上释放NVIDIA gpu的最大潜力意味着拥有最佳的软件层。在支持服务的帮助下，NVIDIA AI Enterprise通过针对底层NVIDIA GPU基础架构优化的开源容器和框架，简化了企业级加速AI软件的开发和部署。

欲了解更多信息，请在9月20日(周三)的Oracle Cloud World AI展馆中加入NVIDIA，参加有关新OCI实例的会议，并访问有关Oracle Cloud Infrastructure、OCI Compute、Oracle如何接近AI和NVIDIA AI平台的网页。