使用NVIDIA AI软件构建企业级AI
随着ChatGPT的引入,全球的企业正在意识到人工智能的好处和能力,并竞相将其应用到他们的工作流程中。
随着这种采用的加速,企业不仅要跟上人工智能的快速发展,还要解决相关的挑战,如优化、可扩展性和安全性。
企业AI开发旅程通常从数据ETL(提取、转换、加载)阶段开始,在此期间,数据准备用于训练。接下来是训练人工智能模型。一旦对模型进行了训练,接下来的步骤包括部署和运行推理。企业需要为每个阶段使用优化和安全的软件来构建生产就绪的人工智能应用程序。
使用NGC目录加速AI开发
NVIDIA NGC目录通过提供一套以容器形式的gpu优化软件和sdk,使企业能够加速其AI开发。
目录中一些流行的容器包括用于数据ETL阶段的RAPIDS,用于模型开发阶段的TensorFlow和PyTorch,以及用于模型部署阶段的NVIDIA TensorRT和NVIDIA Triton Inference Server。
图1显示了用于各种用例的不同容器,例如NLP、对象检测、推荐等等。探索NGC目录,为您的用例找到合适的软件。
NGC目录上各种用例可用容器的屏幕截图。
图1所示。NGC目录为各种各样的用例提供了容器
NGC容器的好处
目录中的所有容器都经过优化,可以在最新的NVIDIA加速计算堆栈上运行,并定期更新,以在相同的硬件上提供增强的性能。容器经过测试,以确保各种NVIDIA gpu的兼容性和性能。
企业可以在任何地方部署这些容器,包括内部部署以及多云和混合云环境。这些容器可以与各种容器编排系统一起部署,包括广泛使用的开源平台Kubernetes。此外,该目录还提供了一系列Helm图表,以方便Kubernetes集群上容器的部署和管理。
安全性和信任也是目录中可用的容器和模型的组成部分。所有容器都经过cve扫描,并被赋予安全等级,以便企业可以对他们下载的软件充满信心。图2显示了容器的不同安全等级。
NGC目录中容器的不同安全等级的截图。
图2。NGC目录中容器的不同安全等级
容器通常还提供其他一些好处,例如:
- 依赖性的封装:容器封装了所有的依赖性,比如库和其他软件组件,以确保应用程序可以在任何环境下可靠地运行,而无需额外的配置。
- 可重复性:容器包含运行应用程序所需的一切,因此无论部署在何处,它们的行为都是相同的。这减少了与特定于环境的配置相关的问题的可能性。
- 节省时间和资源:通过简化部署过程和确保跨环境的一致性,容器节省了大量的时间和资源,否则将花费在手动设置和故障排除上。
使用目录软件,企业开发人员可以开始构建poc并测试他们的解决方案。当企业准备投入生产时,他们需要确保将AI集成到其业务应用程序中的需求得到满足。
这些需求包括企业级安全性、软件堆栈稳定性、企业支持和可管理性。在从开发到生产的过渡过程中,拥有一条清晰的路径是时间到价值的成功要素之一。
从开发到生产的无缝过渡
各种各样的软件组件和相关的相互依赖关系使得维护一个安全、可靠的人工智能软件堆栈成为一项艰巨的任务,特别是当人工智能需要部署和集成到企业应用程序中时。NGC目录通过为开发提供基于社区的软件和为生产提供企业级软件分支,使企业开发人员能够无缝过渡。
例如,该目录为NVIDIA Triton Inference Server提供了多个容器(图3)。NVIDIA Triton Inference Server Feature Branch是最新版本,每月发布一次,为开发人员提供最新功能和性能优化。
图片显示了NVIDIA Triton推理服务器查询的搜索结果。
图3。不同的NGC容器可用于NVIDIA Triton Inference Server
NVIDIA Triton Inference Server Production Branch是NVIDIA AI Enterprise独家提供的生产级版本,旨在为构建关键任务AI应用程序提供稳定和安全的环境。生产分支每6个月发布一次,生命周期为9个月,以确保API的稳定性。在9个月的生命周期内,NVIDIA持续跟踪关键漏洞,并每月发布CVE补丁和错误修复,而不会破坏软件堆栈。
通过不同的优化人工智能软件选项,企业开发人员可以利用目录选择适当的软件包,以支持给定的人工智能管道,同时保持安全性。
使用NVIDIA AI Enterprise实现不间断的卓越AI
安全性、可靠性和可管理性对企业级AI至关重要。为了应对这些挑战,NVIDIA推出了NVIDIA AI Enterprise,这是一个企业级软件平台,可加速数据科学管道并简化生产级AI应用程序的开发和部署。
NVIDIA AI Enterprise以开源为基础,由NVIDIA策划、优化和支持,提供多个支持分支(生产、功能和长期支持)。它还包括企业级的安全性,稳定性,可管理性,并在整个AI旅程中支持NGC。
NGC目录和NVIDIA AI Enterprise为企业提供必要的工具,以跟上人工智能的快速发展,同时解决优化、可扩展性和安全性等相关挑战。
访问NGC目录,浏览数百个预先训练的模型,容器,Helm图和木星笔记本。要开始使用NVIDIA AI Enterprise,请申请90天免费试用。
作者:Nirmal Kumar Juluru和Phoebe Lee/MVDIA