基于NVIDIA Triton和TensorRT的人工智能推理

太平洋时间2月23日上午10时召开了网络研讨会:

一个灵活的解决方案，为每一个ai推理部署

构建一个用于生产AI推理的平台是困难的。

这个线上会议， 学习如何使用NVIDIA Triton™inference Server和NVIDIA®TensorRT™部署快速和可扩展的AI推理。我们将一起探索运行在人工智能模型上的推理解决方案，以提供更快、更准确的预测，并解决常见的痛点。部署挑战，如不同类型的AI模型架构，执行环境，框架，计算平台，以及更多将被涵盖。

通过参加本次网络研讨会，您了解了:

  • 如何使用Triton Inference Server和TensorRT在生产中优化、部署和缩放人工智能模型
  • Triton如何在cpu和gpu上实现跨多个框架、跨不同查询类型(实时、批处理、流)的推理服务，并使用模型分析器进行高效部署
  • 如何标准化工作流程，以优化模型使用TensorRT和框架集成PyTorch和TensorFlow
  • 关于客户的实际用例和他们看到的好处。