基于NVIDIA Triton和TensorRT的人工智能推理
太平洋时间2月23日上午10时召开了网络研讨会:
一个灵活的解决方案,为每一个ai推理部署
构建一个用于生产AI推理的平台是困难的。
这个线上会议, 学习如何使用NVIDIA Triton™inference Server和NVIDIA®TensorRT™部署快速和可扩展的AI推理。我们将一起探索运行在人工智能模型上的推理解决方案,以提供更快、更准确的预测,并解决常见的痛点。部署挑战,如不同类型的AI模型架构,执行环境,框架,计算平台,以及更多将被涵盖。
通过参加本次网络研讨会,您了解了:
- 如何使用Triton Inference Server和TensorRT在生产中优化、部署和缩放人工智能模型
- Triton如何在cpu和gpu上实现跨多个框架、跨不同查询类型(实时、批处理、流)的推理服务,并使用模型分析器进行高效部署
- 如何标准化工作流程,以优化模型使用TensorRT和框架集成PyTorch和TensorFlow
- 关于客户的实际用例和他们看到的好处。