生成AI代理开发者竞赛:入门的顶级技巧

启动你的创造力

生成式人工智能代理有许多不同的实际应用。在以前的竞赛中开发的代理或副驾驶应用程序使用大型语言模型(llm)或小型语言模型(slm)，这取决于应用程序的隐私、安全性和计算需求。

这些例子包括:

• 使用本地托管的LLM模型，为Outlook设计的插件可以帮助用户撰写电子邮件、总结电子邮件线程和回答收件箱中的问题。
• 使用命令行助手通过将简单的英语指令翻译成可操作的命令行提示符来增强命令行界面。
• 一个可视化的探索工具，分析图像，并提供直观的照片分析功能。
• 开发人员可以在游戏、医疗保健、媒体和娱乐等领域创建应用程序，用于生成内容。其他选项包括摘要、问答、情感分析和实时翻译。在医疗保健领域，代理可以通过分析患者症状、病史和临床数据来帮助诊断疾病。

这些想法中的许多都适用于您的数据和您希望解决的问题—无论是使用代理来改善您每周的杂货购物还是优化业务设置中的客户服务响应

快速提示您的开发旅程

开发由llm或slm支持的应用程序需要集成多个组件。此过程包括准备数据、选择适当的基础模型、微调所选的基础模型，以及为各种下游任务编排模型。这些任务可能包括代理创建、推理服务和其他专门功能。

让我们介绍一下创建基于llm的代理应用程序的场景。在代理应用程序中选择适当的基础模型是至关重要的，因为它在准确有效地理解用户查询方面起着关键作用。这个决定提出了几个重要的问题，比如是选择LLM还是SLM，以及是否量化模型。

这些问题的答案并不直接，而且受到应用程序需求、部署基础设施、期望的推理速度和准确性需求等因素的影响。

记住以下几点很有帮助。

• 如果您的应用程序部署在内存占用较小的gpu上，则应该考虑使用量化模型或在使用现有模型之前对其进行量化。一些开发人员可以使用的工具是量化框架，如模型优化器和各种插件，包括NVIDIA TensorRT for Large Language model (TensorRT- llm)，这些插件在LangChain框架中可用。
• 如果推理准确性很重要，则应该使用与其用例一致的基础模型，然而，其中一些模型需要具有大内存的gpu。
• 如果您的目标是在应用程序中使用检索增强生成(retrieve -augmented generation, RAG)，那么格式化和管理文档是应用程序开发的一个重要方面。您可以利用NVIDIA NeMo策展人或支持处理不同文档模式的文档加载器等工具，并查看我们最近关于NeMo策展人的博客文章以获得更多见解。

这些是一些可以帮助您开始应用程序的主题。对于更高级的用例，例如微调和构建多代理应用程序，您可以探索NeMo框架和LangGraph。

作者:Mitesh Patel, Jay Rodge和Sirisha Rella/ nvidia