生成AI代理開發者競賽:入門的頂級技巧

啟動妳的創造力

生成式人工智能代理有許多不同的實際應用。在以前的競賽中開發的代理或副駕駛應用程序使用大型語言模型(llm)或小型語言模型(slm)，這取決於應用程序的隱私、安全性和計算需求。

這些例子包括:

l使用本地托管的LLM模型，為Outlook設計的插件可以幫助用戶撰寫電子郵件、總結電子郵件線程和回答收件箱中的問題。

l使用命令行助手通過將簡單的英語指令翻譯成可操作的命令行提示符來增強命令行界面。

l壹個可視化的探索工具，分析圖像，並提供直觀的照片分析功能。

l開發人員可以在遊戲、醫療保健、媒體和娛樂等領域創建應用程序，用於生成內容。其他選項包括摘要、問答、情感分析和實時翻譯。在醫療保健領域，代理可以通過分析患者癥狀、病史和臨床數據來幫助診斷疾病。

這些想法中的許多都適用於您的數據和您希望解決的問題—無論是使用代理來改善您每周的雜貨購物還是優化業務設置中的客戶服務響應

快速提示您的開發旅程

開發由llm或slm支持的應用程序需要集成多個組件。此過程包括準備數據、選擇適當的基礎模型、微調所選的基礎模型，以及為各種下遊任務編排模型。這些任務可能包括代理創建、推理服務和其他專門功能。

讓我們介紹壹下創建基於llm的代理應用程序的場景。在代理應用程序中選擇適當的基礎模型是至關重要的，因為它在準確有效地理解用戶查詢方面起著關鍵作用。這個決定提出了幾個重要的問題，比如是選擇LLM還是SLM，以及是否量化模型。

這些問題的答案並不直接，而且受到應用程序需求、部署基礎設施、期望的推理速度和準確性需求等因素的影響。

記住以下幾點很有幫助。

• 如果您的應用程序部署在內存占用較小的gpu上，則應該考慮使用量化模型或在使用現有模型之前對其進行量化。壹些開發人員可以使用的工具是量化框架，如模型優化器和各種插件，包括NVIDIA TensorRT for Large Language model (TensorRT- llm)，這些插件在LangChain框架中可用。
• 如果推理準確性很重要，則應該使用與其用例壹致的基礎模型，然而，其中壹些模型需要具有大內存的gpu。
• 如果您的目標是在應用程序中使用檢索增強生成(retrieve -augmented generation, RAG)，那麽格式化和管理文檔是應用程序開發的壹個重要方面。您可以利用NVIDIA NeMo策展人或支持處理不同文檔模式的文檔加載器等工具，並查看我們最近關於NeMo策展人的博客文章以獲得更多見解。

這些是壹些可以幫助您開始應用程序的主題。對於更高級的用例，例如微調和構建多代理應用程序，您可以探索NeMo框架和LangGraph。

作者:Mitesh Patel, Jay Rodge和Sirisha Rella鱷 nvidia