SuperAPI AI 工具集

llmintegration

智能体与模型

查看项目

更新于 10-16 02:03

技能介绍

用途

该技能面向需要在应用中集成大语言模型(LLM)的开发者,提供跨 Claude、GPT、Gemini 与 Ollama 的集成模式与代码示例,并覆盖提示词工程、扩展思考与 Token 预算管理等主题。资料将其定位为 Golden Armada AI Agent Fleet Platform 的 LLM 集成能力。

主要能力

多模型 API 集成

资料给出四类提供方的 Python 调用示例:

  • Anthropic Claude:基础补全、系统提示、流式输出、工具调用(tools 与 input_schema)。
  • OpenAI GPT:基础补全、流式输出、函数调用(functions 与 function_call)。
  • Google Gemini:基础生成、聊天(start_chat)、流式生成。
  • Ollama 本地模型:chat 补全、流式输出、pull 拉取模型、list 列出模型。

多模型抽象层

资料提供 LLMProvider 抽象基类(generate、stream 抽象方法)、ClaudeProvider 实现以及 LLMFactory 工厂,用于按 provider 名称创建对应实例,统一多模型调用接口。

提示词工程最佳实践

资料列出结构化提示、少样本示例(few-shot)、思维链(chain of thought)等模式,并给出 Claude 提示词工程要点:清晰直接的指令、使用 XML 标签组织复杂输入、提供示例、分配角色(如 code_reviewer、architect、security_expert 系统提示)、思维链提示、结构化输出(json_schema)、长上下文处理(将关键文件放在消息末尾)。

扩展思考(Extended Thinking)

资料说明扩展思考让 Claude 在回答前先“思考”,用于复杂多步推理、代码架构与系统设计、数学问题、科学分析与战略规划。示例使用 thinking={"type": "adaptive"} 与 output_config={"effort": "high"} 控制深度,并展示如何从响应中分离 thinking 与 text 块,以及流式输出思考过程。资料注明:在 Opus 4.7+/Sonnet 5/Fable 5 上 budget_tokens 已移除(会返回 400),改用 output_config 的 effort 等级控制深度。同时提供跨提供方的 ExtendedThinkingProvider 抽象,对 GPT 使用思维链提示模拟思考。

Token 预算管理

资料给出 Anthropic Token 计数示例(client.messages.count_tokens),以及包含系统提示与消息的计数方式,并展示 TokenBudgetManager 类的设计思路(含模型特定上限)。

使用方式

资料以 Python 代码示例为主,需配置对应环境变量(如 ANTHROPIC_API_KEY、OPENAI_API_KEY、GOOGLE_API_KEY),安装对应 SDK(anthropic、openai、google.generativeai、ollama),然后按示例调用。多模型场景可通过 LLMFactory 按 provider 创建实例。

适用场景

  • 在应用中接入多家 LLM 提供方并统一调用。
  • 需要流式输出、工具/函数调用、结构化输出的场景。
  • 需要提升复杂推理质量(扩展思考、思维链)。
  • 需要控制上下文长度与 Token 成本。

限制

资料未提供该技能的安装命令、版本要求、收费或价格信息、平台支持范围与效果保证,这些事实暂未提供。示例中的模型名称与参数(如 claude-sonnet-5、gpt-4、gemini-pro、llama2)以资料原文为准,实际可用性需以各提供方官方文档为准。