SuperAPI AI 工具集

pydantic-ai-model-integration

智能体与模型

查看项目

更新于 10-15 21:39

技能介绍

用途:在 PydanticAI 中配置 LLM 提供商、选择模型、实现容错与流式输出,并管理模型设置。

主要能力:

  1. 提供商模型字符串,格式为 provider:model-name,例如 Agent('openai:gpt-4o')、Agent('anthropic:claude-sonnet-4-5')、Agent('google-gla:gemini-2.0-flash')、Agent('google-vertex:gemini-2.0-flash')、Agent('groq:llama-3.3-70b-versatile')、Agent('mistral:mistral-large-latest')、Agent('cohere:command-r-plus')、Agent('bedrock:anthropic.claude-3-sonnet')。
  2. 模型设置:通过 ModelSettings 配置 temperature、max_tokens、top_p、timeout,并可在每次运行时覆盖。
  3. 回退模型:使用 FallbackModel 按顺序尝试多个模型,支持自定义 fallback_on 条件(如仅对 429、500、502、503 状态码回退)。
  4. 流式响应:使用 agent.run_stream 与 response.stream_output() 逐块输出,支持结构化输出(流式返回部分 JSON),并可读取最终结果与用量。
  5. 动态模型选择:可通过环境变量、运行时 model 参数或 agent.override 上下文管理器切换模型。
  6. 延迟模型检查:defer_model_check=True 可延迟到首次运行才校验模型,便于测试时用 override 替换为 TestModel。
  7. 用量跟踪与限制:result.usage() 与 result.run_usage() 查看 token 与请求数,UsageLimits 可限制 total_tokens、request_tokens、response_tokens。
  8. 提供商特定配置:OpenAIModel 支持 api_key 与 base_url(用于 Azure、代理),AnthropicModel 支持 api_key。

使用方式:安装并导入 pydantic_ai,用 Agent 指定模型字符串或模型对象,按需传入 model_settings、usage_limits,异步调用 run 或 run_stream。

适用场景:选择模型、实现容错回退、流式输出、控制推理参数、跟踪与限制用量。

限制:资料未提供安装命令、价格、平台支持范围与效果保证;示例中的 API 密钥应通过环境变量或密钥存储加载,不应提交真实密钥。