SuperAPI AI 工具集

llm-integration

智能体与模型

查看项目

更新于 10-16 08:06

技能介绍

用途:在应用中接入 Claude、OpenAI 或其他 LLM API,并达到生产级可靠性,包括连接 API、设计提示词与系统消息、优化 token 用量与成本、实现流式响应。

主要能力:提供参数模式,provider 为必填枚举(anthropic、openai、google、local),task 为必填的集成目标,streaming 可选默认开启,max_tokens 可选默认 4096。文档给出 Anthropic 与 OpenAI 的快速上手代码示例,可直接调用: from anthropic import Anthropic client = Anthropic() response = client.messages.create(...) 以及 from openai import OpenAI 的 chat.completions.create 用法。

提示词模板:提供系统提示词模板(含 {role}、{domain}、{task}、{constraints}、{format} 占位)和思维链模板(逐步理解、拆解、求解、合并结果)。

成本参考:列出 Claude Haiku 输入 $0.25/1M、输出 $1.25/1M,适合高并发;Claude Sonnet $3/$15 适合复杂任务;Claude Opus $15/$75 适合最高要求场景。

排错:429 限流用指数退避;上下文溢出做截断或摘要;输出质量差可加示例并降低温度;成本高则改用更便宜模型或做缓存。

最佳实践:始终实现带退避的重试;用流式改善体验;缓存重复查询;监控 token 用量。相关技能包括 ai-agent-basics、rag-systems、tool-calling。

限制:资料未提供安装命令、完整定价策略、各模型上下文窗口、Google 与本地模型的具体示例,以及官方文档之外的效果承诺,均暂未提供。