SuperAPI AI 工具集

ai-integration

智能体与模型

查看项目

更新于 10-16 05:43

技能介绍

用途:把大语言模型集成进生产应用,提供可靠的流式响应、错误处理、缓存与成本管理。

主要能力与原则:一切响应流式输出,避免阻塞界面;默认使用 Anthropic Claude API,仅在明确要求时回退 OpenAI;优先采用 RAG 而非微调;控制成本,追踪 token 用量、缓存响应、选择够用的最便宜模型;用 Claude 的 tool_use 或 OpenAI 的 function_calling 获得可靠结构化数据。

使用方式(Web 推荐 Vercel AI SDK): 安装:npm install ai @ai-sdk/anthropic @ai-sdk/openai 服务端用 streamText 调用 anthropic('claude-sonnet-4-20250514') 并返回 result.toDataStreamResponse();客户端用 useChat({ api: '/api/chat' }) 渲染消息与提交表单。直接使用 Anthropic SDK 时,用 client.messages.create 做简单补全,client.messages.stream 做流式,tools + input_schema 做结构化抽取(如提取联系人信息),并从内容块中读取 tool_use 的 input。

RAG 与嵌入:将文档内容与嵌入写入数据库(示例用 pgvector 与 Prisma),查询时生成查询嵌入,用向量距离做相似度检索并按阈值过滤,再把检索片段拼入 system 提示进行问答,返回答案、来源与 token 用量。嵌入示例调用 Voyage AI(voyage-3)接口,使用 VOYAGE_API_KEY。

成本追踪:按模型维护单价表,依据 input_tokens 与 output_tokens 计算费用。

检查清单:API 密钥放环境变量,不硬编码;面向用户的响应启用流式;逐请求记录 token 用量;对 AI 端点限流;配置回退模型;缓存重复查询;发送前校验清洗输入;处理 429 限流与超时;设置账单阈值告警;系统提示纳入版本控制。

限制:资料仅给出上述示例与清单,未提供官方托管说明、定价承诺、支持平台或完整部署步骤。