SuperAPI AI 工具集

software-ai-integration

通用与其它

查看项目

更新于 10-16 05:46

技能介绍

用途:把 LLM 能力集成进产品,覆盖聊天界面、内容生成、内联补全、数据抽取与分类、内容问答等形态。

主要能力:默认使用 Vercel AI SDK 做 LLM API 集成,必要时改用供应商直连 SDK;服务端以 SSE/ReadableStream 流式输出并渐进渲染;用单一 schema(如 Zod)约束结构化输出并在代码中校验;提供聊天 UI hook 或自定义流式界面;输入输出过滤、内容审核、PII 检测等护栏;token 计数、精确与语义缓存、模型路由等成本控制;单产品用轻量内部路由,多团队共享策略时考虑 Portkey 类网关;人工反馈、LLM 评判、A/B 测试等评估方式。

使用方式:先判断功能形态(聊天、生成、抽取、搜索或智能体邻近 UX),确定请求契约、延迟目标与安全检查,再按流式、结构化、成本、护栏的对应指引实现。流式需按风险选择模式:低风险可边流边查,违规时停止并撤回;高风险或受监管输出应在服务端缓冲至护栏通过再释放。结构化输出需按供应商严格 schema 子集编译校验,流式部分对象仅用于展示,持久化前校验完整对象。对话历史存服务端,重试不得重复执行副作用,需用幂等键。

适用场景:为 Web 或移动产品添加对话、生成、抽取、补全等 AI 功能。

限制:不适用于 LLM 生命周期管理、智能体架构编排、提示工程、RAG 架构、模型训练、MLOps、MCP 服务端构建,这些应交给相邻技能。若确定性逻辑可解决、无法写出 20-50 条评测用例、失败不可接受且无法加人工确认、或已有更便宜方案,则不应引入 AI。供应商能力、价格与缓存参数需在使用时查证,资料未提供具体数值。