SuperAPI AI 工具集

genai-services

智能体与模型

查看项目

更新于 10-15 08:17

技能介绍

用途

该技能用于在 Oracle Cloud Infrastructure(OCI)上实现 Generative AI 推理 API 时的工程决策与问题排查,覆盖模型选择、成本估算、Token 预算、速率限制处理以及敏感数据(PHI/PII)合规。同时,它建议在 OCI Landing Zone 内部署 GenAI 基础设施,而非自行重新搭建。

主要能力

  • 模型选择权衡:资料给出 command-r-plus(128k 上下文)、command-r(4k 上下文)、embed-english-v3(嵌入)以及 llama-2-70b 的上下文长度、成本区间与适用/不适用场景。
  • 成本优化:建议优先使用嵌入做检索(比生成便宜),对重复查询在获得同意后缓存,简单任务用 command-r,仅在必要时使用 command-r-plus,并智能截断输入以保留相关上下文。
  • Token 管理:按模型给出最大上下文与最大输出,并提供按字符估算(约 1 token ≈ 4 字符)的截断函数示例。
  • 速率限制与错误处理:列出按 compartment 的每分钟/每日请求数与每请求 Token 上限,并给出指数退避重试代码,区分 429(速率限制)与 400(常见于 Token 超限)。
  • 响应校验:提供医疗响应校验示例,检查空响应、幻觉标记、必需结构缺失以及 PII 泄漏模式(如 SSN、MRN)。
  • 合规与脱敏:强调最小化 HIPAA 要求(与 Oracle 的 BAA、发送前 PHI 脱敏、审计日志、传输与静态加密、访问控制、数据保留策略),并提供脱敏函数示例,将真实标识映射保存在安全数据库中而不放入提示词。

使用方式

资料建议在进行 OCI 操作时,使用本技能参考中的确切 CLI 命令,不要猜测 OCI CLI 语法或参数,也不要假设模型的可用性或定价;需要详细 API 文档时加载 oci-genai-reference.md。示例代码包括指数退避调用、输入截断函数和 PHI 脱敏函数,均以 Python 与 oci.exceptions.ServiceError 为基础。

适用场景

  • GenAI API 实现:模型选择、成本估算、SDK 使用。
  • 错误排查:速率限制(429)、Token 限制(400)、认证问题。
  • 成本优化:缓存策略、模型降级、提示词优化。
  • 医疗健康与合规:PHI 处理、HIPAA 要求、审计日志。
  • 响应校验:幻觉检测、结构检查。
  • 生产环境:速率限制处理、错误恢复、监控。

限制

资料未提供官方文档正文或具体定价页面链接,也未给出 BAA 申请流程,仅指出不得默认 GenAI 符合 HIPAA,需与 Oracle 核实 BAA 覆盖。模型定价、速率限制数值与模型可用性可能随服务更新而变化,资料本身也提示这些信息“变化频繁”,应查阅官方来源。资料未说明该技能支持的具体 OCI 区域或语言 SDK 版本。