用途
Confident AI SDK 技能让开发者通过 confident-ai 包(Python 与 TypeScript)调用 Confident AI API。它覆盖 275 个操作,横跨 35 个资源:账户层面包括组织、项目、成员、RBAC、治理和 API 密钥;项目层面包括提示词、数据集、追踪、跨度、线程、指标、测试运行、评估、仪表板、标注队列和红队测试。
该技能专注于 API 调用,例如拉取提示词、向数据集推送金标准或读取测试运行结果。它不负责为运行中的应用添加埋点(请使用 confident-tracing 技能)或导出原始 OpenTelemetry/OTLP 追踪(请使用 confident-otel 技能),也不编写评估套件。
主要能力
- 账户管理:读取和重命名组织,增删改查项目,管理成员与邀请,分配角色。
- RBAC:权限是预定义只读的,按“权限 → 策略 → 角色 → 成员”的顺序组合授权。
- API 密钥:创建、轮换、启用/禁用和删除密钥;创建时完整密钥仅显示一次,后续读取被掩码,推荐使用 rotate_api_key 并设置宽限期。
- 治理:组织级治理策略支持完整 CRUD,并可分配/取消分配到项目;项目级可通过 client.governance.assess() 或 CI 中的 confident-ai gate 检查合规。
- 项目资源:管理提示词、数据集(含多模态 Media 处理)、追踪、指标、测试运行与评估等。
使用方式
- 安装 SDK:Python 运行 pip install confident-ai,TypeScript 运行 npm install confident-ai。
- 配置密钥:组织密钥(confident_us_org_...)用于账户操作,项目密钥(confident_us_proj_...)用于其他资源,分别从环境变量 CONFIDENT_ORG_API_KEY 和 CONFIDENT_PROJ_API_KEY 读取;一个客户端可同时持有两把密钥并按调用自动选择。
- 确定目标语言:优先遵循用户明确指定;否则根据项目文件推断(Python 标记如 *.py、pyproject.toml;TypeScript/Node 标记如 *.ts、package.json)。若两种生态标记同时存在或项目为空/不明确,应先询问用户,无答复后再默认使用 Python。
- 编写代码前阅读对应资源的参考文件,按示例调用;Python 每个方法都有异步版本(前缀 a_),TypeScript 本身基于 Promise。
适用场景
- 以代码方式管理 Confident AI 账户、项目和成员权限。
- 自动化创建或更新提示词、数据集、测试运行和评估。
- 在 CI 中执行治理合规检查。
- 通过 API 读写项目资源,而非在运行程序中埋点。
限制
- 不覆盖应用埋点、评估套件编写和原始 OTLP 导出。
- 破坏性操作不可逆:删除项目会永久移除其数据集、提示词、追踪和评估;删除密钥立即撤销。
- 密钥完整值仅创建时返回一次,之后读取被掩码。
- 不得硬编码密钥或敏感数据,应使用环境变量。
- 治理策略为组织级,权限预定义且只读,只能列出。
- 成员必须先加入组织,才能加入项目;邀请在被接受后创建成员资格。
- 缺失事实(如具体收费、价格、平台支持细节)暂未提供。
更多细节可参考技能内 references/ 下的快速入门、组织、项目、成员与邀请、RBAC、API 密钥、治理、媒体和资源等文件。