SuperAPI AI 工具集

confident-client

编程与开发

查看项目

更新于 11-15 05:41

技能介绍

用途

Confident AI SDK 技能让开发者通过 confident-ai 包(Python 与 TypeScript)调用 Confident AI API。它覆盖 275 个操作,横跨 35 个资源:账户层面包括组织、项目、成员、RBAC、治理和 API 密钥;项目层面包括提示词、数据集、追踪、跨度、线程、指标、测试运行、评估、仪表板、标注队列和红队测试。

该技能专注于 API 调用,例如拉取提示词、向数据集推送金标准或读取测试运行结果。它不负责为运行中的应用添加埋点(请使用 confident-tracing 技能)或导出原始 OpenTelemetry/OTLP 追踪(请使用 confident-otel 技能),也不编写评估套件。

主要能力

  • 账户管理:读取和重命名组织,增删改查项目,管理成员与邀请,分配角色。
  • RBAC:权限是预定义只读的,按“权限 → 策略 → 角色 → 成员”的顺序组合授权。
  • API 密钥:创建、轮换、启用/禁用和删除密钥;创建时完整密钥仅显示一次,后续读取被掩码,推荐使用 rotate_api_key 并设置宽限期。
  • 治理:组织级治理策略支持完整 CRUD,并可分配/取消分配到项目;项目级可通过 client.governance.assess() 或 CI 中的 confident-ai gate 检查合规。
  • 项目资源:管理提示词、数据集(含多模态 Media 处理)、追踪、指标、测试运行与评估等。

使用方式

  1. 安装 SDK:Python 运行 pip install confident-ai,TypeScript 运行 npm install confident-ai。
  2. 配置密钥:组织密钥(confident_us_org_...)用于账户操作,项目密钥(confident_us_proj_...)用于其他资源,分别从环境变量 CONFIDENT_ORG_API_KEY 和 CONFIDENT_PROJ_API_KEY 读取;一个客户端可同时持有两把密钥并按调用自动选择。
  3. 确定目标语言:优先遵循用户明确指定;否则根据项目文件推断(Python 标记如 *.py、pyproject.toml;TypeScript/Node 标记如 *.ts、package.json)。若两种生态标记同时存在或项目为空/不明确,应先询问用户,无答复后再默认使用 Python。
  4. 编写代码前阅读对应资源的参考文件,按示例调用;Python 每个方法都有异步版本(前缀 a_),TypeScript 本身基于 Promise。

适用场景

  • 以代码方式管理 Confident AI 账户、项目和成员权限。
  • 自动化创建或更新提示词、数据集、测试运行和评估。
  • 在 CI 中执行治理合规检查。
  • 通过 API 读写项目资源,而非在运行程序中埋点。

限制

  • 不覆盖应用埋点、评估套件编写和原始 OTLP 导出。
  • 破坏性操作不可逆:删除项目会永久移除其数据集、提示词、追踪和评估;删除密钥立即撤销。
  • 密钥完整值仅创建时返回一次,之后读取被掩码。
  • 不得硬编码密钥或敏感数据,应使用环境变量。
  • 治理策略为组织级,权限预定义且只读,只能列出。
  • 成员必须先加入组织,才能加入项目;邀请在被接受后创建成员资格。
  • 缺失事实(如具体收费、价格、平台支持细节)暂未提供。

更多细节可参考技能内 references/ 下的快速入门、组织、项目、成员与邀请、RBAC、API 密钥、治理、媒体和资源等文件。