SuperAPI AI 工具集

opik-integrations-auditor

测试与质量

查看项目

更新于 10-16 02:41

技能介绍

用途

Opik Integrations Auditor 用于审计、比较和记录 Opik 的集成情况,覆盖 Python SDK、TypeScript SDK 以及后端 OTEL/API 三类表面,采用以证据为先、可重复的工作流程。

何时使用

该技能适用于以下任务场景:

  • 评审现有 Opik 集成的行为、覆盖范围或文档质量
  • 设计或实现一个新的集成
  • 产出跨 Python、TypeScript 和 OTEL/API 的集成模式文档
  • 识别代码、测试与文档之间的差距

必需产出

在响应中(或按需以文件形式)产出以下工件:

  • 集成清单表
  • 每个集成的模式分类
  • 跨表面比较矩阵(Python / TypeScript / OTEL/API)
  • 发现列表(缺陷/风险/差距)
  • 文档补丁计划
  • 测试计划(单元 + 集成 + 端到端)

工作流程

  1. 构建清单并为每个集成分类模式。
  2. 提取行为契约(采集、流式、错误、flush、span 层级)。
  3. 提取数据契约(usage、元数据/标签、线程传播)。
  4. 校验后端兼容性(OTEL 端点/协议/映射规则)。
  5. 检查测试覆盖与缺失的边界情况。
  6. 使用统一模板产出文档更新。

按需加载参考资料

  • 矩阵结构与评分:references/matrix-and-rubric.md
  • 模式定义:references/patterns.md
  • 证据采集路径与命令:references/evidence-collection.md
  • 文档更新模板:references/doc-template.md
  • 测试检查清单:references/testing-checklist.md
  • 子代理提示模板:references/subagent-prompts.md

输入

  • 集成范围(特定集成或完整清单)
  • 需要比较的目标表面(Python、TypeScript、OTEL/API)
  • 相关仓库路径与分支/diff 范围
  • 输出期望(表格深度、文档补丁格式、测试深度)

输出

  • 清单与比较矩阵
  • 发现与风险摘要
  • 文档补丁计划
  • 测试计划,并标注缺失的覆盖项

默认证据位置(若仓库结构不同可覆盖)

Python:

  • sdks/python/src/opik/integrations
  • sdks/python/design/INTEGRATIONS.md
  • sdks/python/design/TESTING.md

TypeScript:

  • sdks/typescript/design/INTEGRATIONS.md
  • sdks/typescript/design/TESTING.md

后端 OTEL:

  • apps/opik-backend/src/main/java/com/comet/opik/api/resources/v1/priv/OpenTelemetryResource.java
  • apps/opik-backend/src/main/java/com/comet/opik/domain/OpenTelemetryService.java
  • apps/opik-backend/src/main/java/com/comet/opik/domain/OpenTelemetryMapper.java
  • apps/opik-backend/src/main/java/com/comet/opik/domain/mapping/OpenTelemetryMappingRuleFactory.java
  • apps/opik-backend/docs/integrations.md

限制

关于该技能的具体安装方式、收费情况、支持平台及实际使用效果,现有资料暂未提供。