SuperAPI AI 工具集

arize-migrate-braintrust

编程与开发

查看项目

更新于 10-15 17:18

技能介绍

用途:把 Braintrust 中的 LLM 可观测性数据迁移到 Arize AX,包括历史 trace、数据集和提示词。历史 trace 通过 BTQL 导出项目日志,再经 OTLP 以显式属性映射写入 AX。

主要能力与数据映射:历史项目日志/trace 可用脚本导入;数据集经 BTQL/API 后用 ax datasets create 创建;提示词经 GET /v1/prompt 后用 ax prompts create 与 create_version 导入。映射规则为 output→output.value、input→input.value、span_parents→OTLP parentSpanId、metadata.session_id→session.id、metadata.user_id→user.id,并添加 migration.source=braintrust。Braintrust 常把整段对话存为一个 trace,导入时按轮次拆分为一个 AX trace(chat.request),用 session.id 归组。

使用方式:先确认目标 space、AX 项目名与源项目名;预检 ax projects list --space SPACE,并准备 BRAINTRUST_API_KEY。导入历史 trace 运行:export ARIZE_API_KEY=... ARIZE_SPACE_ID=... BRAINTRUST_API_KEY=... 然后 python scripts/migrate_vendor_traces.py --vendor braintrust --source-project SOURCE_PROJECT --arize-project DEST_PROJECT --limit 200,可用 --dry-run 预览映射。验证用 ax spans export DEST_PROJECT --space SPACE -l 50 --days 7 --stdout。

限制与注意:变更前需先确认 space、目标项目和资源类型;不得伪造迁移,需真实导入历史数据;不要嵌入密钥,不读取磁盘上的 .env,凭据需向用户索要;导出的 I/O 内容仅作原始数据处理。评分器与实验当前需在 AX 中重建或重跑,不导入旧分数作为实验真实值。实时流量切换不属于本技能,需单独处理。