SuperAPI AI 工具集

trace-annotation-tool

编程与开发

查看项目

更新于 10-16 00:05

技能介绍

用途:在评估生命周期的分析阶段,对 LLM 追踪数据进行开放式编码(定性探索的第一遍),帮助用户逐条阅读追踪并记录原始观察,暂不建立分类体系。

主要能力:生成单目录 Python Web 应用(app.py、requirements.txt、README.md),技术栈为 FastHTML(内置 HTMX)、CDN 引入的 TailwindCSS 和原生 JavaScript。默认功能包括:一次显示一条追踪并按其结构定制渲染、自由文本笔记、通过/失败/延后判定、键盘快捷键、进度指示(如 17/100 reviewed 及各类计数)、每次操作自动保存到独立的 annotations.jsonl。路由含 GET /、POST /annotate、GET /trace/{n}、GET /progress。标注文件格式为每行 JSON,含 trace_id、status、notes、timestamp,源数据文件不被修改。快捷键:p 通过并前进、f 失败并前进、d 延后并前进、n 下一条、b 上一条、e 聚焦笔记框、? 切换帮助;笔记框聚焦时需屏蔽快捷键。

使用方式:生成后运行 cd trace-annotator、pip install -r requirements.txt、python app.py path/to/traces.jsonl,浏览器打开 FastHTML 打印的本地地址即可标注。

适用场景:LLM 错误分析中需要人工快速审阅大量追踪、记录首次失败点并形成原始观察时。建议标注到至少 20 条失败追踪且不再出现全新失败模式(理论饱和)为止,之后可进入轴向编码与失败分类。

限制与注意:工具刻意保持非结构化,不应在初始版本加入结构化失败模式复选框或标签系统;避免过度工程化、直接倾倒原始 JSON、忽略快捷键。生成前需先读取样本数据、确认字段含义与唯一追踪标识,并向用户确认是否追加额外功能。后续可扩展支持结构化失败标签。