用途
该技能用于构建一个基于浏览器的自定义标注界面，针对你的数据量身定制，用于评审 LLM 追踪记录（traces）并收集结构化反馈。当你需要人工审查模型输出、进行错误分析或建立失败类别时，可以使用它。
主要能力
界面从数据源（JSON/CSV 文件）加载追踪记录，一次显示一条，提供通过/失败按钮、自由文本备注字段以及上一条/下一条导航，并将标签保存到本地文件（CSV/SQLite/JSON）。
数据展示
- 以最适合该领域的人类可读格式呈现所有数据：邮件应像邮件，代码应有语法高亮，Markdown 应被渲染，表格应呈现为表格，JSON 应美化打印并可折叠。
- 折叠重复元素：如果每条追踪记录共享相同的系统提示，将其放入
<details>折叠开关中。 - 提取并突出关键元数据：如果追踪记录中包含属性名、客户端类型或会话 ID 等埋藏信息，将其提取并作为标题或徽章醒目显示。
- 按角色或状态进行颜色编码：使用左边框颜色区分用户消息、助手消息、工具调用和系统提示。
- 视觉上分组相关元素：工具调用及其响应应通过缩进、共享边框等方式视觉关联。
- 折叠无助于判断的内容：冗长的工具响应 JSON、中间推理步骤和调试上下文放入折叠开关后。
- 突出最重要的内容：让评审者判断的主要内容在视觉上占主导。加粗关键实体（价格、日期、名称）。使用字号和间距建立层次。
- 显示完整追踪记录：包含所有中间步骤（工具调用、检索上下文、推理），而不仅是最终输出。默认折叠但保持可访问。
- 净化渲染内容：渲染前从 LLM 输出中剥离原始 HTML。如果渲染的 Markdown 中的图片可能是追踪像素，则禁用图片。
反馈收集
- 在追踪记录级别进行标注：评审者判断整条追踪记录，而非单个 span。
- 以二元通过/失败按钮作为主要操作。
- 提供自由文本备注字段，供评审者描述出错（或正确）之处。
- 提供延迟（Defer）按钮用于不确定的情况。
- 每次操作自动保存。
- 一旦通过错误分析建立了失败类别，之后可以添加预定义的失败模式标签作为可点击的复选框、下拉菜单或选择列表，让评审者除了写备注外还能从已知类别中选择。但不要在初始构建中添加这些。
导航与状态
- 上一条/下一条按钮和键盘方向键。
- 追踪记录计数器显示位置和进度（如“12 of 87 remaining”）。
- 按 ID 跳转到特定追踪记录。
- 已标注与未标注追踪记录的计数。
键盘快捷键
- 方向键 = 导航追踪记录
- 1 = 通过，2 = 失败
- D = 延迟，U = 撤销上一步操作
- Cmd+S = 保存，Cmd+Enter = 保存并下一条
选择要加载的追踪记录
构建应用以接受来自任何来源（JSON/CSV 文件）的追踪记录。将采样逻辑保持在应用之外的单独脚本中。从随机采样开始。
附加功能
- 参考面板：可切换的面板，在追踪记录旁显示真实答案、预期答案或评分标准定义。
- 过滤：按与产品相关的元数据维度（渠道、用户类型、流水线版本）过滤追踪记录。
- 聚类：按元数据或语义相似度对追踪记录分组。显示每个聚类的代表性追踪记录并支持下钻。
设计检查清单
- 每条追踪记录使用相同的布局、控件和术语
- 通过和失败按钮在视觉上明显区分（颜色、大小）
- 键盘快捷键适用于所有主要操作
- 即使部分内容折叠，完整追踪记录仍可访问
- 标签自动持久化，无需显式保存
- 默认在追踪记录级别（而非 span 级别）标注
- 所有数据以其原生格式渲染（Markdown 渲染为 HTML、代码带高亮、JSON 美化打印、表格渲染为 HTML 表格、URL 渲染为可点击链接）
使用方式
按照上述指南构建 HTML 页面，从数据源加载追踪记录，实现数据展示、反馈收集、导航状态和键盘快捷键等功能。构建完成后，使用 Playwright 进行验证。
测试
构建界面后，使用 Playwright 验证。
视觉审查：加载代表性追踪数据后对界面截图。审查每张截图：
- 布局和间距：视觉层次是否清晰？能否立即看到重要内容？
- 可读性：所有数据是否以原生格式渲染？是否有原始 JSON 块、未渲染的 Markdown 或未样式化的内容？
- 美观性：界面是否看起来专业整洁？领域专家会使用它吗？
- 响应性：布局在不同窗口尺寸下是否保持？
功能测试：编写 Playwright 脚本执行完整的标注工作流：
- 加载应用并验证追踪记录已显示
- 对一条追踪记录点击通过，验证标签已保存
- 对一条追踪记录点击失败，添加备注，验证两者都已保存
- 点击延迟，验证已记录
- 使用按钮和键盘快捷键前后导航
- 验证追踪记录计数器正确更新
- 通过重新加载页面并检查标签是否持久化来验证自动保存
- 展开折叠的部分（系统提示、工具调用）并验证内容可访问
- 测试所有键盘快捷键触发正确的操作
适用场景
适用于需要对 LLM 追踪记录进行人工评审、错误分析、建立失败类别或收集结构化反馈的场景。
限制
资料中未提供关于收费、价格、平台兼容性、具体效果或使用步骤的更多信息。