用途:证明评测运行期间能够记录并检索提示词输入/输出,排查 rows.jsonl 中缺失的 trace、session、run 关联,并在 codex、claude、louie 三个运行时上执行可重复的遥测验证循环。
成功标准:每个受测运行时的 rows.jsonl 需包含非空 case_prompt、成功运行的非空 response_text、trace_id 与 raw_ref;raw_ref 指向的文件必须存在且可读;在可用时演示同一 run ID/trace ID 的 OTel 或日志检索;未证实的运行时须明确标注为“未证实”并附错误证据。
前置条件:OTel 栈已启动,可运行 ./bin/otel/status;评测循环可用,即 ./bin/agent.sh;harness CLI 已安装并按需认证(codex、claude);Louie 需可达,通过 LOUIE_URL 或 --louie-url 指定,并按本地设置提供认证环境。
最小验证循环:先运行带遥测的评测,命令为 ./bin/agent.sh --codex --claude --louie --journeys runtime_smoke --skills-mode off --otel --failfast --out /tmp/agent_eval_otel_smoke;然后检查产物级提示词输入输出,查看 sed -n '1,40p' /tmp/agent_eval_otel_smoke/rows.jsonl 与 ls -la /tmp/agent_eval_otel_smoke/raw,确认 case_prompt、成功行的 response_text 及 raw_ref 指向真实日志;最后用 rows.jsonl 中的 trace_id 执行 ./bin/otel/inspect <trace_id> --logs --full 验证 OTel/日志检索,若 trace 查找失败需明确记录,不得声称完整 OTel 证明。
各运行时说明:Codex 解析 codex exec --json,成功时预期出现 runtime_ids.thread_id 与 usage 字段,必要时可通过 OPENAI_BASE_URL 走代理;Claude 解析 claude --verbose -p --output-format stream-json,成功时预期 runtime_ids.session_id 与 usage 字段;Louie 发送 traceparent,先尝试单次调用再尝试 /api/chat/,若请求超时则不得声称提示词输出已证明,超时证据保留在 rows.jsonl 与原始日志中。
报告模板:分别列出 codex、claude、louie 的 proven / not proven;产物级提示词输入输出为 proven / partial;OTel 级检索为 proven / partial;blockers 用具体错误消息简要列出。
限制与护栏:不得在受跟踪文件中硬编码凭据;不得仅凭假设或文档声称成功;须区分产物采集证明(rows.jsonl 与原始日志)与 OTel 后端检索证明(bin/otel/inspect)。