SuperAPI AI 工具集

analyze-copilot-sessions

测试与质量

查看项目

更新于 10-15 16:46

技能介绍

该技能用于基于可复现的汇总指标分析历史 Copilot Chat 运行情况,而非凭主观印象。可回答某次会话在时间或 AIU 上的消耗分布、重复任务相比上次是否改善、哪种模型或推理强度更具性价比等问题。仅用于解释单次意外失败或代理决策时,宜改用日志排障流程。

主要能力包括:从原始调试日志或已有指标 JSON 构建分析;汇总模型配置、代理角色、AIU、时间、错误、质量证据与缺失数据;两次以上运行时可输出按单位归一化、中位数/IQR、按用途的胜出者、帕累托前沿与可比性置信度。无外部质量门禁的运行标记为 UNMEASURED,不从完成文本或低错误率推断准确性。

使用方式:以安装目录为 <skill-dir>,用 extract_session_metrics.py 从日志生成指标 JSON,用 analyze_session_metrics.py 分析(可用 --manifest 绑定质量证据),用 prune_chat_sessions.py 清理旧会话。删除需先不带 --apply 试运行,再显式加 --apply 二次执行。示例命令:python <skill-dir>/scripts/extract_session_metrics.py --session-dir <debug-session-dir> --unit-count 30 --unit-name question --task-kind review --output-json <metrics.json> --json-only --strict-exit-codes;分析命令为 python <skill-dir>/scripts/analyze_session_metrics.py <metrics.json> --output-json <analysis.json> --json-only --strict-exit-codes;清理命令为 python <skill-dir>/scripts/prune_chat_sessions.py --workspace <workspace-root> --older-than-hours 36,加 --protect-session-id <active-session-id> --apply 执行。仅当用户明确要求加权总排名时才加 --weights '{"cost":1,"time":1,"quality":1}'。

限制与注意:AIU 是相对用量而非货币,不得与 GitHub AI Credits 混同;不完整覆盖时成本标记为未测量;缺失的 AIU 调用不视为零成本;日志总量下降不可当作负用量,需报告快照下界。清理会修改本地数据,以 chatSessions/*.jsonl 修改时间为活动边界,保护固定和最新会话,应用后需立即重载 VS Code 窗口;本地清理不等于删除云端同步副本。隐私上不持久化提示、响应、工具参数、密钥或绝对路径,仅输出会话 ID、角色、模型、推理强度与聚合指标。