SuperAPI AI 工具集

cawplan-internal-qa-coding-humaninputs-test

测试与质量

查看项目

更新于 10-15 20:11

技能介绍

用途:这是 CawPlan 的内部 QA 检查技能,针对 AI 编码人类输入分类器做批量校验。它负责范围解析、数据拉取和标签比对,分类本身委托给基础技能 cawplan-internal-qa-coding-humaninputs,逐行处理。

主要能力:先运行 cawplan skill check 引导。解析范围:人员(可选,用 cawplan session members 匹配 member key,多个候选时列编号让用户选择,无匹配则工作区范围)、产品(可选,用 cawplan products list --search 解析)、日期范围(默认最近 2 天)、比对模式(category、topic 或 both,默认 both)。随后按范围选择端点拉取人类输入行:工作区用 cawplan session human-input-logs --from ... --to ...;仅人员加 --member;仅产品用 cawplan session product-human-input-logs --product-id;产品加人员再加 --user-id(需 PRM user_id,通过 cawplan users query 解析)。分页拉取并按模式过滤空内容与缺失标签的行。

使用方式:对每行内容与 assistant_message 应用基础技能的分类规则,逐行打印进度行,输出 unique_id 到 category、topic、topic_confidence 的映射;再用简单字符串相等比对云端标签,区分真实不一致与旧版归一化差异(category 的 v1 桶对 v2 叶、topic 的 improvement→refactor、ux→design_ui)。最终报告给出各模式匹配率、旧版/分类版本不匹配桶,以及最多约 10 条真实不一致示例。

限制:仅比对单值 category 和/或 topic,categories 数组与 topic_confidence 不参与评分;不写脚本比对。行数较多(参考 >100)时需先告知用户并确认,因为每行是一次分类推理,耗时真实。分类规则变更由基础技能自动继承。参考资料为 references/CAWPLAN_OPEN_API.md。