用途
cs-methodology-evaluation 用于计算机科学研究中，当科学主张依赖实验、基准测试、数据分析、系统测量、用户研究或软件工程证据时，帮助研究者设计或审计方法论与评估方案。
主要能力
技能覆盖从主张识别到有效性威胁记录的完整评估设计流程：
- 识别主张类型与证据类型：算法、实证、系统、人类受试、数据集、基准、工具、复现或负面结果。
- 在运行实验前定义评估问题。
- 选择基线、数据集、指标、划分、随机种子、硬件与预算。
- 添加消融与敏感性检查，用于检验所声称的机制。
- 识别数据泄漏、混杂、过拟合、选择偏差与基准不匹配。
- 将计划记录到 docs/methodology/evaluation-plan.md。
- 将威胁记录到 docs/methodology/threats-to-validity.md。
- 将运行关联到 experiments/registry.csv 与输出目录。
最低评估标准
技能要求评估至少满足以下条件：
- 可信基线，或说明不存在基线的理由。
- 指标由研究问题支撑。
- 数据集来源与划分策略。
- 可重复性细节：随机种子、配置、环境、硬件。
- 负面案例或边界条件。
- 内部、外部、构念与结论有效性的威胁。
使用方式
技能说明中要求首先阅读以下参考资料：
- references/cs-methodology-evaluation-policy.md
- references/experiment-policy.md
- references/repository-contract.md
随后按工作流执行：识别主张与证据类型、定义评估问题、选择评估要素、添加消融与敏感性检查、识别偏差与不匹配、记录评估计划与有效性威胁、关联运行注册表与输出目录。
禁止事项
技能明确列出以下禁止行为：
- 在测试数据上调参。
- 在看到有利结果后才添加基线，且不注明时间。
- 把探索性运行当作已确认证据呈现。
- 隐藏影响主张的失败或模糊运行。
适用场景
适用于需要方法论严谨性的计算机科学研究场景，包括算法研究、实证研究、系统测量、人类受试研究、数据集与基准构建、工具评估、复现研究以及负面结果报告。
限制
资料仅提供技能使用说明与政策引用，未提供具体实现细节、支持平台、安装命令、价格或收费信息，这些内容暂未提供。