用途:为 Databricks skills 建立测试与评估框架,支持编写测试用例、运行技能评估、对比技能版本,以及通过交互方式改进技能。评估以 YAML 为先,并包含人工审核环节。
主要能力:提供 /skill-test 交互式命令行,可在 Databricks 上真实执行技能。子命令包括 run(按 ground truth 运行评估,默认)、regression(与基线对比)、init(为新技能初始化测试脚手架)、add(交互式:提示 -> 调用技能 -> 测试 -> 保存,可加 --trace)、review(交互式审核待定候选,--batch 批量通过)、baseline(将当前结果保存为回归基线)、mlflow(使用 LLM 评判器运行完整 MLflow 评估)、trace-eval(按技能预期评估 trace)、list-traces(列出 MLflow 或本地可用的 trace)、scorers 与 scorers update(列出或增删评分器、更新默认准则)、sync(将 YAML 同步到 Unity Catalog,属第二阶段)。
使用方式:先安装测试依赖 uv pip install -e .test/;涉及 Databricks MLflow 时设置 DATABRICKS_CONFIG_PROFILE、MLFLOW_TRACKING_URI=dabricks、MLFLOW_EXPERIMENT_NAME。基本命令为 /skill-test <skill-name> [subcommand];各子命令对应 .test/scripts/ 下的脚本,可用 uv run python .test/scripts/{subcommand}.py {skill_name} [options] 运行,脚本支持 --help。init 会读取技能的 SKILL.md,创建 manifest.yaml、空的 ground_truth.yaml 与 candidates.yaml 模板,并推荐测试提示词。调用命令前需创建带 MCP 工具的 CLIContext。
文件位置:ground truth、candidates、manifest 存放于 {repo_root}/.test/skills/{skill-name}/,路由测试位于 .test/skills/_routing/ground_truth.yaml,基线位于 .test/baselines/{skill-name}/baseline.yaml。测试文件位于仓库根目录,而非技能目录内。
适用场景:为 Databricks skills 构建测试用例、运行评估、比较版本、审核候选用例以及基于 trace 的质量分析。
限制:资料未提供具体评分器清单、YAML 完整 schema、Python API 细节与工作流示例的展开内容,相关细节需查阅对应参考文档;sync 功能标注为第二阶段。