SuperAPI AI 工具集

evals-write-spec

智能体与模型

查看项目

更新于 10-15 21:38

技能介绍

用途:在 Kibana 仓库中编写 LLM 评测规范(eval spec)文件,使用 @kbn/evals 提供的 Playwright evaluate fixture(而非 test)来组织数据集、任务与评估器。

主要能力:支持定义带类型输入、期望输出与元数据的 dataset;编写 task 函数调用 Kibana API 或模型连接器;提供多种评估器,包括确定性的 CODE 评估器、LLM-as-Judge 的 criteria、correctnessAnalysis、groundednessAnalysis、基于 trace 的 token/工具调用/延迟评估器,以及 RAG 的 precision/recall/F1 评估器。每个 evaluate.describe 必须带 tag(如 observability、security、search、stateful 等)。

使用方式:规范文件从 @kbn/evals 导入 evaluate、tags、selectEvaluators 等;若套件有自定义 src/evaluate.ts 则从该处导入。用 evaluate.beforeAll/afterAll 做一次性安装文档、创建 agent、加载归档及清理。可用 evaluateDataset 模式抽取共享的 task 与评估器接线。本地运行:node scripts/evals start,可加 --model、--judge、--grep 参数;服务已运行时用 node scripts/evals run。

适用场景:为 Kibana 各领域(可观测性、安全、搜索等)编写和扩展 LLM 评测套件。

限制与注意:evaluate.describe 必须带 tag,否则 Scout 运行时报错;afterAll 必须清理,否则残留 agent/文档污染后续运行;本地迭代避免数据集过大,用 --grep 定位单个 evaluate 块;套件有自定义 evaluate.ts 时不要从 @kbn/evals 导入 evaluate;trace 类评估器需 EDOT 运行。更多评估器示例见 references/evaluator-patterns.md,套件脚手架见 evals-create-suite 技能。