llm-eval-type-selector

用途：在构建评估前，明确该用哪种自动评估类型。它属于评估工作流的第 3 步（前一步 llm-issue-discovery，后一步 llm-judge-creator）。\n\n主要能力：区分三类评估。程序化规则是确定性代码检查（正则、schema 校验、关键词匹配、长度检查），快、便宜、完全一致，但只能查形式不能查含义。LLM 作为评判者由语言模型按自然语言标准打分，能理解细微差别、语气与相关性，但成本更高且可能出错。复合评估是两者按权重或顺序组合，用于同时需要结构与语义覆盖的场景。\n\n使用方式：先获取失败模式或质量维度，可来自 llm-issue-discovery 的问题报告、自列清单或单个目标。若尚无问题清单，建议先标注生产日志（llm-annotation-guide）再找模式（llm-issue-discovery）。随后按三个问题判断：能否写成简单条件判断（格式合规、长度结构、关键词与实体存在、禁止内容、分类准确、未填占位符）→ 规则；是否需要理解语言（语义正确、语气风格、完整性、忠实性、指令遵循、相关性）→ 评判者；两者是否都需要 → 复合，规则先跑，命中后再跑评判者。核心启发式：能向正则解释就用规则，必须向人解释就用评判者。最后按固定格式逐问题输出建议块，含评估类型、要构建的产物、检查条件与实现、维度与评判简述、评分方式（二值或 1–5 分），并指向 llm-judge-creator 与 llm-judge-alignment。\n\n适用场景：为 AI 系统选择评估方案、决定规则还是评判者、设计复合评估。\n\n限制：资料未提供具体收费、平台支持范围或效果数据；该技能本身不构建完整评判提示词，需后续技能完成。