用途:把“输出是否够好”转为可执行的评分量规与 LLM-as-judge 提示词,用于评估 AI 功能输出的质量。
主要能力:基于简单需求即可推断任务、输出类型与关键维度,产出完整量规;包含 3–6 个独立维度及权重、每维 1/3/5 的具体锚点、可直接运行的评审提示词(含严格 JSON 输出契约)、标签指南与评审可靠性说明。默认维度示例:结构、完整性、正确性/依据性、有用性、安全/语气,并可按任务裁剪。
使用方式:提供任务说明、一两个样例输出(最好一好一弱)、质量门槛与非强制要求、评分方式(人工、LLM 评审或两者,单分或分维)。如未提供会自动推断并标注。输出格式含维度定义与权重、锚点表、评审提示词、标签指南、评审可靠性说明。
适用场景:为摘要器、生成类功能等设计评测量规,支持按维度或总分评分,可用于人工或自动评审流程。
限制与注意事项:资料未提供具体安装命令、平台限制或价格信息;强调维度须独立、锚点须具体可观察,提示词需可解析 JSON 并考虑重试/修复;权重应反映任务实质(依据性通常高于文笔);量规需用好坏样例校准;LLM 评审存在长度、位置、自我偏好等偏差,需采样多次并与人工标注对照后再信任排行榜。避免仅给维度名、单问题多维度扣分、盲信评审、模糊总分以及忽略负例。