用途:为 AI 输出质量评估提供客观、可复用的评分标准,避免主观判断导致评估不一致。
主要能力:围绕七个核心质量维度展开——准确性(信息是否正确、可验证、有无幻觉)、相关性(是否回应用户真实问题、内容是否必要)、完整性(是否覆盖所需内容、有无缺口)、有用性(用户能否据此完成目标)、清晰度(是否易懂、结构是否良好)、语气适当性(是否符合语境预期)、安全性(是否无有害、偏见或不适当内容)。
使用方式:为每个维度定义评分量表,例如准确性 1-5 分,从“所有主张可验证且正确、无幻觉”到“重大幻觉或自信地给出事实错误信息”。随后按用例为各维度设定权重,例如医疗 AI 侧重准确性与安全性,创意写作 AI 侧重有用性与语气,编程 AI 侧重准确性与完整性,客服 AI 侧重语气与有用性。最后进行量表校准:提供各分数段的锚点示例、组织多名评估者对同一输出打分并讨论分歧、测量评估者间一致性并持续修订量表、记录模糊案例的评分指引。
适用场景:AI 产品评测、模型输出质量把关、人工标注与评审流程、不同用例下的质量优先级设定。
限制:资料未提供具体实现代码、工具集成方式或自动化评估方案;权重数值与量表分制需按实际用例自行确定。