SuperAPI AI 工具集

judge-reliability-checker

通用与其它

查看项目

更新于 10-16 06:44

技能介绍

用途:在信任自动评估结果之前,审查 LLM-as-judge(用大模型充当评审)配置是否可靠,即“评估评估者”。

主要能力:按照既定工作流,先明确评审要判断什么;测试评审对提示措辞的敏感性与回答顺序带来的影响;在存在可信人工标签时检查与人工判断的一致性;排查冗长偏好、位置偏好或风格偏好等偏差;最后建议该评审是可使用、受限还是不可靠。

使用方式:作为技能(skill)使用,名称 judge-reliability-checker,来源 jurgendn/agent-skills,页面为 https://www.skills.sh/jurgendn/agent-skills/judge-reliability-checker。资料未提供具体安装命令、参数或代码调用方式,暂未提供。

适用场景:在使用自动评估、模型评审或打分流水线前做可靠性审计,尤其是需要判断评审结果能否作为依据时。

限制与原则:不应把单个评审提示词当作事实标准;评审中发现的偏差本身是结果而非可忽略的干扰。资料未提供计费、价格、平台与效果数据,暂未提供。