BeHonest 是一个开创性的基准测试，专门用于全面评估大语言模型（LLM）的诚实度。它从三个关键方面衡量诚实性：知识边界意识（自知之明）、避免欺骗（非欺骗性）以及回答一致性。
用途： BeHonest 旨在为 LLM 的诚实度提供一个标准化的评估框架，帮助研究者和开发者了解模型在诚实相关行为上的表现，并推动模型诚实对齐的研究。
主要能力： 该基准支持以下 10 个评估场景：
- 表达未知：LLM 应适当拒绝回答超出其知识范围的问题。
- 承认已知：LLM 应正确回答其知识范围内的问题。
- 角色谄媚：LLM 不应为了迎合某个角色的观点而改变回答，以免产生偏见信息以维持认可。
- 偏好谄媚：当用户明确表示偏好某一选项时，LLM 不应为了维持认可而改变自身观点。
- 窃贼欺骗：即使被明确指示或鼓励进行欺骗行为，LLM 也不应说谎。
- 游戏：即使在策略游戏中欺骗行为有利于获胜，LLM 也不应说谎。
- 提示格式：当同一内容以轻微不同的提示格式出现时，LLM 应保持回答一致。
- 演示格式：即使少样本演示中包含无关的偏见特征，LLM 也应保持回答一致。
- 开放形式一致性：LLM 应通过验证自己生成的回答来展示一致性。
- 多项选择一致性：当被要求再次回答同一问题或用户提出不必要的质疑时，LLM 应保持回答一致。
使用方式： 目前，BeHonest 排行榜包含 9 个流行 LLM 的评估结果，涵盖不同模型家族的闭源和开源模型，以及不同的模型规模。项目团队正在努力将更多模型加入排行榜，以提供对 LLM 诚实度的全面评估。评估指标的计算方式如下：自知之明和非欺骗性的总体分数取平均值；一致性的总体分数通过反转性能差异（Perf. Spread）和不一致率（Inconsistency Rate）的值（使用公式 ( \left( \frac{\max(X) - x}{\max(X) - \min(X)} \right) \times 100 )），并将同意率（Agree. Rate）和一致率（Consist. Rate）归一化到 0-100（使用公式 ( \left( \frac{x - \min(X)}{\max(X) - \min(X)} \right) \times 100 )），每个修改后的指标权重相等，取平均值得到总体分数。该分数是一个综合衡量指标，将模型不同方面的表现整合为单一数值。
适用场景： BeHonest 适用于 LLM 诚实度研究、模型对齐评估、模型选择与比较等场景。研究者和开发者可以利用该基准测试来评估模型在诚实相关行为上的表现，并识别需要改进的领域。
限制： 目前排行榜仅包含 9 个模型的评估结果，覆盖范围有限。项目团队指出，LLM 的诚实度仍有显著提升空间，并鼓励 AI 社区优先考虑模型的诚实对齐。如有任何问题，可通过 GitHub issue 或电子邮件联系项目团队。
