SuperAPI AI 工具集

persona-evaluator

智能体与模型

查看项目

更新于 10-15 12:59

技能介绍

用途

persona-evaluator 是 OpenPersona 框架中的人格质量审计工具,用于对任意 OpenPersona 人格包(或同类 LLM 智能体人格)进行质量评估。它按照 4+5 框架标准打分:4 层(Soul · Body · Faculty · Skill)× 5 个系统概念(Evolution · Economy · Vitality · Social · Rhythm),并附加 Constitution 合规门禁。

主要能力

结构模式(默认)通过 CLI 运行,具有确定性,适合 CI 集成。它读取 persona.json、生成产物和 soul 文件,输出 9 个维度的结构化报告:

  • Soul 层:identity、character、aesthetic
  • Body 层:environment、runtime
  • Faculty 层:tools、capabilities
  • Skill 层:外部技能包
  • Evolution:学习循环
  • Economy:成本 / token 预算
  • Vitality:健康检查
  • Social:A2A 行为
  • Rhythm:节奏 / 激活条件
  • Constitution:§1–§5 合规门禁

每个维度产生 0–10 分、问题列表(✗)和建议(→)。总分是严重程度加权平均值。若检测到 Constitution §3 安全违规,总分上限为 3 分。

评分严重程度(strict / normal / lenient)由人格声明的角色决定。内置角色配置包括 assistant、companion、tool、expert、guide、entertainer;若 soul/identity.role 缺失或无法识别,回退到 assistant。

语义模式(LLM 驱动)用于定性评审,评估 background、personality、speakingStyle、behavior-guide.md 中的语气保真度等叙事质量。分为自评(self-evaluation)和同行评审(peer-evaluation)两种场景,各自带有反偏见指令。

黑盒语义评估用于无法读取对方 persona.json 的场景,按数据来源分为三个层级:A2A pack-content 握手(高置信度,无上限)、显式同意 + 结构化探针(中置信度,上限 8/10)、被动观察公开材料(低置信度,上限 6/10)。

使用方式

快速开始命令:

# 评估已安装的人格(静态 / 结构)
npx openpersona evaluate <slug>

# JSON 输出(用于脚本或 CI)
npx openpersona evaluate <slug> --json

# 保存报告到文件(始终为 JSON;与 --output 同时使用时无需 --json)
npx openpersona evaluate <slug> --output report.json

# 嵌入可评估的人格内容,供 LLM 评估器进行语义判断
npx openpersona evaluate <slug> --pack-content

模式选择:结构模式为默认;仅当用户明确要求叙事质量评审(如“evaluate me semantically”“self-review my pack”“qualitative audit”)时切换到语义模式;仅当无法读取对方 persona.json 时切换到黑盒模式。

修复路径:先修复 §3 违规,再修复问题(✗),最后处理建议(→)。Soul 层修复可通过 npx openpersona refine <slug> --emit 和 --apply 完成;结构修复直接编辑 persona.json 后运行 npx openpersona update <slug> 重新生成。修复后重新运行评估验证。

CI 集成示例:

# .github/workflows/persona-quality.yml
- name: Evaluate persona quality
  run: |
    npx openpersona evaluate ${{ env.PERSONA_SLUG }} --output report.json
    SCORE=$(jq '.overallScore' report.json)
    if [ "$SCORE" -lt 6 ]; then
      echo "Persona quality score $SCORE < 6 — review required"
      exit 1
    fi

适用场景

  • CI 中作为人格质量门禁
  • 对自有人格包进行打磨评审
  • 对磁盘上的人格包进行同行评审
  • 对远程或非 OpenPersona 智能体进行黑盒评审

限制

  • 语义模式仅在用户明确要求时触发,默认使用结构模式。
  • 黑盒模式受数据来源层级限制,置信度有上限(8/10 或 6/10)。
  • Constitution §3 违规会硬性限制总分上限为 3 分。
  • 若 soul/identity.role 缺失或无法识别,回退到 assistant 角色配置。

安装

persona-evaluator 随 OpenPersona 框架捆绑发布,安装框架后即可使用:

npm install -g openpersona
# persona-evaluator 已包含 — 无需单独安装
npx openpersona evaluate <slug>

独立分发包也可在 GitHub 的 acnlabs/persona-evaluator 获取,并列于 openpersona.co/skill/persona-evaluator。

当前版本:0.3.4。