用途
persona-evaluator 是 OpenPersona 框架中的人格质量审计工具,用于对任意 OpenPersona 人格包(或同类 LLM 智能体人格)进行质量评估。它按照 4+5 框架标准打分:4 层(Soul · Body · Faculty · Skill)× 5 个系统概念(Evolution · Economy · Vitality · Social · Rhythm),并附加 Constitution 合规门禁。
主要能力
结构模式(默认)通过 CLI 运行,具有确定性,适合 CI 集成。它读取 persona.json、生成产物和 soul 文件,输出 9 个维度的结构化报告:
- Soul 层:identity、character、aesthetic
- Body 层:environment、runtime
- Faculty 层:tools、capabilities
- Skill 层:外部技能包
- Evolution:学习循环
- Economy:成本 / token 预算
- Vitality:健康检查
- Social:A2A 行为
- Rhythm:节奏 / 激活条件
- Constitution:§1–§5 合规门禁
每个维度产生 0–10 分、问题列表(✗)和建议(→)。总分是严重程度加权平均值。若检测到 Constitution §3 安全违规,总分上限为 3 分。
评分严重程度(strict / normal / lenient)由人格声明的角色决定。内置角色配置包括 assistant、companion、tool、expert、guide、entertainer;若 soul/identity.role 缺失或无法识别,回退到 assistant。
语义模式(LLM 驱动)用于定性评审,评估 background、personality、speakingStyle、behavior-guide.md 中的语气保真度等叙事质量。分为自评(self-evaluation)和同行评审(peer-evaluation)两种场景,各自带有反偏见指令。
黑盒语义评估用于无法读取对方 persona.json 的场景,按数据来源分为三个层级:A2A pack-content 握手(高置信度,无上限)、显式同意 + 结构化探针(中置信度,上限 8/10)、被动观察公开材料(低置信度,上限 6/10)。
使用方式
快速开始命令:
# 评估已安装的人格(静态 / 结构)
npx openpersona evaluate <slug>
# JSON 输出(用于脚本或 CI)
npx openpersona evaluate <slug> --json
# 保存报告到文件(始终为 JSON;与 --output 同时使用时无需 --json)
npx openpersona evaluate <slug> --output report.json
# 嵌入可评估的人格内容,供 LLM 评估器进行语义判断
npx openpersona evaluate <slug> --pack-content
模式选择:结构模式为默认;仅当用户明确要求叙事质量评审(如“evaluate me semantically”“self-review my pack”“qualitative audit”)时切换到语义模式;仅当无法读取对方 persona.json 时切换到黑盒模式。
修复路径:先修复 §3 违规,再修复问题(✗),最后处理建议(→)。Soul 层修复可通过 npx openpersona refine <slug> --emit 和 --apply 完成;结构修复直接编辑 persona.json 后运行 npx openpersona update <slug> 重新生成。修复后重新运行评估验证。
CI 集成示例:
# .github/workflows/persona-quality.yml
- name: Evaluate persona quality
run: |
npx openpersona evaluate ${{ env.PERSONA_SLUG }} --output report.json
SCORE=$(jq '.overallScore' report.json)
if [ "$SCORE" -lt 6 ]; then
echo "Persona quality score $SCORE < 6 — review required"
exit 1
fi
适用场景
- CI 中作为人格质量门禁
- 对自有人格包进行打磨评审
- 对磁盘上的人格包进行同行评审
- 对远程或非 OpenPersona 智能体进行黑盒评审
限制
- 语义模式仅在用户明确要求时触发,默认使用结构模式。
- 黑盒模式受数据来源层级限制,置信度有上限(8/10 或 6/10)。
- Constitution §3 违规会硬性限制总分上限为 3 分。
- 若 soul/identity.role 缺失或无法识别,回退到 assistant 角色配置。
安装
persona-evaluator 随 OpenPersona 框架捆绑发布,安装框架后即可使用:
npm install -g openpersona
# persona-evaluator 已包含 — 无需单独安装
npx openpersona evaluate <slug>
独立分发包也可在 GitHub 的 acnlabs/persona-evaluator 获取,并列于 openpersona.co/skill/persona-evaluator。
当前版本:0.3.4。