SuperAPI AI 工具集

score-optimizer

写作与研究

查看项目

更新于 10-16 04:39

技能介绍

Score Optimizer 是一个专注于优化文章评分系统本身的技能。它的核心用途是帮助用户迭代、校准和改进用于评估文章爆款潜力的评分系统,而不是直接修改文章内容。

主要能力包括:调整文章爆款评分 Prompt;批量给样本文集打分;对照标注数据评估评分准确度;研究评分维度、权重、few-shot 示例是否更合理。

使用方式:开始前需阅读 references/score_program.md 和 references/score_prompt.md。需要查看实现时,再阅读 scripts/run_scoring.py、scripts/evaluate.py,以及 assets/articles/labels.example.json 标注 schema 示例。样本文集由用户自行提供,本技能不带样本;用户需将标注过的 .md 文章放入 assets/articles/samples/,然后复制 labels.example.json 为 labels.json 并填写评分,详见 assets/articles/samples/README.md。

工作流程:先确认当前任务是在优化评分器,而不是在改文章;读取 references/score_program.md,按其实验约束执行;默认只改 references/score_prompt.md,不要动评估脚本;运行批量评分脚本,再运行评估脚本;比较 composite_score、mae、spearman、classification;记录结果,决定保留还是回滚。

命令:在 skill 根目录执行 python3 scripts/run_scoring.py > scoring.log 2>&1、python3 scripts/evaluate.py > eval.log 2>&1、grep "^composite_score:|^mae:|^spearman:|^classification:" eval.log。如果需要图表,执行 python3 scripts/generate_score_chart.py。

适用场景:用户说“优化文章评分 prompt”“让这个爆款评分系统更准”“跑一轮样本文集评分实验”“校准 viral score / composite score 的打分规则”。

不适用场景:用户说“直接把这篇文章改高分”“按这个评分器去优化文章内容”,后者应改用 article-optimizer。

限制与护栏:默认不要改 scripts/evaluate.py;默认不要改 scripts/run_scoring.py;默认不要安装新依赖;如果只是想提高某一篇文章分数,不要使用这个技能。