SuperAPI AI 工具集

deciding-with-confidence

通用与其它

查看项目

更新于 10-16 02:35

技能介绍

用途:对一段文本做路由、分流、标记与评分,为每个选项给出概率、所选值与置信度。适合工单分派到部门或队列、识别消息意图、判断谓词是否成立、按等级给出严重度评分等决策类任务。

主要能力:接收 OpenAI Decisions API 请求(input 加 predicate、choice、score 三类 question),返回每选项概率、选定值或分数与置信度。由于模型 logits 不暴露,采用 k 路并行采样,每路以不同选项顺序给出概率后取平均,再按带标签评测结果做温度缩放。采样间分歧会降低置信度,并体现在 diagnostics.agreement。

使用方式:请求写成 JSON,每个 question 有唯一 name;选项需带说明何时适用,选项不全时加 other;评分等级从低到高排列。运行: S=/mnt/skills/user/deciding-with-confidence/scripts python3 $S/decide.py run request.json echo '{...}' | python3 $S/decide.py run - 传输方式 --transport auto 默认取首个可用:api 需 pip install anthropic 和 ANTHROPIC_API_KEY 或 ANTHROPIC_AUTH_TOKEN,约 0.7 秒;cli 需已登录的 claude CLI,约 4 秒;bedrock 需 pip install anthropic 及 AWS 区域与凭证,仅显式指定。也可在 Claude Code 会话中用 decider 子代理路径,先 emit 再 aggregate。

决策建议:不要只看最高答案,用阈值处理。agreement 小于 1(样本首选不同)应升级;最高概率低于 0.7 应升级。有每类 50 条以上标签时可用 eval 与 calibrate 校准,并设 DECIDER_CALIBRATION。内置校准只适配 choice(T=0.62)。

限制:不适合标签集过大(需先幻觉标签)、需要推理或解释、需要抽取字段或自由 JSON、可访问真正决策模型且延迟敏感、挑选 Claude 层级、以及图像证据等场景。准确率约为专用决策模型的 85%,在自带 104 项评测中准确率 0.846,ECE 0.041;差距集中在八分类意图问题上,是/否与量表题持平。常见失败包括无可用样本、无可用传输、samples 少于 k、答案接近均匀(多因选项说明缺失或重叠)等。图像输入不支持。以上数据来自公开资料,实际部署前应以自有流量标注验证。