SuperAPI AI 工具集

stress-testing-plans

数据与分析

查看项目

更新于 10-16 09:52

技能介绍

用途:该技能用于在正式承诺前验证一个计划。计划总是针对某个世界模型进行优化,而模型本身可能出错,因此验证按顺序提出三个问题:排名能否在模型出现合理误差时保持不变;最可能的失败方式是什么,这条路径是否令人担忧;实际在交换什么,是否已明确说明。其核心原则是:用简单模型规划,用丰富模型评估。

主要能力与工作流:

  1. 列出计划所依赖的假设,即排名所依赖但尚未测量的量,保留合理替代值会显著不同的3至5个。
  2. 在每个合理变体下给每个选项打分,建立“选项×场景”矩阵,并运行:node scripts/calc.js robust plan.json。输入格式参考 examples/robust.json。该命令报告三种赢家:最佳期望值、最佳最坏情况(maximin)、最小遗憾(minimax regret)。若三者一致,决策稳健;若不一致,分歧本身就是决策问题,需要说明为多少下行风险买保险并记录理由。
  3. 找出最可能的失败,而非最可怕的失败。以“六个月后失败了”为前提做事前验尸,但约束每一步在当时都是大概率合理的,排除小行星撞数据中心之类不现实路径,并给每一步打分相乘,得出联合概率。
  4. 当两个目标冲突时,明确取舍。运行:node scripts/calc.js pareto options.json,输入格式参考 examples/pareto.json。帕累托前沿上的选项各有所长,属于价值判断;被支配的选项可无争议剔除。
  5. 当失败路径确实值得担忧时,从固定菜单中选择回应:改变行动空间、改变目标、改变动态机制、改进分析、不部署。

适用场景:商业决策、产品与增长策略、安全与转化权衡、资源分配等需要在不确定性下比较选项并说明取舍的场合。

限制:资料未提供具体安装方式、依赖环境、脚本实现细节或收费信息。需注意:稳健性看的是排名而非数值;场景必须合理且需使用权重;不要针对评估模型优化计划;帕累托不负责选择;事前验尸必须加合理性约束;罕见失败需要不成比例的证据。