SuperAPI AI 工具集

valuing-information

测试与质量

查看项目

更新于 10-16 08:08

技能介绍

用途:在决定是否开展研究、测试、问卷、仪表盘或实验之前,先计算其结果能带来多少期望效用增量,即信息价值VOI。核心公式为:VOI(O)=按结果概率加权的最优期望效用减去当前最优期望效用。VOI非负;当无论学到什么都采取同一行动时,VOI恰为零。

主要能力:按固定工作流逐项推进,包括命名该信息所服务的决策、说明当前无新数据时的默认行动、列出隐藏变量及其状态与先验、为每个行动-状态对打分、先用假想“神谕”算完美信息上限,再评估候选观察的区分度,运行计算器并查看“是否改变决策”一列,若值得再确定研究规模。计算器可对多个观察按净价值排序;支持精度、样本量和重要性抽样相关计算。

使用方式:决策表与似然表需完整写出,不能只做草稿;似然表每个状态下各结果概率之和必须为1。命令示例:node scripts/calc.js voi study.json。研究规模相关命令:node scripts/calc.js precision --successes 3 --trials 10000;node scripts/calc.js samplesize --p 0.002 --rse 0.2;node scripts/calc.js importance --true-rate 0.002 --proposal-rate 0.1 --n 10000。输入格式参考examples/voi.json。

适用场景:定价研究、A/B测试、用户问卷、仪表盘投入、样本量规划等需要判断“是否值得获取信息”的决策场景。

限制与注意:成本不只有金钱,还要计入延迟。只做确认、不改变行动的研究价值为零。净VOI可能为负,不应只引用毛值。贪心排序只是启发式,不保证最优观察序列。完美信息是上限,应先算。仪表盘是带持续成本的观察,同样计价。只为“购买许可”而设计的研究不应记为研究。若换向清单某个方向为空,说明该观察不会阻止任何行动。关于具体价格、平台支持范围等资料未提供,暂未说明。