SuperAPI AI 工具集

deterministic-metric-design

设计与创作

查看项目

更新于 10-16 03:46

技能介绍

用途:将模糊属性转化为确定性、可计算、可证明且有实证效度的度量,供人或智能体作为优化目标使用。资料称该技能为测量设计层,*-algorithms 类技能只应用 Big-O、NDCG、圈复杂度、MoJoFM 等既有度量,本技能教如何设计新度量。

适用时机:设计新指标、评分或指数;审查他人提出的度量是否严谨;被要求量化某无公认度量方式的属性;构建智能体会持续优化的确定目标;审计“不对劲”的既有指标;把研究思路或公式变成可计算、可复现、可采纳之物。

工作流与类别:按瀑布严重度排序,自上而下为 def-(构念定义与操作化,关键)、comp-(可计算性与可处理性,关键)、meas-(测量理论基础,高)、prop-(度量性质证明,高)、det-(确定性与可复现,高)、valid-(构念效度与校准,中高)、game-(优化安全与反博弈,中)、agg-(聚合、报告与采纳,中低)。每类参考文件为 {category}-{slug}.md,含 Why 说明、带失败标注的错误示例、带最小修复的正确示例与参考。

主要能力:定义不可观测构念、区分构念与代理、编写可否证的操作定义、固定分析单元与测量边界;避免以不可计算的 Kolmogorov 复杂度为度量、尊重 Rice 定理、选择可判定的观测等价、设计有可证误差方向的代理、保持近线性可处理性、显式界定近似误差;声明量表类型与只允许的统计量;证明单调性、不变性、敏感性、有界性与可组合性;保证纯度、固定迭代与打破平局顺序、固定输入表示、控制浮点、记录工具链与版本;与公认度量收敛、超越 LOC 基线、预测效度、阈值校准、样本外验证;让最低成本改进即正确改进、识别 Goodhart 变体、配护栏指标、硬性阻断违规获胜、用审计发现奖励黑客;按量表允许方式聚合、报告不确定性、公开版本化、发布参考实现与测试向量。

使用方式:按工作流表定位并打开对应的首条规则;自上而下处理,def- 与 comp- 为关键;提案或评审时按文件路径引用规则;新度量产出一页规格,逐类写清构念、代理、量表+单位+零点、已证明性质、确定性保证、效度证据、护栏与版本。

限制:资料未提供命令行安装方式、收费方式与具体平台要求,均暂未提供。该技能侧重度量设计方法论,实际数值计算依赖使用者所选代理与工具链。