SuperAPI AI 工具集

impact-measurement

数据与分析

查看项目

更新于 10-16 09:06

技能介绍

Impact Measurement(影响测量)是一个面向技术研究的量化成本测量技能,用于衡量新增或修改某个产物所带来的实际成本,包括 token 注入成本、负载大小、文件增长以及上下文窗口消耗。其核心原则是:所有测量都来自针对实际文件的工具调用,绝不依赖记忆,也不使用未标明来源的估算。

该技能是多角度技术研究系统中的一个研究角度,与 api-state 和 ecosystem-research 等角度并行独立运行,并将发现结果返回给调用的 technical-researcher 编排器。

使用流程分为若干步骤:

第一步为范围界定。从编排器接收测量目标($ARGUMENTS),据此确定需要测量的具体文件或产物、正在新增或变更的内容,以及适用的成本维度(token 注入、发现负载大小、文件体积增长、条目数量变化)。

第二步为基线测量。通过工具调用测量每个相关文件或组件的当前状态,记录包括:文件字符数(使用 Bash 的 wc -c 命令获取字节/字符数,Read 用于内容查看而非计数,因为其行号前缀会干扰计数)、相关行数、条目数量(例如已注册工具、提示词、技能的数量)、发现响应大小估算(例如 MCP 工具列表负载)。每个测量值都必须来自 Read、Bash 或等效工具调用,并标明来源。

第三步为增量测量。对每个新增或变更的产物直接测量其大小:若产物已存在,用工具调用测量;若产物尚不存在(实现前阶段),则测量其指定内容来源(例如将被注入的 SKILL.md 或提示词文本),并将该测量标注为 [pre-implementation estimate — source: <被测内容>]。

第四步为 token 成本估算。将字符数换算为 token 估算值,每一行都显式展示公式,所有值均标注为估算。采用保守公式:tokens ≈ chars ÷ 3.5,同时给出平均公式 tokens ≈ chars ÷ 4 作为范围上界,以保守公式结果作为主数值。

第四步 b 为性能基准搜索。在待测产物同目录下的 README、内联文档、性能日志或基准脚本中搜索已测得的性能基准数据,记录检查过的来源;若未找到,则记录“No benchmarks found after searching [sources]”,这是性能影响输出部分要求提供的有效发现。

第五步为上下文注入成本分级。对任何将被注入 LLM 上下文的产物(提示词、消息、工具描述、技能正文),按 token 范围分级:可忽略(<500)、值得注意(500–2,000)、显著(2,000–8,000)、阻塞风险(>8,000)。阻塞风险类产物需在发现中明确标注,并在上下文窗口影响部分重点说明。

第六步为输出。按固定格式返回结构化报告,包含全部小节:Baseline(基线)、Delta(增量)、Context Window Impact(上下文窗口影响)、Performance Impact(性能影响)、Gaps(缺口)。即使某节无发现,也必须显式写明“None”或“No benchmarks found after searching [sources]”,不得省略任何小节。上下文窗口影响部分需给出新增内容的 token 总成本,并以 32k 和 128k 上下文尺寸显示占比百分比。

约束条件包括:所有测量必须来自工具调用而非记忆;估算必须展示公式并标注为估算;“搜索来源后未找到基准”在缺失时是有效且必需的发现;不得依赖训练数据给出文件大小、条目数量或 token 估算;不得写入任何 backlog 条目;不执行爆炸半径或迁移影响分析(该职责属于 @dh:impact-analyst);最终以消息内容形式将发现返回给调用的编排器。

适用场景主要是需要以量化方式评估某项变更对文件体积、token 开销和上下文窗口的实际影响时的技术研究任务。限制方面:该技能仅做测量与估算,不做迁移影响或爆炸半径分析;当产物尚不存在时只能基于指定内容来源做实现前估算;若无法访问来源或缺少测量工具,相关数据将记录在 Gaps 中而无法给出。