用途:衡量 AI 编程工具的实际影响,用于设计试点或推广记分卡、诊断“使用率上升但产出持平”、对比助手与智能体工作流、构建 ROI 模型与领导层报告,以及设计优于厂商基准的自主实验。
主要能力:以决策为起点选择交付物(采购/续约/削减→ROI 模型与高管报告;提升采用→采用指标与调查;证明交付影响→生产力指标与实验计划;质量漂移→质量指标与仪表盘;理解信任或摩擦→开发者体验指标与调查;评估编码智能体→智能体执行指标与实验计划)。区分助手(按开发者天、团队周、仓库月)与智能体(按任务、PR、工作流运行)两种分析单元,指标族涵盖采用、交付、质量、经济性、体验与智能体执行。提供研究设计默认值、队列与分母契约、测量清单、证据规则、反操纵清单与个人数据政策,并附参考文档、模板、数据与脚本。
使用方式:先定义决策,再选择程序模式(助手/智能体/混合),构建最小可用记分卡,选择研究设计,产出一个交付物。脚本 scripts/roi_calculator.py 计算产能价值场景时需提供观察期与两项测量负担,零成本 ROI 未定义;scripts/extract_github_events.py 采集 PR 结果队列或提交遥测前需查阅 GitHub 端点权限与速率限制。
适用场景:AI 编程工具试点、推广、续约或削减决策;质量漂移排查;助手与智能体工作流对比;ROI 建模与领导层汇报;自主实验设计。
限制:速度指标必须搭配质量与体验指标;聚合到团队级别,不向管理者展示个人级 AI 使用;基准视为能力信号而非业务 KPI;测量期默认至少干预前 8 周,含第一周新奇期;单次前后差异仅为方向性;使用率或提示量不能当作交付影响;厂商证据须标注为厂商证据;需要正确处理未完成观察的截尾与分母问题;部分评分带为本地示例性标准,未经充分验证。具体价格、平台与效果资料暂未提供。