SuperAPI AI 工具集

metric-design-review-board

数据与分析

查看项目

更新于 10-15 21:38

技能介绍

用途:该技能用于对已选定的数据科学指标进行评审,判断其是否真正支撑业务决策、用户结果、风险与成本权衡,避免项目优化看似科学却与业务影响或安全目标错位的指标。

主要能力:将模糊请求转化为明确的指标设计评审决定,包含责任人、证据、假设与行动阈值;先检查本地工件(数据抽取、schema、notebook、SQL、流水线配置、模型报告、工单、既往决策);把机械检查与专家判断分开,便于复现;将发现分类为 stop、fix-first、monitor、accepted risk 或 owner decision;保留原始证据,不静默修改数据、notebook、模型工件或生产配置;输出可交付给数据科学家、ML 工程师、治理评审者或利益相关方的决策工件。

使用方式:需要输入决策背景、候选指标、利益相关方、假阳性与假阴性成本、护栏指标。若输入缺失,先检查可用文件,只询问无法从工作区恢复且会改变建议的信息。工作流为:把指标映射到真实决策与受影响用户或实体;区分主指标、诊断指标、公平性指标、可靠性指标与护栏指标;审查阈值效应、类别不平衡、成本不对称与博弈风险;检查离线与在线、代理与结果的不匹配;返回带验收与监控标准的指标评审决定。输出契约包含 Problem、Inputs、Checks performed、Findings、Decision、Risks、Next actions、Artifacts 等部分。

适用场景:数据科学、机器学习与治理评审中,需要判断指标是否可行动、是否可被博弈、阈值是否事后选择、护栏是否缺失、平均值是否掩盖子群体伤害等。

限制:资料未提供具体收费、价格、平台支持范围或效果保证;使用前可参考 references/playbook.md、references/acceptance-tests.md、references/agent-portability.md、references/quality-rubric.md,并可用 scripts/quick_validate_skill.py . --strict 在发布或安装前校验。