SuperAPI AI 工具集

evaluation-reality-check

数据与分析

查看项目

更新于 10-15 21:38

技能介绍

用途:把含糊的评估请求转化为明确的“评估现实检验”决策,使评估模拟未来的决策场景,而不是只产出一个排行榜分数。

主要能力:先复述该技能所支持的决策;检查本地产物(数据抽取、schema、notebook、SQL、流水线配置、模型报告、工单与既往决策);区分机械性检查与专家判断;把发现分类为 stop、fix-first、monitor、accepted risk 或 owner decision;保留原始证据,不静默改动数据、notebook、模型产物或生产配置;产出可交付给数据科学家、ML 工程师、治理评审者或干系人的决策文件。

使用方式:需提供任务类型、数据生成过程、部署用途、目标与特征、指标、风险等级等输入;缺失时先检查工作区文件,只询问无法从工作区恢复且会改变建议的信息。工作流为:判断问题属于表格、时间序列、NLP、CV、排序、推荐还是异常检测;选择时间、分组、分层、滚动、外部验证或基准留出等切分策略;检查泄漏、标签延迟、分布漂移、不确定性与子群覆盖;定义置信区间、校准、阈值测试与失败切片;返回评估协议与最小上线证据。输出契约包含 Problem、Inputs、Checks performed、Findings、Decision、Risks、Next actions、Artifacts。

适用场景:数据科学或机器学习任务的评估方案设计与评审,尤其是部署环境与离线基准不一致、需要判断上线证据是否充分时。

限制与风险提示:随机切分用于时间部署、测试集被重复用于调参、缺乏外部验证、单一聚合指标、忽略标签延迟均属红旗,需在风险中提出并可能改变建议或降低置信度;缺失信息须标注为 unknown、not provided 或 owner decision,不得编造。其他具体计费、平台支持等事实暂未提供。