SuperAPI AI 工具集

datahub-evals

数据与分析

查看项目

更新于 10-15 20:33

技能介绍

用途:运行 DataHub 保存的评测并上报答案,由 DataHub 官方评判。该技能本身充当运行者,没有脚本:先获取评测,再在全新智能体中逐条作答,最后上报答案。所有对 DataHub 的调用都是 CLI 的一个 evals 子命令,查询与载荷都在 CLI 内。

主要能力与用法:使用 acryl-datahub-cloud evals。可用 acryl-datahub-cloud evals --agent-context 查看 CLI 自带命令指南。注意 datahub evals 这一形式并未接入已发布版本的 datahub CLI,会报 No such command 'evals',本技能不使用它。

前置条件:CLI 已安装(acryl-datahub-cloud evals --help 可验证);若不可用,需安装带 evals extra 的 cloud CLI,并为其单独建环境:python3 -m venv .venv && source .venv/bin/activate,然后 pip install 'acryl-datahub-cloud[datahub-evals]==2.1.4rc1'。需固定带命令的版本,最新稳定版 2.1.3 不含该 extra 与 cli 模块;extra 要加引号(zsh 中未加引号的 [...] 是通配符)。CLI 需能连到 DataHub,可用 acryl-datahub-cloud evals list --limit 1 验证,以退出码判断成功,stderr 警告不算失败。作答智能体需具备 SQL workflow 技能(装在用户级或插件级,不能是项目级),并需能访问 DataHub MCP 服务器,且指向与结果上报相同的实例、未被禁用。

运行与上报:用 evals list 和 evals get 获取评测;EXTERNAL 路径由你产出答案并上报,NATIVE 评测由 DataHub 自身运行(evals run <urn>...)。每条评测在全新智能体中作答,一次评测一个上下文。上报用 evals report,答案经 stdin 传入(--answer -),不要传 --type 或任何裁决字段,否则不会走 DataHub 的评判。--run-id 是唯一把裁决关联回运行的键。若 report_not_persisted,先用 evals history 检查 runId 是否已存在,存在即上报成功;重试需用同一 run id(CLI 会去重)。

限制与注意:不得模拟评判,评判不可达时应说明并停止,不得自行打分或让子智能体代判。工具面应限定为 DataHub 服务器(--strict-mcp-config --mcp-config <config.json> --allowedTools mcp__<datahub-server>),并禁止作答智能体调用 note_metadata_observation(--disallowedTools 覆盖 --allowedTools)。注意 ASSET_REFERENCE 的引用陷阱:资产需以 markdown 链接形式指向 URN 才会被计入。结果中 ERROR 表示评判未打分,不应计入通过率。比较不同运行时需记录工具面与固定模型,否则比较不公平。其余细节资料未提供。