用途:围绕 Kaggle Benchmark 任务的全流程操作。通过 kaggle CLI(kaggle b)与 kaggle-benchmarks Python SDK 创建、推送、运行、发布和管理任务,官方资源见 github.com/Kaggle/kaggle-benchmarks 与 kaggle-cli 的 benchmarks 文档。
主要能力:init 获取 Model Proxy 凭证并生成 .env、示例任务与参考文件;auth 仅刷新凭证;tasks 子命令支持 push(上传 .py 任务)、run(对指定模型执行)、list、status、download、log、publish、models、delete。任务文件需 import kaggle_benchmarks as kbench,用 @kbench.task 装饰至少一个函数,并调用 task_fn.run(kbench.llm) 或 .evaluate(...),采用 jupytext 的 # %% 单元标记。SDK 支持断言、run.passed/run.result、reasoning 与 temperature、图片/视频/音频多模态输入、ChatRoom 多智能体、自定义断言等。
使用方式:先 kaggle b init -y 完成环境初始化,再编写任务文件,用 python task.py 本地验证并确认生成 *.run.json,然后 kaggle b t push my-task -f task.py --wait,接着 kaggle b t run my-task -m <模型> --wait,用 status 查看状态,download 下载结果,log 查看日志,publish 发布。多值参数需重复传参(如 -m a -m b)。
适用场景:需要以任务形式评测大模型能力的场景,例如数值推理、指令遵循、多模态理解与多智能体交互测试。
限制:CLI 只管任务,管理 benchmark 集合需在 Kaggle 网页端进行;delete 服务端暂不支持;MODEL_PROXY_API_KEY 有效期短需刷新;未调用 .run() 会静默无结果;重新 push 未带 -d 会静默解除已挂载数据集;视频输入仅支持 YouTube 且限特定 Gemini 模型;log 为顺序而非并发输出。以上收费、价格等信息暂未提供。