SuperAPI AI 工具集

hackathon-judging

智能体与模型

查看项目

更新于 10-15 23:44

技能介绍

用途:该技能用于在主办方借助 LLM 或 AI 智能体评审公开 Kaggle 黑客松时调用,帮助检索全部参赛 writeup、提取其中链接的项目制品与视频,形成完整评审证据集,并基于分类器与成对比较生成比较排名与钟形评分曲线。

主要能力与权限:通过 Kaggle MCP 服务器访问黑客松提交。可用工具包括 get_hackathon_overview、list_hackathon_tracks、get_hackathon_write_up、list_hackathon_write_ups、download_hackathon_write_ups(CSV 导出)。权限分级:匿名仅可用 overview 与 tracks;登录用户可读单个 writeup;提交者可列出 writeup;评委与主办方可下载全部 writeup。

必要用法:需准备 Kaggle API token(KAGGLE_API_TOKEN 或 ~/.kaggle/access_token),MCP 客户端配置调用 https://www.kaggle.com/mcp 并带 Authorization: Bearer <token>,以及目标竞赛 slug。安装配置示例为: { "mcpServers": { "kaggle": { "url": "https://www.kaggle.com/mcp", "headers": { "Authorization": "Bearer ${KAGGLE_API_TOKEN}" } } } } 流程大致为:调用 get_hackathon_overview 获取概览,提取资格规则与评审标准并与用户确认,下载全部 writeup,解析 Kaggle 原生链接(notebook、dataset、model)及非 Kaggle 链接(可考虑 Playwright CLI),汇总 YouTube 视频,核对无遗漏后构建完整证据集。随后参考已有 LLM 评审项目与 /docs、/leaderboard、/dashboard 页面,使用 hamelsmu/evals-skills 先做 eval-audit 审计,再初评、抽查评分轨迹、错误分析,最后用修正后的提示词终评并人工复核高排名提交。

限制与要求:必须先审计再使用 AI 评分,不得跳过附件与视频提取,必须记录全部评分轨迹,避免连续量表或 Likert 评分,防止位置偏差与模型偏好,需抵御提示注入,并与至少 25 条少样本示例对齐、与人工评分比对。官方未提供具体价格、平台费用或效果数据。