SuperAPI AI 工具集

hugging-face-evaluation

通用与其它

查看项目

更新于 10-16 02:30

技能介绍

用途:为 Hugging Face 模型卡添加结构化评测结果,并生成可用于排行榜的 model-index 元数据。

主要能力:从 README 内容中提取已有评测表格;从 Artificial Analysis 导入基准分数;使用 vLLM 或 accelerate 后端(lighteval/inspect-ai)运行自定义模型评测。

使用方式:执行前需先阅读详细指南,其中保留完整流程与参考资料,其安全、前置条件和验证要求视为强制。可按需加载相关章节,端到端任务则需完整阅读。

适用场景:需要为模型卡补充结构化评测数据、导入基准数据或运行自定义评测、为模型发布准备排行榜兼容元数据时使用。

限制:仅在任务明确符合上述范围时使用;输出不能替代针对具体环境的验证、测试或专家评审;若缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。具体命令、安装步骤与配置细节暂未提供。