SuperAPI AI 工具集

huggingface-community-evals

编程与开发

查看项目

更新于 10-16 03:05

技能介绍

用途:在本地硬件上对 Hugging Face Hub 上的模型运行评测,支持 inspect-ai 与 lighteval 两种框架的本地推理,并帮助选择推理后端。适用场景包括后端选择、本地 GPU 评测以及决定使用哪个评测脚本。

主要能力:一是 inspect-ai 本地推理评测;二是 lighteval 本地推理评测;三是 vllm、Hugging Face Transformers 与 accelerate 之间的选择;四是冒烟测试、任务选择与后端回退策略。

不涵盖:Hugging Face Jobs 编排、model-card 或 model-index 编辑、README 表格提取、Artificial Analysis 导入、.eval_results 生成或发布、PR 创建或 community-evals 自动化。如要远程运行同一评测,应交接给 hugging-face-jobs 技能;如要把结果发布进 community evals 流程,应在生成评测运行后交接给 ~/code/community-evals。

使用方式:本地执行优先用 uv run;门控或私有模型需设置 HF_TOKEN;本地 GPU 运行前先验证环境:uv --version、printenv HF_TOKEN >/dev/null、nvidia-smi。若无 nvidia-smi,可改用 scripts/inspect_eval_uv.py 做较轻量的提供商后端评测,或改用远程计算。核心流程为先选评测框架(需要显式任务控制用 inspect-ai,基准可自然表达为 lighteval 任务字符串尤其排行榜类任务时用 lighteval),再选推理后端(支持的架构优先 vllm,兼容回退用 --backend hf 或 accelerate),然后先做冒烟测试(inspect-ai 加 --limit 10,lighteval 加 --max-samples 10),通过后再扩大规模。

脚本对应:通过推理提供商对 Hub 模型做本地 inspect-ai 评测用 scripts/inspect_eval_uv.py;用 vllm 或 Transformers 做本地 GPU inspect-ai 评测用 scripts/inspect_vllm_uv.py;用 vllm 或 accelerate 做本地 GPU lighteval 评测用 scripts/lighteval_vllm_uv.py;更多命令模式见 examples/USAGE_EXAMPLES.md。示例:uv run scripts/inspect_eval_uv.py --model meta-llama/Llama-3.2-1B --task mmlu --limit 20。

任务选择:inspect-ai 可选 mmlu、gsm8k、hellaswag、arc_challenge、truthfulqa、winogrande、humaneval 等;lighteval 任务字符串格式为 suite|task|num_fewshot,如 leaderboard|mmlu|5,多个任务可用逗号分隔。

硬件参考:小于 3B 可用消费级 GPU 或 Apple Silicon;3B 到 13B 需要更强的本地 GPU;13B 以上需要高显存本地 GPU 或交接给 hugging-face-jobs。

限制与排错:CUDA 或 vLLM 显存不足时可降低 --batch-size、降低 --gpu-memory-utilization、换更小的模型做冒烟测试,必要时交接远程;vllm 不支持时切换回退后端;门控或私有仓库访问失败需检查 HF_TOKEN;需要自定义模型代码时加 --trust-remote-code。本技能有意止步于本地执行与后端选择。