用途：在本地硬件上对 Hugging Face Hub 上的模型运行评测，覆盖 inspect-ai 与 lighteval 的本地推理、vllm/Transformers/accelerate 后端选择、冒烟测试、任务选择与后端回退策略。不覆盖 Hugging Face Jobs 编排、模型卡或 model-index 编辑、README 表格提取、Artificial Analysis 导入、.eval_results 生成或发布、PR 创建或 community-evals 自动化。
主要能力与脚本：本地 inspect-ai 经推理提供方评测用 scripts/inspect_eval_uv.py；本地 GPU 用 inspect-ai 配 vllm 或 Transformers 用 scripts/inspect_vllm_uv.py；本地 GPU 用 lighteval 配 vllm 或 accelerate 用 scripts/lighteval_vllm_uv.py；更多命令模式见 examples/USAGE_EXAMPLES.md。
使用方式：优先用 uv run 本地执行，设置 HF_TOKEN 访问受限或私有模型，本地 GPU 运行前用 uv --version、printenv HF_TOKEN >/dev/null、nvidia-smi 验证。流程为先选框架（需显式任务控制用 inspect-ai，排行榜式任务用 lighteval），再选后端（支持架构优先 vllm，否则回退 --backend hf 或 --backend accelerate），先冒烟测试（inspect-ai 加 --limit 10，lighteval 加 --max-samples 10）再扩大规模。示例：uv run scripts/inspect_eval_uv.py --model meta-llama/Llama-3.2-1B --task mmlu --limit 20；uv run scripts/inspect_vllm_uv.py --model microsoft/phi-2 --task mmlu --backend hf --trust-remote-code --limit 20；uv run scripts/lighteval_vllm_uv.py --model meta-llama/Llama-3.2-3B-Instruct --tasks "leaderboard|mmlu|5,leaderboard|gsm8k|5" --max-samples 20 --use-chat-template。
适用场景与限制：适合本地 GPU 评测、后端选择与冒烟测试；13B 以上建议高显存本地 GPU 或转交 hugging-face-jobs。CUDA/vLLM OOM 可降低 --batch-size 或 --gpu-memory-utilization，或换更小模型；vllm 不支持时切换后端；受限仓库需确认 HF_TOKEN；自定义模型代码需加 --trust-remote-code。远程执行、远程硬件选择、密钥传递、定时运行、任务监控等需转交 hugging-face-jobs；结果发布转交 ~/code/community-evals。该技能可在 GitHub Copilot、Claude Code、Codex 间移植，Codex 需同步到 $CODEX_HOME/skills/huggingface-community-evals 并重启。无需 MCP 服务器。