用途：SkillCraft 是面向 LLM 智能体的工具组合基准，评估其能否抽象并复用工具组合（Skills）。触发词包括 SkillCraft、skill discovery、tool composition、agent skills、skill caching、LLM benchmark、技能发现、工具组合。核心命题：传统基准测试“智能体能否调用正确工具”，SkillCraft 测试“能否抽象并复用工具组合”，即从工具使用到工具掌握的差别。
主要能力与发现：设置量化扩展（增加实体/条目数量）与结构扩展（把子任务组合成更长、更复杂的工具链）两个难度维度。资料称技能缓存最多可减少 80% token；成功率与工具组合能力相关；并用于长周期工作流中重复模式的真实压力测试。架构上从“工具→LLM→结果”转向“工具→LLM→技能抽象→技能缓存→复用”。
使用方式：需 Linux（推荐）、Python 3.10+、uv 包管理器、Node.js 22+ 与 npx、OpenRouter/Toolathlon API endpoint。安装与运行：git clone https://github.com/shiqichen17/SkillCraft；cd SkillCraft；uv sync；配置 .env 中的 TOOLATHLON_OPENAI_API_KEY、TOOLATHLON_OPENAI_BASE_URL=https://openrouter.ai/api/v1、TOOLATHLON_MODEL=deepseek-v3.2-exp、TOOLATHLON_PROVIDER=openrouter。完整评测：uv run python test_all_tasks.py --scaled-tasks --mode base,skill --model deepseek-v3.2-exp --provider openrouter。单任务：bash run.sh scaled_tasks/cat-facts-collector/e1 base --model deepseek-v3.2-exp --provider openrouter（skill 模式同理）。
适用场景：代码智能体技能（read→analyze→edit→test→commit）、数据分析技能（load→clean→analyze→visualize→report）、研究技能（search→filter→summarize→compare）等。内置 scaled tasks 含 gitlab-deep-analysis、countries-encyclopedia、tvmaze-series-analyzer、pokeapi-pokedex、cat-facts-collector 等。
输出与认知映射：每次运行生成 test_runs/run_YYYYMMDD_HHMMSS/，内含 run_info.json、test_results_<provider><model>.json、summary<provider>_<model>.json、dumps_base_test/、dumps_skill_test/。认知层级中，知识、理解未测试；应用、分析为前提；综合为核心测试；评估为隐含。
限制：当前 Agent Skills 依赖人工预定义（SKILL.md），无法自动发现技能模式，缺乏跨任务复用机制；未来方向包括轨迹模式挖掘、工具组合抽象与自动优化，指标含 token_savings、success_rate、transferability。更多未在资料中说明的细节暂未提供。