SuperAPI AI 工具集

tilegym-monkey-patch-kernels-to-transformers

智能体与模型

查看项目

更新于 10-16 04:34

技能介绍

用途:把 TileGym 项目中的高性能 cuTile 内核集成到 Hugging Face transformers 提供的 LLM 模型,验证端到端功能正确性与性能提升,并持续扩展内核覆盖。

主要能力:不修改 transformers 源码,采用非侵入式 monkey-patch,替换目标模型的关键模块/类/方法,使模型实例化时核心组件由 TileGym 实现替代,运行时底层调用 TileGym 内核。同时采用自动研究式 agent 循环,为未覆盖的 PyTorch 代码创建并集成新的 cuTile 内核。

使用方式:人类读者可用技能名与目标模型 ID 提示 AI Agent,例如:Hi, please /monkey-patch-kernels-to-transformers Qwen/Qwen3.5-0.8B。Agent 可能追问,需澄清并确认后执行。工作流为:先按 environment-setup.md 准备实验环境;再按 kernel-integration.md 集成已有内核;然后按 auto-kernelize.md 自动为未覆盖代码创建新 cuTile 内核;内核可带约束,直至满足循环停止条件;最后总结报告。

适用场景:面向 LLM 训练与推理的内核性能验证与集成,适合需要评估 TileGym 内核端到端收益的开发者。

限制:可复用 transformers 局部内核需按 FlashInfer-Bench 风格 Definition 与 Solution 元数据表示,研究与盘点时遵循 kernel-inventory-schema.md;具体环境依赖、支持模型范围与性能数据暂未提供。