SuperAPI AI 工具集

external-mindstudio-msmodelslim-model-analysis

智能体与模型

查看项目

更新于 10-15 17:19

技能介绍

用途:在实现适配器前对候选模型做适配可行性分析,确定实现来源、结构特征、逐层加载需求与 MoE 融合权重风险。

适用范围:支持 Decoder-only LLM 及 VLM 文本主干分析(仅 LLM/文本路径);不支持既非 transformers 也非模型目录内 modeling_*.py 的实现,以及多模态生成模型(图像/视频/语音生成)。

必需输入:模型路径或仓库标识、config.json;可选 modeling_.py、model.safetensors.index.json。若本地缺文件,先补齐:modelscope download --model <org>/<model> --local_dir ./models/<name> --exclude '.safetensors',再读取 config.json 与 modeling_*.py。

硬门禁:先解析实现来源。读取 config.json 的 model_type 与 auto_map,检查 transformers 是否支持该 model_type 及对应 modeling 文件;否则检查模型目录内 auto_map 指向文件或 modeling_*.py;两者均不可用时停止分析并要求用户提供实现代码。

工作流:解析来源后判断模型类型(纯 LLM/多模态理解/多模态生成)、记录相对常见 Qwen2 的特殊结构(MoE、非标准 attention、SSM/混合块、额外头部或并行分支)及其连接关系;识别 decoder 层类、attention/MLP 命名、forward 签名;评估层遍历路径与顺序、是否需逐层加载、MoE 融合专家权重风险、量化模型反量化脚本风险、MTP 结构可得性与权重风险;输出结构化 Markdown 分析报告并说明后续动作(进入 model-adapt-core 或阻塞)。

MoE 判定:专家按模块/列表展开为非融合;权重以 [..., num_experts, ...] 或 [num_experts, ...] 打包为融合,含 3D 专家权重统一归为融合并标注可能需要 unpack。

报告要素:模型标识、实现来源解析、模型特征与规格、模型类型/结构差异/连接关系、逐层加载评估、MoE 评估、适配影响要点、量化与 MTP 风险评估、风险与后续动作。

风险要求:模型已量化时必须将缺少反量化脚本标为阻塞项并要求用户提供;无法获取 MTP 实现代码时须告知可能无法完整适配、需用户自行复制相关权重;命中任一风险等级不得低于中。

通过标准:来源为 transformers 或 model-local,类型为纯 LLM 或多模态理解模型且报告完整,命中量化/MTP 风险时已给出用户动作要求。失败:来源未解析、不支持的实现类型、多模态生成模型,或量化但无反量化脚本。