SuperAPI AI 工具集

huawei-cloud-msmodelslim-model-analysis

编程与开发

查看项目

更新于 10-15 22:14

技能介绍

用途:在 msModelSlim(华为云模型量化框架)适配器开发前,对候选模型做可行性分析,判断能否量化、是否兼容 MoE、是否存在适配风险。

主要能力:按“实现来源检测→模型类型分类→结构特征分析→风险评估”流程工作。先解析 config.json 的 model_type 与 auto_map,判断实现来自 transformers 库还是模型本地 modeling_*.py;再区分纯 LLM、多模态理解、多模态生成三类,对比常见 Qwen2 记录 MoE、非标准注意力、SSM/混合块等特殊结构及其连接方式;评估逐层加载需求、MoE 融合专家权重风险、量化模型反量化脚本风险、MTP 结构风险;最后生成 Markdown 分析报告,含模型识别、实现来源、规格、结构差异、MoE 评估、适配影响点、量化与 MTP 风险、风险等级与下一步建议。另含自动化兼容性检查器,可检测不支持的算子、自定义层、权重格式与特殊结构,给出兼容性评分。

使用方式:提供模型路径或仓库标识及 config.json,可选 modeling_.py、model.safetensors.index.json。本地缺文件时可下载非权重文件:modelscope download --model <org>/<model> --local_dir ./models/<name> --exclude '.safetensors'。前置要求 transformers >= 4.40.0。

适用场景:评估模型适配可行性、检查可否量化、评估 MoE 融合权重风险、分析模型结构。

限制:仅支持 decoder-only LLM 与 VLM 文本主干(仅文本路径);不支持非 transformers 实现和多模态生成模型。若判定模型已量化但缺反量化脚本,或 MTP 结构代码不可访问,会作为阻塞项,风险等级不低于 Medium,需用户提供相应脚本或自行复制 MTP 权重。实现来源无法解析时停止分析。