SuperAPI AI 工具集

training-mfu-calculator

智能体与模型

查看项目

更新于 10-15 17:19

技能介绍

用途:评估大模型训练的硬件利用率(MFU),在需要计算MFU、分析训练效率、对比硬件或配置、提及FLOPs/吞吐量时使用。

主要能力:支持Dense与MoE模型(如LLaMA、Qwen、Mixtral-8x7B及自定义模型);支持标准FFN、SwiGLU,标准多头注意力与GQA;提供预定义模型配置与自定义配置;输出FLOPs分析、MFU、单卡吞吐量、集群吞吐量及性能评估报告。

使用方式:导入MODEL_CONFIGS、MFUCalculator、TrainingConfig等,配置模型与训练参数(batch_size、micro_batch_size、num_gpus、seq_length、step_time、hardware_peak_flops、hardware_name)后调用calculate_mfu或generate_report;也可用cal_flops_simple与cal_mfu_simple从config.json参数直接计算。默认硬件峰值按Ascend910B2=353 TFLOPS。

数据来源:模型参数从HuggingFace config.json读取,训练参数从启动脚本(torchrun、accelerate)读取,step_time由用户提供或从训练日志提取,硬件信息来自npu-smi/nvidia-smi或环境变量。

限制:MFU准确性依赖step_time与硬件峰值等输入;MoE仅计算激活专家;文档未提供安装方式、收费与价格信息,暂未提供。