用途:从 InferenceX API 抓取实时基准数据,生成 LLM 推理性能日报并通过邮件发送,便于跟踪不同硬件平台上的推理表现。
主要能力:输出每日基准数据摘要、硬件-模型-框架性能矩阵、ISL=8192/OSL=1024(RAG 典型场景)的 8k1k 详细分析,以及数据变化检测(新组合、性能变化超过 5% 阈值)。支持模型包括 DeepSeek-R1-0528、gpt-oss-120b、Llama-3.3-70B-Instruct-FP8、Qwen-3.5-397B-A17B、Kimi-K2.5、MiniMax-M2.5、GLM-5、DeepSeek-V4-Pro;硬件覆盖 NVIDIA B200/B300/GB200/GB300/H100/H200 与 AMD MI300X/MI325X/MI355X;框架含 vLLM、SGLang、TensorRT-LLM、Dynamo 系列、Atom、Mori-SGLang。
使用方式:运行 python3 scripts/inferencex_api_report.py 生成报告。可直接调用 API,例如 curl -s "https://inferencex.semianalysis.com/api/v1/benchmarks?model=DeepSeek-R1-0528" | gunzip。邮件配置在脚本中设置 SMTP_SERVER、SMTP_PORT、SENDER_EMAIL、SENDER_PASSWORD(需授权码而非登录密码)和 RECIPIENT_EMAIL;可选 crontab 定时任务,如 0 9 * * * cd /path/to/skill && python3 scripts/inferencex_api_report.py。输出文件位于 data/inferencex/,包含 CSV、JSON 和 HTML 邮件备份。
适用场景:需要持续监控 LLM 推理性能、对比 NVIDIA 与 AMD 硬件、评估不同模型与框架组合的场景。
限制:依赖 Python 3.8+ 与 requests 库;数据来自外部 API,更新频率为实时,具体可用性或准确性暂未提供;邮件发送需配置有效 SMTP 凭据。