用途：在 Ascend NPU 上对 AI 模型进行精度与性能评测。精度评测覆盖服务化部署模型和本地模型，涵盖文本、多模态等 QA 与推理数据集；性能评测面向服务化模型，测量延迟与吞吐，支持压力测试、稳态性能评测和真实业务流量模拟。
主要能力：场景包括精度评测、性能评测、稳态性能、真实流量模拟、多轮对话和 BFCL 函数调用。内置基准：文本有 GSM8K、MMLU、Ceval、FewCLUE 系列、dapo_math、leval；多模态有 docvqa、infovqa、ocrbench_v2、omnidocbench、mmmu、mmmu_pro、mmstar、videomme、textvqa、videobench、vocalsound；多轮对话有 sharegpt、mtbench；函数调用有 BFCL。性能指标含 TTFT、TPOT、吞吐、延迟 P50/P90/P99。支持多模型、多数据集、并行执行、断点续跑、失败用例重跑和 pass@k 重复推理。
使用方式：需 Python 3.10/3.11/3.12，建议 conda 环境。源码安装：git clone https://github.com/AISBench/benchmark.git，cd benchmark/，pip3 install -e ./ --use-pep517，用 ais_bench -h 验证。按需安装 requirements/api.txt、extra.txt、hf_vl_dependency.txt、datasets/bfcl_dependencies.txt。基本命令：ais_bench --models <model_task> --datasets <dataset_task> [--summarizer example]。常用选项有 --search、--debug、--mode、--parallel、--resume、--failed-only。精度评测示例：ais_bench --models vllm_api_general_chat --datasets demo_gsm8k_gen_4_shot_cot_chat_prompt；性能评测示例：ais_bench --models vllm_api_general_chat --datasets custom_performance --mode performance --concurrency 100；稳态性能示例：ais_bench --models vllm_api_general_chat --datasets sharegpt --stable-stage --duration 300；真实流量模拟示例：ais_bench --models vllm_api_general_chat --datasets custom --rps-distribution rps_config.json。结果输出到 outputs/default/<时间戳>/，含 configs、logs、predictions、results、summary。提供 scripts/check_env.sh、run_accuracy_test.sh、run_performance_test.sh、parse_results.py 等辅助脚本，以及模型配置和数据集模板。
限制：仅支持 Python 3.10、3.11、3.12；部分依赖需按场景单独安装；模型连接失败需检查 host_ip、host_port 与服务状态；数据集需自行下载到 ais_bench/datasets/；内存问题可降低 batch_size 或换用更小数据集。具体收费与平台支持范围暂未提供。