用途：运行 AgentX 智能体服务基准测试，基于 SemiAnalysis harness，用于 AgentX 环境搭建、数据集下载、并发扫描以及服务延迟与吞吐评估。
主要能力：解析端点 URL、服务模型名、匹配的分词器和目标并发；支持前缀缓存、流式用量和缓存 token 报告；可下载并缓存轨迹与提示重建资源；支持按并发逐步扫描并对比结果。
使用方式：需在独立客户端环境中安装 AgentX 分支（安装上游 aiperf 不够）： export AGENTX_WORKDIR="${AGENTX_WORKDIR:-$PWD/agentx-work}" python3.12 -m venv "$AGENTX_WORKDIR/venv" source "$AGENTX_WORKDIR/venv/bin/activate" python -m pip install 'aiperf @ git+https://github.com/SemiAnalysisAI/agentx-harness.git@56a0cf70f4c0359454ee4bd15a17770b541a3e3e'
将 AGENTX_DATASET 设为固定版本教程中可接受的日期固定 with-subagents 别名，并记录实际数据集版本。vLLM 可使用 --enable-prefix-caching --enable-prompt-tokens-details。并发扫描应逐步增加直至 KV 缓存接近容量，再在该点附近细化；模型、硬件或缓存预算变化时需重新扫描。
运行示例：
source "${AGENTX_WORKDIR:?}/venv/bin/activate"
export HF_HOME="${HF_HOME:-$AGENTX_WORKDIR/hf-cache}"
export AIPERF_DATASET_MMAP_CACHE_DIR="$AGENTX_WORKDIR/dataset-cache"
mkdir -p "$AGENTX_WORKDIR/results"
AGENTX_RUN_DIR=$(mktemp -d "$AGENTX_WORKDIR/results/run-XXXXXX")
python -m pip freeze > "$AGENTX_RUN_DIR/client-packages.txt"
aiperf profile
--scenario inferencex-agentx-mvp
--url "${AGENTX_URL:?}" --model "${AGENTX_MODEL:?}"
--tokenizer "${AGENTX_TOKENIZER:?}" --endpoint-type chat
--public-dataset "${AGENTX_DATASET:?}"
--max-context-length "${AGENTX_MAX_CONTEXT_LENGTH:?}"
--concurrency "${AGENTX_CONCURRENCY:?}"
--random-seed "${AGENTX_SEED:?}"
--streaming --use-server-token-count --extra-inputs ignore_eos:true
--artifact-dir "$AGENTX_RUN_DIR" --ui simple
2>&1 | tee "$AGENTX_RUN_DIR/client.log"
限制：并发数按会话树计数，需单独报告实际重叠 HTTP 请求；比较 KV 格式时保持 KV 缓存字节固定，并保持数据集、种子、上下文过滤和预热一致，每个点启动全新服务；缺失用量意味着缓存命中未知；报告 metadata.submission_valid 及无效原因；合成提示测的是服务性能而非模型质量，缩短的冒烟运行不构成基准结果。