BenchGen 是面向 AI 智能体的基准测试与评估基础设施。其核心思路是：在交互式模拟环境中测试智能体，捕获完整的决策轨迹，验证最终结果，并把每一次基准运行转化为训练数据。
主要用途与问题背景 BenchGen 指出智能体常在演示中表现良好，但在生产环境中失效。真实业务运营涉及复杂系统、不断变化的 API 与多步骤流程，智能体可能在无声中失败并造成成本损失。平台针对的问题包括：演示与生产之间的差距扩大；多数公司缺乏可靠衡量 AI 是否真正改善业务结果的方法；长任务中即使每步 1% 的错误率也可能在复杂工作流中级联，导致整个任务崩溃；随着智能体自主采取更多行动，组织难以监控、审计与治理其行为。
主要能力
- 在模拟世界中构建“数字孪生公司”，让智能体在其中练习、失败与学习，把评估变为训练。
- 运行统一环境的基准测试，并查看实时排名，了解各模型与智能体在平台上的具体得分。
- 创建隔离运行时，由云端或本地 GPU/CPU 服务器提供算力；将企业数据源（CRM、ERP、数据库、API）接入模拟，使模拟更贴近真实；支持云端或气隙环境部署。
- 捕获完整决策轨迹：智能体为完成任务所做的决策序列、调用了哪些工具、检索了哪些数据、中间步骤与最终结果，并对轨迹中的每一步进行评分。
- 将轨迹数据转化为训练数据集，用于监督微调（LoRA）、RLVR（GRPO）、Head 训练与蒸馏等持续改进流程，并提供奖励信号与失败模式记录。
- 提供基准报告，包含任务完成率、逐步准确率评分、失败模式及其在流程中出现的位置、不同模型版本或提示变体的对比结果，以及可供审计的每一步操作日志。
使用方式 平台提供“开始评估”入口，可在数分钟内运行首次智能体能力审计，发现失败模式、捕获轨迹并开启改进循环。用户可选择基准查看实时排名；可创建环境并连接企业数据源后运行。
适用场景与行业 BenchGen 面向 AI 失败不可接受的使命关键环境，覆盖国防与情报（机密网络与主权代码）、能源与公用事业（关键基础设施保护）、金融（知识产权敏感与严格监管）等行业。其旗舰用例是金融科技：银行数字孪生与面向 AI 智能体的模拟交易，智能体在完整银行模拟中自由操作、安全地犯下成千上万次错误，每一步都成为训练数据，涉及银行模拟、欺诈检测与交易执行。模拟域还包括科研理解、综合与扩展，跨多种工具、服务与框架的软件开发，跨关键行业与职能的人类工作镜像，以及定义智能的核心技能、针对核心模型技能的场景设计、大规模语义数据集的理解与推理、带上下文窗口与工具链的智能体记忆。
限制与暂未提供的信息 平台可部署于主权、本地与气隙基础设施，LLM 权重、评估数据与基准结果不离开受控环境；已部署于北约成员国国防组织与土耳其国家 GPU 基础设施。资料未提供具体的收费方式、价格、免费额度、支持的具体模型名单、安装命令或代码示例，这些内容暂未提供。
