LangWatch 是一个面向 AI 智能体的测试与评估平台，定位是把不可预测的智能体转变为可靠的生产系统，核心能力包括模拟（simulations）、评估（evals）、可观测性（observability）和治理（governance）。
用途
AI 智能体的测试目前仍多依赖人工，导致在生产环境中频繁出问题。一个智能体可能通过上百条路径达成同一目标，手工测试只能覆盖其中少数几条。LangWatch 引入“循环工程”（loop engineering），让团队以基于模拟的持续测试与评估替代手工抽样，从而让可靠性随着每一次发布逐步提升。它面向正在把 AI 送入关键生产环境的 CTO、工程师、AI 架构师和产品负责人。
主要能力
- 规格驱动的智能体构建：将需求自动转化为智能体测试，加速开发并建立自我改进的智能体循环。
- 从生产复现问题：把一条生产 trace 转成模拟，以证明修复有效。
- 模拟真实用户：模拟用户以文本和语音与智能体逐轮对话，像真实世界那样施压；可结合对抗性模拟探查越狱、策略违规和不安全的工具调用。
- 场景编写：在 Claude Code 中用自然语言描述想测试的行为，由 Scenario 写出测试；同一套场景既可在本地开发时运行，也可在每个拉取请求中运行，无需另行配置。
- 评估：评估器像人一样阅读完整 trace 并逐步展开，给出附带推理的结论；支持对单个输出到整段对话进行评分，可用 LLM、自定义代码或完整工作流；支持在 Jupyter notebook 中实验时运行评估，也可在 UI 中供整个团队使用；支持生产流量的在线评估、捕获任意信号并转化为洞察；支持两个输出并排比较以选择更优模型、提示词或版本；也支持图像和混合媒体评估。
- 工具与集成：每次工具调用、技能和 MCP 服务器都会被追踪，并可 mock 或 fixture 以实现确定性运行；支持通过 API 进行白盒测试或接入内部实现的黑盒测试，兼容所有智能体框架，无需重写。
- 可观测性：原生支持 OpenTelemetry GenAI 规范，trace 可适用于任何框架和 OTel 兼容栈；提供 Cmd+K 快速跳转任意 trace、筛选或视图；追踪 Claude Code、Codex、opencode 等每个智能体的 token、成本和缓存；支持保存自定义视图、自然语言搜索和跨数百万 trace 的智能筛选；提供瀑布图、火焰图、拓扑图和序列图等多种视图；自动按主题和子主题对每段对话聚类；可基于任意指标构建自定义分析图表。
- AI 辅助：Langy 可把产品经理的目标转成完整的 Scenario 测试计划，并把失败转化为拉取请求，让 PM 负责规格、开发者保持心流。
使用方式
LangWatch 部署在数据所在位置，控制访问权限，并提供安全审查所需的认证。部署选项包括：云（托管多租户 SaaS，覆盖 EU/US/UK/APAC）、自托管（Docker、Kubernetes/Helm 或自有 VPC）、混合（数据平面在自有基础设施，控制平面由 LangWatch 托管）。企业安全控制包括 RBAC 与 REST API、成本中心归属、审计日志转 SIEM、自定义保留策略，并通过 ISO 27001 认证、支持欧盟数据驻留、由 Vanta 监控。平台提供 30 分钟解决方案工程师对接，帮助在用户栈上端到端上线 LangWatch。
适用场景
适用于需要对 AI 智能体进行持续测试与评估的团队，尤其是智能体逻辑复杂、路径众多、在生产环境中需要高可靠性的场景，例如需要模拟用户对话、对抗性安全测试、在线评估生产流量、跨框架可观测性以及满足企业采购与合规要求的组织。
限制
资料未提供具体收费方式与价格信息；未提供免费试用或版本分级细节；未提供可用的 SDK 语言列表与代码示例；未提供具体支持的框架清单、性能指标或落地案例数据。以上内容暂未提供。
