用途：DeepEval 是面向 LLM 应用的 pytest 评估框架，用于对 RAG 管线、对话式 AI、智能体及安全性进行可自动化测试。项目仓库为 https://github.com/confident-ai/deepeval，文档为 https://deepeval.com。
主要能力：提供 50+ 评估指标。RAG 检索阶段含 ContextualPrecisionMetric、ContextualRecallMetric、ContextualRelevancyMetric；生成阶段含 AnswerRelevancyMetric、FaithfulnessMetric。对话指标含 RoleAdherenceMetric、KnowledgeRetentionMetric、ConversationCompletenessMetric、TurnRelevancyMetric、TopicAdherenceMetric。智能体指标含 TaskCompletionMetric、ToolUseMetric、ArgumentCorrectnessMetric、MCPUseMetric。安全指标含 ToxicityMetric、BiasMetric、HallucinationMetric、PIILeakageMetric。支持 GEval 自定义 LLM 评估及 BaseMetric 子类。支持 @observe 组件级追踪、多轮与多模态测试用例、数据集加载与合成生成、异步与缓存、CI/CD 集成。
使用方式：安装 pip install -U deepeval，需 Python 3.9+。基本用法是构造 LLMTestCase 并用 assert_test 或 evaluate 运行，命令行执行 deepeval test run test_chatbot.py。.env.local 与 .env 会被自动加载。支持 OpenAI、Anthropic、Gemini、Bedrock 及通过 LiteLLM 接入的 100+ 提供商，可用 deepeval set-azure-openai、deepeval set-ollama 配置，也可用 AnthropicModel、OllamaModel 按指标指定模型。异步默认开启，可通过 AsyncConfig、CacheConfig 调整并发与缓存，CLI 支持 deepeval test run -n 4 -c -i。数据集可从 CSV/JSON 加载或由 Synthesizer 生成。
适用场景：RAG 与对话系统回归测试、智能体工具调用正确性验证、安全内容门槛、CI 中的 LLM 测试流水线。
限制：资料未提供具体收费、价格与效果数据。建议每用例最多 5 个指标，阈值生产环境 0.7–0.8、开发 0.5–0.6，遇速率限制可降低 max_concurrent。