用途：帮助用户为 LLM 流水线构建、审计和改进评估系统，并针对应用运行评估，返回带分数的实验。
主要能力与工作流：
- 错误分析：阅读约 100 条 trace，归类失败并计算失败率，作为评估基础。
- 生成合成数据：真实 trace 稀疏时，用基于维度的元组生成多样化测试输入。
- 构建测试套件：测试套件是 Opik 中测试智能体的主要方式，结合测试项、由 LLM 评判器检查的字符串断言，以及多轮可靠性执行策略，支持 Python 与 TypeScript SDK。
- 编写评判提示：对需要解释的失败，设计二值 Pass/Fail 的 LLM-as-Judge 评估器，每个评判器只针对一个失败模式。
- 验证评估器：用 train/dev/test 划分对照人工标签校准，测量 TPR/TNR 并做偏差校正。
- RAG 评估：分离检索与生成评估，使用 ContextRecall、ContextPrecision、Faithfulness 指标。
必要用法：Python 中通过 opik.Opik() 创建客户端，用 get_or_create_test_suite 创建套件，insert 插入测试项，opik.run_tests 运行并检查 results.all_items_passed。TypeScript 使用 Opik 与 runTests，检查 results.allItemsPassed。关键概念包括 global_assertions/globalAssertions、逐项 assertions、execution_policy/executionPolicy（runs_per_item/runsPerItem、pass_threshold/passThreshold）。测试套件在 UI 侧边栏的 Test Suites 下显示。
原则：先错误分析再建评估器；用测试套件做回归；只用二值 Pass/Fail；优先代码检查（Equals、Contains、RegexMatch、IsJson、JsonSchemaMatch）再用 LLM 评判器；评判器须对照人工标签验证；始终传 project_name，数据集、提示和实验均按项目隔离，且需与 @track 追踪配置一致。
可用参考：eval-audit、error-analysis、generate-synthetic-data、write-judge-prompt、validate-evaluator、evaluate-rag。
限制：资料未提供具体收费、价格、平台支持范围或效果保证。