SuperAPI AI 工具集

evaluation-suites

编程与开发

查看项目

更新于 10-15 20:14

技能介绍

用途:Opik Evaluation Suites 提供结构化测试能力,通过断言(assertions)与执行策略(execution policies)对模型或智能体输出进行评估,并替代旧版 Datasets API。

主要能力:支持套件级断言与条目级断言,条目级断言为叠加式;可设置执行策略,如 runs_per_item 与 pass_threshold;支持指定模型作为 LLM judge;运行结果提供 all_passed 属性,可用于 CI 门禁。

使用方式:通过 Opik 客户端调用 get_or_create_evaluation_suite() 创建或获取套件,传入 name、assertions 与 execution_policy;使用 add_item() 添加数据条目,条目可附带额外断言;调用 suite.run() 执行,传入 task 与 model。注意应使用 get_or_create_evaluation_suite(),而非 get_or_create_dataset()。套件会显示在 UI 侧边栏的 “Evaluation Suites” 下。

适用场景:需要对 LLM 或智能体输出进行可重复、可门禁的结构化评估,并集成到 CI 流程中。

限制:资料未提供收费、价格、平台支持范围及具体效果数据,暂未提供。