SuperAPI AI 工具集

phoenix-evals

智能体与模型

查看项目

更新于 10-15 17:18

技能介绍

用途:为 AI/LLM 应用构建评估器(evaluators),支持从错误分析出发,用代码评估确定性逻辑、用 LLM 评估细微质量,并用人工标签验证评估器准确性。

主要能力:提供预置评估器与自定义评估器,涵盖代码评估、LLM 评估、RAG 评估;支持选择裁判模型、批量评估 DataFrame、运行实验、创建数据集、生成合成数据、导出 span、编写 span 过滤器(SpanQuery().where)、采样 trace 供审查、错误分析与多轮错误分析、轴向编码、常见错误与反模式、生产环境概览、护栏与持续评估。

使用方式:按工作流组织,如“从零开始”:observe-tracing-setup → error-analysis → axial-coding → evaluators-overview;构建评估器:fundamentals → common-mistakes-python → evaluators-{code|llm}-{python|typescript} → validation-evaluators-{python|typescript};RAG:evaluators-rag → evaluators-code-(检索)→ evaluators-llm-(忠实度);CI 门禁:evaluators-{code|llm}-{python|typescript} → integrations-{pytest|vitest-jest} → production-continuous;生产:production-overview → production-guardrails → production-continuous。可在 pytest、Vitest、Jest 等测试运行器中运行评估作为 CI 门禁。

适用场景:AI/LLM 应用的离线评估、数据集与实验管理、RAG 系统评估、CI 质量门禁、生产监控与护栏。

限制与原则:先做错误分析,未观察到的失败无法自动化;自定义评估器优先于通用评估器;代码优先、确定性优先于 LLM;评估器需用人工标签验证,建议 >80% TPR/TNR;采用二值(通过/失败)而非 Likert 1-5;硬性不变量用 assert/expect 使 CI 变红,LLM 裁判质量信号记录并对聚合结果设门禁,而非逐例门禁。具体安装命令、平台与收费信息暂未提供。