用途:为 AI/LLM 应用构建并运行评估器与实验,覆盖从观测追踪、错误分析到验证、生产的完整流程。
主要能力与内容:涵盖 Python 与 TypeScript 的环境搭建、评估器概览、评判模型选择、预置评估器、代码评估器、LLM 评估器与自定义模板;支持对 DataFrame 批量评估、实验概览与运行、数据集创建、合成数据生成;提供评估器准确度验证、追踪采样复查、错误分析与多轮错误分析、轴心编码;并包含 RAG 评估和生产环境概览、护栏与持续评估。
工作流:全新项目按 observe-tracing-setup → error-analysis → axial-coding → evaluators-overview 推进;构建评估器走 fundamentals → common-mistakes-python → evaluators-{code|llm}-{python|typescript} → validation-evaluators-{python|typescript};RAG 系统用 evaluators-rag → 代码评估检索 → LLM 评估忠实度;生产用 production-overview → production-guardrails → production-continuous。
原则:先做错误分析;自建优于通用;代码优先,确定性优于 LLM;验证评判器需 TPR/TNR 大于 80%;用二元通过/失败而非 1-5 量表。
限制:资料未提供安装命令、价格、平台支持范围与具体代码示例,相关细节暂未提供。