SuperAPI AI 工具集

dspy-phoenix

通用与其它

查看项目

更新于 10-15 23:58

技能介绍

用途:指导为 DSPy 搭建 Arize Phoenix,实现追踪、可视化与评估。Phoenix 是开源 LLM 可观测平台,可本地或云端运行,配合 OpenInference 插件对 DSPy 自动埋点。

主要能力:追踪 LM 调用的提示、响应、token 数与延迟,检索的查询、段落与相关性分数,模块级输入输出,以及嵌套 span 形成的完整调用树。本地模式用 px.launch_app() 在 http://localhost:6006 打开界面,无需账号;云端模式托管于 Arize 平台,便于团队共享与持久存储。界面提供 trace 列表、瀑布式 span 详情、提示查看器、按时间/延迟/状态/span 类型过滤、token 与成本分析,并支持排序。内置 evals 模块可对输出打分,用于批量质量检查、定位低分失败模式与回归测试。

使用方式:安装 pip install arize-phoenix openinference-instrumentation-dspy;导入 phoenix 与 DSPyInstrumentor,调用 px.launch_app() 后执行 DSPyInstrumentor().instrument(),随后所有 DSPy 调用即被追踪。云端可传 endpoint="https://app.phoenix.arize.com",也可用环境变量 PHOENIX_COLLECTOR_ENDPOINT 配置。评估可用 phoenix.evals 的 llm_classify 配合 OpenAIModel 与自定义模板和 rails。

适用场景:需要本地 trace 查看器且不依赖云、需要内置评估工具、希望自托管开源方案、想直观检查 DSPy 流水线行为时。

限制:若追求最简单一行式配置可考虑 Langtrace;团队已用 W&B 可选 Weave;需要完整 ML 生命周期(模型注册、部署)可选 MLflow。其余限制资料未提供。