querying-mlflow-metrics

用途

该技能用于从 MLflow tracking server 获取聚合的 trace 指标，涵盖 token 用量、延迟、trace 数量以及质量评估（assessments）等数据。当需要展示指标、统计 token 消耗、分析延迟分布或查看评估分数时，可触发使用。

主要能力

• 查询 trace 级别的聚合指标：trace_count、latency、input_tokens、output_tokens、total_tokens。
• 支持多种聚合方式：COUNT、SUM、AVG、MIN、MAX、P50、P95、P99。
• 支持按维度分组：trace_name、trace_status。
• 支持时间分桶：通过 -t 指定桶大小（秒），例如 3600 表示按小时、86400 表示按天。
• 支持时间范围过滤：--start-time 与 --end-time 接受 -24h、-7d、now、ISO 8601 或 epoch 毫秒等格式。
• 支持 SPANS 指标（span_count、latency），需添加 -v SPANS。
• 支持 ASSESSMENTS 指标（assessment_value、assessment_count），需添加 -v ASSESSMENTS。
• 输出格式可选 table（默认）或 json，通过 -o json 切换。

使用方式

运行 scripts/fetch_metrics.py 脚本查询指标。

示例：

Token 用量汇总：

python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m total_tokens -a SUM,AVG

输出：AVG: 223.91 SUM: 7613

按小时统计 token 趋势（最近 24 小时）：

python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m total_tokens -a SUM
-t 3600 --start-time="-24h" --end-time=now

输出：按小时分桶的 token 求和。

按 trace 查看延迟百分位：

python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m latency -a AVG,P95 -d trace_name

按状态统计错误率：

python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m trace_count -a COUNT -d trace_status

按评估器查看质量分数（assessments）：

python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -v ASSESSMENTS
-m assessment_value -a AVG,P50 -d assessment_name

输出：每个评估器（如 correctness、relevance）的平均分和中位数分数。

按名称统计评估数量：

python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -v ASSESSMENTS
-m assessment_count -a COUNT -d assessment_name

JSON 输出：在任意命令后添加 -o json。

参数说明

参数	是否必填	说明
-s, --server	是	MLflow server URL
-x, --experiment-ids	是	实验 ID（逗号分隔）
-m, --metric	是	trace_count、latency、input_tokens、output_tokens、total_tokens
-a, --aggregations	是	COUNT、SUM、AVG、MIN、MAX、P50、P95、P99
-d, --dimensions	否	分组维度：trace_name、trace_status
-t, --time-interval	否	分桶大小（秒），3600=按小时，86400=按天
--start-time	否	-24h、-7d、now、ISO 8601 或 epoch 毫秒
--end-time	否	格式同 start-time
-o, --output	否	table（默认）或 json

对于 SPANS 指标（span_count、latency），添加 -v SPANS。 对于 ASSESSMENTS 指标，添加 -v ASSESSMENTS。

过滤语法和完整 API 细节参见 references/api_reference.md。

适用场景

• 查看 token 消耗汇总与趋势。
• 分析 trace 延迟分布与百分位。
• 按状态统计 trace 数量与错误率。
• 查看各评估器的质量分数与评估数量。

限制

• 需要可访问的 MLflow tracking server 及有效的实验 ID。
• 具体支持的指标、聚合与维度以参数说明和 references/api_reference.md 为准。
• 其他功能、收费、价格、平台或效果信息暂未提供。