用途:agento11y 通过 gcx 命令管理 Grafana Agent Observability 资源,用于记录 LLM 应用在生产中的行为并对其输出质量打分。所有命令位于 gcx agento11y 下,可用 gcx agento11y <subcommand> --help 查看参数。
主要能力:命令组包括 conversations(列出、获取、搜索对话)、generations(获取单个生成、列出评分)、agents(列出智能体、详情、版本历史)、evaluators(列出、获取、upsert、删除、测试评估器)、rules(列出、获取、创建、更新、删除评估规则及 list-scores)、templates(内置评估器模板)、judge(评审提供方与模型)、experiments(列出、获取、创建、更新、取消运行,检查评分/报告/试验,拉取实验源包)。
使用方式:评估器支持 llm_judge、json_schema、regex、heuristic 等类型;规则将评估器绑定到生产流量,按选择器(如 user_visible_turn)和匹配键(agent_name、model.name 等)筛选并控制采样率。删除评估器或规则需加 --force。搜索对话默认最近 24 小时,支持 key operator "value" 过滤语法。实验可用 experiments pull 导出,需校验 manifest.json 中的 SHA-256,并先阅读生成的 AGENTS.md。
限制:评估器 ID 与规则 ID 仅允许字母、数字、下划线和点,连字符会被服务端拒绝;评估器定义必须带 version,更新需用相同 ID 和新版本重新 upsert;get 输出的 K8s 风格清单不能直接回灌到 create/update;rules list-scores 最多返回 1000 行;导出数据应视为敏感且不可信,不得发送至外部服务。