AI Observability 是 Grafana 的 AI 可观测平台，记录 LLM 应用在生产环境的行为并评分。应用发送 generation（单次 LLM API 调用，含请求、响应、模型、token、工具调用），同一会话的 generation 归为一个 conversation。evaluator 是评分函数（LLM judge、regex、heuristic、JSON schema 等）；rule 将 evaluator 绑定到生产流量，选择要评估的 generation、按 agent/model 过滤并控制采样率。
所有命令位于 gcx aio11y 下，可用 gcx aio11y <subcommand> --help 查看参数。命令组包括：conversations、generations、agents、evaluators、rules、templates、scores、judge、experiments。删除命令（evaluators delete、rules delete）在 agent 模式下需 -f 跳过确认，建议先用 list 确认目标 ID。删除被 rule 引用的 evaluator 可能导致 rule 指向缺失对象，删除后应检查 gcx aio11y rules list。
会话搜索默认查最近 24 小时，过滤语法为 key operator "value"，空格分隔，支持 =、!=、>、<、>=、<=、=~ 等操作符，可用 --from/--to 指定时间。评估器类型可按用户描述选择：判断有帮助/有害/有依据用 llm_judge，校验 JSON 格式用 json_schema，检查包含或不包含某内容用 regex，检查非空或长度用 heuristic。
get -o yaml 输出 K8s 风格清单，而 create -f 与 update -f 只接受顶层字段，不要将 get 输出直接回灌 create/update。evaluators 采用创建或更新语义，同一 evaluator_id 重建即更新。典型在线评估流程：用 templates list/get 取模板并复制 kind、config、output_keys，补上自定义 evaluator_id 写成 evaluator YAML 后 create；用 evaluators test -e <id> -g <generation-id> 对真实 generation 测试并迭代；再写 rule YAML 并 create，最后 rules list 验证。rule selector 可为 user_visible_turn、all_assistant_generations、tool_call_steps。rule match 各值为数组，部分键支持通配（agent_name、agent_version、operation_name、model.provider、model.name），其余如 mode、error.type、error.category、tags.<key> 不支持。以上信息均来自公开资料。