SuperAPI AI 工具集

authoring-data-quality-checks

数据与分析

查看项目

更新于 10-16 03:45

技能介绍

用途:为 PostHog 项目中的仓库表、已保存查询视图和 HogQL 目录指标添加并运行数据质量检查。每个检查是对一个主题的一条断言,编译为只计数的 HogQL 查询,零失败行即通过,类似 dbt test。失败行不存储,只存计数和编译后的查询,需自行重跑存储查询查看问题行。row_count 是例外,按配置的 min/max 边界判断,失败行数为 null,存储查询返回该单一计数。

主要能力:读取通过 SQL(system.information_schema.data_quality_*),写入和运行通过 data-quality MCP 工具。支持 not_null、unique、relationships、accepted_values、freshness、row_count bounds、custom_sql。写入前应查询 data_quality_checks 和 columns 避免重复和检查不存在的列。完全相同检查为幂等 upsert;近似重复应编辑现有检查而非新建。

使用方式:调用 posthog:data-quality-check-types 获取各类型配置结构,posthog:data-quality-subjects 获取可读主题,再以 subject_type 和 subject_uuid 调用 posthog:data-quality-check-create。之后用检查自身 id 进行 -update、-delete、-run 和 -results。PostHog 表(events、persons、groups)以 subject_type: "posthog_table" 检查,因表较大可设 lookback_hours 限定读取范围;其检查默认按日调度,用 posthog:data-quality-check-schedule 修改。关系检查另可用 to_lookback_hours 限定匹配目标窗口。custom_sql 不接受 lookback_hours,需自行在查询中加时间过滤。目录指标仅支持有已保存 HogQLQuery 定义的指标,创建 custom_sql 检查时 column_name 留空并包含 {metric} 一次,返回任意失败行即失败。

严重性:error 表示下游数字不可信并通知,warn 仅提示。表与视图检查在数据变化时触发,指标和 PostHog 表按调度运行。编写后应运行一次并查看结果,失败时用 posthog:execute-sql 检查 compiled_query 实际匹配的内容。

限制:检查在 ClickHouse 执行预算耗尽时报告 errored;指标检查 SQL 不能定义 CTE;保存时只验证 SQL 组合不执行;每次运行重载已保存指标,编辑删除所依赖列会导致下次运行报错。部分主题不可编辑,只有可编辑主题能承载检查。调度重叠会跳过,补跑仅限 15 分钟内。