SuperAPI AI 工具集

lookml-field-curation

数据与分析

查看项目

更新于 10-21 05:05

技能介绍

用途

lookml-field-curation 是一个按需使用的 LookML 字段整理技能,用于:为字段编写高质量 description: 描述;决定字段是否应设置 hidden: yes/no;决定字符串维度是否关闭筛选器自动补全(suggestable:);为自助式 BI 探索、对话式分析以及 Looker 中 Gemini 的语义建模优化字段元数据。技能明确要求不随 agentic-lookml-workflow 自动运行,仅在用户要求整理、细化或丰富字段描述、可见性或筛选建议时执行。

主要能力

  1. 字段可见性与建议控制:hidden: yes 会将字段从 Explore 字段选择器中移除,并从对话式分析和 Gemini 查询时获取的 Explore schema 中排除,但字段仍可用于 ${field_name} 替换、sql_on: 连接、度量定义和派生表。适合隐藏代理键、外键、中间计算辅助字段、原始 JSON 载荷和 ETL 审计列。suggestable: no 可关闭对高基数字符串、自由文本、URL 或未解析 JSON 列的 SELECT DISTINCT ... LIMIT 1000 自动补全扫描,节省仓库计算资源。

  2. 字段分类决策:提供了针对代理键/技术主外键、原始 JSON 载荷、中间辅助维度、系统与 ETL 审计列、高基数哈希与 UUID、空列与废弃重复列、低基数业务枚举(distinct_count 1–15)、中基数分类字符串(16–100)、高基数标识与自由文本、分区与聚类维度、业务度量等类别,分别给出 hidden 与 suggestable 的建议及理由。

  3. 字符串字段画像:profile_string_fields.py 脚本按优先级将每个 type: string 维度分类为 json_payload、surrogate_or_system_key、uuid_or_hash、empty_or_null_only、low_cardinality_enum、medium_cardinality_categorical、high_cardinality_or_free_text,并输出 recommended_hidden、recommended_suggestable、recommended_description、lookml_snippet 和合并后的 refinement_lookml 块。

  4. 描述模板:要求描述保持 1–2 句用户友好的表述,不出现原始 LookML 字段标识符、表别名或原始 SQL 语法;低基数枚举需列出全部有效值及准确大小写,中基数分类列出前 10 个高频值和总 distinct 数,高基数或自由文本注明 distinct 数与最大长度。可在描述中通过 Liquid ._label 变量引用其他字段的人类可读标签。

  5. 分区与聚类指导:当表在 INFORMATION_SCHEMA 中被分区或聚类时,在 bronze/:table.refinement.lkml 中添加 # PARTITION_COLUMN: ... | MIN_DATE: ... | CLUSTERED_BY: ... 头部注释,在分区 dimension_group 上记录最小分区日期和「Do not use 'is any value'」警告,在聚类维度上记录聚类顺序与块裁剪提示;并建议在 bronze/explores/:table_base.explore.lkml 中用 always_filter: 强制分区日期过滤。

  6. 度量与计算维度描述:要求说明业务公式、实体粒度和包含/排除的过滤条件,使用人类可读字段标签,便于分析人员和对话式分析代理区分相似 KPI。

使用方式

  • 单表字段整理(hidden、suggestable、description、primary_key: yes、单表计算维度与度量)放入 bronze/:table.refinement.lkml(或 schema 冲突路由时的 bronze/:schema/:table.refinement.lkml),首行 include: ":table.view.lkml",并使用 view: +:table { ... }。跨视图计算字段放入 silver/:view_a_:view_b_fields.view.lkml 或 Silver/Gold 派生视图。
  • 基础 Bronze 视图(bronze/:table.view.lkml)由 generate-view-from-table 自动生成,不得手动编辑。
  • 通过 lkr parse lookml-to-api 配合 inspect_local_lookml.py 离线提取模型、Explore、视图和字段元数据,然后在 lkr code-mode sandbox 中运行 profile_string_fields.py 对字符串字段做画像,生成结构化分类与建议。

适用场景

适用于需要对 LookML 字段进行人工或半自动整理、优化 Explore 字段选择器体验、减少 LLM 上下文噪声、降低仓库扫描成本的 Looker 数据建模工作。

限制

该技能为按需技能,不应用于自动化的 agentic-lookml-workflow 流程;不得手动编辑自动生成的 Bronze 基础视图;hidden: yes 仅控制展示与 schema 上下文,如需访问控制应使用 required_access_grants。脚本的具体运行环境、依赖与完整参数等细节在资料中未完整提供。