用途:为 Databricks 生成有业务叙事、贴近真实的合成数据,用于演示根因分析、仪表盘与机器学习场景。核心要求是数据讲得通:出现故障→产生金额影响→分析根因→定位受影响客户→修复预防,且所有表相互关联。
主要能力:用 Spark + Faker + Pandas UDF 并行生成,支持加权类别、对数正态金额、日期区间、外键关联、坏数据注入与多语言文本;输出 Parquet(默认写 Volume)、Delta 表、JSON/CSV。约 10 万行以上以保留趋势。
使用方式:先向用户确认 Catalog/Schema(不得使用默认值),提交包含表结构、行数、分布假设与业务故事的计划,待用户批准后再生成。默认用 Databricks Connect Serverless;依赖安装:uv pip install "databricks-connect>=16.4,<17.4" faker numpy pandas holidays,需 Python 3.12。基础设施脚本中执行 CREATE SCHEMA/VOLUME IF NOT EXISTS。先写主表到 Delta,再读回做外键关联。生成后校验行数、schema 与分布。
限制:禁止 .cache()/.persist()、广播变量(Serverless 不支持);禁止 Python 驱动端循环与 .collect(),避免 Pandas↔Spark 反复转换;UDF 内需在函数内部导入依赖并列入 withDependencies;Polars 仅在用户明确要求本地且少于 3 万行时使用。完整排错见 references/2-troubleshooting.md。