SuperAPI AI 工具集

databricks-synthetic-data-gen

数据与分析

查看项目

更新于 10-16 05:05

技能介绍

用途:在 Databricks 上生成逼真、有业务故事的合成数据,推荐使用 Spark + Faker + Pandas UDF 实现可扩展的并行生成。

主要能力:支持无服务器执行、多种输出格式(Parquet/JSON/CSV/Delta)、加权分布、对数正态金额、日期范围、引用完整性、坏数据注入、多语言文本与增量模式;提供电商、IoT、金融、客服/CRM 等领域指引。

使用方式:目录与模式必须由用户提供,不得使用默认值;写入 Unity Catalog 前先执行 CREATE SCHEMA IF NOT EXISTS 与 CREATE VOLUME IF NOT EXISTS。生成代码前必须先提交计划并获得用户批准,明确展示输出位置。优先使用 uv 安装依赖:uv pip install "databricks-connect>=16.4,<17.4" faker numpy pandas holidays,然后 uv run python generate_data.py;无 uv 时回退 pip。默认使用无服务器计算,先写主表到 Delta,再读回做外键关联。

限制:无服务器计算不支持 .cache() 或 .persist(),否则报 PERSIST TABLE is not supported on serverless;不要创建目录,假定其已存在;本地模式改用 Polars,超过 30,000 行建议改用 Spark;F.window 仅用于流处理,窗口函数应使用 pyspark.sql.window.Window。