用途:在 Databricks 上用 Python、Faker 和 Spark 生成带故事情节的真实感合成数据,作为下游 Spark 声明式管道(SDP)的原始输入,用于测试、演示与分析。
主要能力:使用 faker 生成姓名、公司、日期等字段,用 holidays 提供节假日日历以模拟真实日期模式;支持非线性分布(对数正态、帕累托、指数、加权类别)、时间模式(周末与节假日下降、季节性、事件尖峰)以及行内属性关联;通过先建主表再迭代生成关联表,保证引用完整性,并生成原始事务级数据(每行一条事件,不含预聚合字段),默认覆盖最近约 6 个月。
使用方式:先在项目本地文件中编写 Python 脚本(如 scripts/generate_data.py),再用 run_python_file_on_databricks 工具在 Databricks 上执行。首次执行会自动选择集群并创建执行上下文,保存返回的 cluster_id 与 context_id 供后续调用复用(约 1 秒 vs 约 15 秒,并共享变量与已装库)。所需库通常未预装,可用 execute_databricks_command 执行 %pip install faker holidays。脚本内用 spark.sql 创建 catalog、schema 和 volume,数据以 parquet 写入 /Volumes/{catalog}/{schema}/raw_data,默认不直接写表。执行失败时读取错误、修改本地文件后以相同上下文重试;上下文损坏则省略 context_id 重建。
适用场景与限制:适合为 Databricks 演示与管道开发准备合成原始数据;默认保存到 ai_dev_kit catalog,schema 名需向用户确认。数据量建议每日 50-100 条、每类别 500 条以上、每客户 5-20 个事件、总计至少 1 万至 5 万行,以便聚合后仍可见模式。实际可用性、集群与工具行为以官方文档为准,本资料未提供定价与平台细节。