SuperAPI AI 工具集

synthetic-data-generation

数据与分析

查看项目

更新于 10-15 20:32

技能介绍

用途:在 Databricks 上生成真实感、故事驱动的合成数据,作为下游 Spark 声明式管道(bronze/silver/gold)的原始输入。

主要能力:用 faker 生成姓名、地址、邮箱、公司、日期等;用 holidays 提供国家节假日日历;用 pandas 生成数据、Spark 写盘;支持非均匀分布(对数正态、帕累托、指数、加权类别)、基于时间的模式(周末下滑、节假日、季节性、事件峰值)以及行内属性相干性;通过主表迭代实现引用完整性。

用法:先写本地 Python 文件(如 scripts/generate_data.py),再用 run_python_file_on_databricks MCP 工具在 Databricks 执行;失败则改本地文件重跑。首次执行返回 cluster_id 与 context_id,后续复用可提速并共享变量与库。库缺失时用 execute_databricks_command 安装,如 code: "%pip install faker holidays",命令保留原样。脚本内用 spark.sql() 创建 catalog、schema、volume;默认保存到 Volume 的 parquet 文件(如 /Volumes/{CATALOG}/{SCHEMA}/raw_data),不直接建表,除非用户明确要求。默认生成最近 6 个月的原始事务级数据,不加预聚合字段。

适用场景:为演示与开发准备测试数据,为聚合分析准备有足够历史与粒度的原始数据。

限制:默认不生成汇总字段与表;未提供该技能的具体收费、价格、平台支持范围与效果数据;部分细节(如完整脚本、字段定义)需参考原文。