该技能依据 DDC 方法论第 4.2 章(《Data-Driven Construction》),指导构建面向建筑数据的自动化 ETL 流水线,把来自多源的数据抽取、转换为可用格式,再加载到目标系统或生成报表。
用途:减少建筑数据处理中的人工干预,自动化处理 PDF、Excel、CSV、BIM 导出与 REST API 等来源的数据,并输出 Excel、PDF、数据库、API 或仪表盘。
主要能力:抽取方面支持批量读取 Excel 文件夹(pd.read_excel)、PDF 表格(pdfplumber)、REST API(requests.get)与 SQL 数据库(pd.read_sql_query);转换方面支持清洗(dropna、strip、去重)、数值列转换、按规则校验(非空、正数、唯一)、按层级(项目/楼栋/楼层/类别)聚合、与价格表合并并计算材料与人工成本;加载方面支持生成带多工作表的 Excel 报表、用 reportlab 生成 PDF 报表、用 df.to_sql 写入 SQLite,以及通过 Airflow DAG 按日调度。
使用方式:以 Python 配合 pandas、pdfplumber、openpyxl、reportlab 等实现;也可参考完整 ConstructionETLPipeline 类,通过配置字典声明输入文件夹、价格文件、校验规则、Excel 输出、数据库与表名,再调用 run() 依次执行 extract、transform、load。示例命令保持原样,如 pd.read_excel(input_file)、df.to_excel(output_file)、df.to_sql(table_name, conn, if_exists=if_exists, index=False)。
适用场景:建筑项目数据汇总、报表与仪表盘生成、数据库写入与定时任务。
限制:资料未提供具体性能指标、收费方式、价格、平台支持范围与安全合规说明,暂未提供。