SuperAPI AI 工具集

big-data-analysis

数据与分析

查看项目

更新于 10-15 20:33

技能介绍

用途:该技能用于分析建筑行业的大规模数据集,对数千个项目进行横向对比、模式识别与预测性洞察,解决百万级记录处理、跨项目基准、规模化模式识别以及内存与性能约束等问题。

主要能力:核心类BigDataAnalyzer支持从DataFrame或Parquet文件加载项目数据,包含项目编号、类型、地点、面积、工期、总成本与开工日期等字段,并自动计算单位面积成本、每千平方英尺工期等指标。可计算分组或整体的基准统计(均值、中位数、标准差、最小最大值、P25/P75、样本量),支持按标准差阈值查找异常、按时间周期分析趋势并计算同比变化、计算指标间相关性、按分段汇总分析、查询单个项目的百分位排名,以及生成数据集摘要统计并导出Excel(含Summary、Benchmark、Anomalies等工作表)。提供stream_process按块读取大CSV文件。

使用方式:先创建BigDataAnalyzer实例,通过load_from_dataframe或load_from_parquet加载数据;再调用calculate_benchmarks、find_anomalies、analyze_trends、calculate_correlations、segment_analysis、percentile_rank、generate_summary_stats等方法;最后用export_analysis输出Excel。

适用场景:多项目成本与工期基准、异常项目筛查、成本趋势跟踪、项目排序与分群分析。

限制:依赖pandas、pyarrow(Parquet)、openpyxl(Excel导出);资料未提供安装命令、收费、价格或具体平台信息,部分字段名需与输入数据列名匹配。