SuperAPI AI 工具集

matlab-choose-bigdata-solution

数据与分析

查看项目

更新于 10-16 00:21

技能介绍

用途:帮助用户或智能体为文件型大表格数据(CSV、Parquet、分隔文本、电子表格、MDF)选择正确的 MATLAB 处理工具,输出单一明确路径而非选项菜单。

主要能力:先做预检,估算文件大小与可用内存之比;单文件比值小于 0.5 时建议原生 I/O(readtable、parquetread)并停止。数据被描述为“大”或出现内存溢出时进入决策流程:需将全部数据作为单一数据集处理时用 datastore + tall 数组,按格式选择 tabularTextDatastore、parquetDatastore、spreadsheetDatastore、mdfDatastore(需 Vehicle Network Toolbox)或自定义 datastore;需按文件独立处理时用 datastore + transform,tabularTextDatastore 设 ReadSize="file",Excel 用 spreadsheetDatastore;Parquet 按行组独立处理时保持 parquetDatastore 默认 ReadSize="rowgroup"。

用法要点:tall 数组自动分块,常用函数如 mean、std、groupsummary、sortrows 可用,结果用 gather 收集。并行方面,本地加速先开并行池 parpool("Threads");transform 工作流的 readall 可加 UseParallel=true;mapreducer 仅用于 Hadoop/Spark,且需 Parallel Computing Toolbox 与 MATLAB Parallel Server。R2026a+ 可用 DuckDB 直接查询 CSV/Parquet/JSON 文件(需 Database Toolbox)。

限制:目标不明确(连续还是按文件)时必须先提问,不展示代码。数据大时不要先用 readtable 或 parquetread;按文件或行组处理时不要用 tall 数组;Parquet 不要随意设 ReadSize="file";不要首选手动分块。JSON、XML、HTML、Word 无内置 datastore,readtable 溢出时不要先转 Parquet/CSV,应构建支持多次读取的自定义 datastore(可先评估 fileDatastore 与自定义 ReadFcn)。MAT 文件、数据库、GPU、深度学习训练等场景不适用本技能。具体实现细节与属性映射见资料引用的参考文档,此处暂未提供完整内容。