SuperAPI AI 工具集

data-cleaning-and-visualization

数据与分析

查看项目

更新于 10-16 06:12

技能介绍

用途:本技能面向数学建模流程,对赛题附件或爬取数据执行标准化清洗并生成可视化图表,减少手动处理步骤,快速获得数据统计特征与分布。它不能作为孤立入口使用,用户要求完整论文、生成 Word、继续流程或阶段不确定时,应先回到 paper-workflow-orchestrator 判断 S0-S8 阶段。正式任务前须运行 python .claude/skills/paper-workflow-orchestrator/scripts/workflow_guard.py --skill data-cleaning-and-visualization,若输出 [WORKFLOW FAIL] 或 status 非 PASS 则停止并回补前置阶段。

主要能力:自动扫描 problem_files/ 与 crawled_data/ 发现数据源;robust_loader.py 先诊断 xlsx/csv/json 结构与 PDF 结论,生成 paper_output/data_cleaned/load_report.json;生成 data_plan.json、visualization_plan.json 与 figure_index.json 作为图表证据交接单;智能清洗包括数值列转换、缺失值填补(数值型均值/中位数,分类型众数)、去除全空行列与异常值标记;可视化涵盖直方图、箱线图、柱状图、相关性热力图、散点矩阵,以及预测对比图、残差分布图、模型对比图、敏感性分析图、权重图、排序图、聚类散点图等论文级样板。输出统一保存到 paper_output/,不改动原始数据。

使用方式:常用入口为 scripts/run_pipeline.py,依次生成计划、调用清洗与绘图脚本;可单独使用 clean_data.py 清洗或 visualize_data.py 重绘。scripts/ 是代码级提示词样板,需根据当前赛题字段与需求二次修改,而非通用固定程序。

适用场景与限制:适用于数学建模赛题数据的清洗与图表准备。只有 manifest 中标为 raw_data 且 usable_for_modeling=true 的附件才进入正式流程;PDF 表格抽取仅作诊断,不作为可信原始数据;模板图表返回 placeholder 时不得冒充真实结果,placeholder 无法通过正式 evidence gate。若无可处理数据,仍按题意生成计划文件。完成后须回到 paper-workflow-orchestrator,并用 context-memory-keeper 记录数据质量概况与关键图表路径。具体收费与平台信息暂未提供。