用途
本技能面向数学建模任务，自动处理赛题附件或爬取获得的原始数据，执行标准化清洗流程，并生成基础的数据探索性分析（EDA）图表，减少手动处理数据的步骤，快速获取数据的统计特征与分布情况。
需要特别注意：本技能不得作为孤立入口使用。当用户要求完整论文、生成 Word、继续流程或阶段不确定时，应先回到 paper-workflow-orchestrator 判断当前所处阶段。
主要能力
- 数据源发现：自动扫描 problem_files/（赛题附件）或 crawled_data/（爬虫数据）目录。
- 读取诊断：先运行 robust_loader.py 生成 paper_output/data_cleaned/load_report.json，记录 xlsx/csv/json 结构与 PDF 诊断结论。脚本优先读取 paper_output/input_manifest.json，跳过 result_template、题面文档和不可用于建模的附件。PDF 表格抽取只作诊断，不直接视为可信原始数据。
- 数据与图表计划：生成 data_plan.json、visualization_plan.json 与 figure_index.json，作为后续 QA 和正文生成的图表证据交接单。
- 智能清洗：自动识别并转换数值列；处理缺失值（数值型填补均值/中位数，分类型填补众数）；去除全空行/列；进行简单的异常值标记/处理。
- 自动可视化：数值变量生成直方图、箱线图；分类变量生成柱状图；多变量关系生成相关性热力图、散点矩阵。
- 论文级图表样板：预测对比图、残差分布图、方案/模型对比图、敏感性分析图、权重图、排序图、热力图、聚类散点图。
- 规范化输出：清洗后的数据和图表统一保存到 paper_output/ 目录。
使用方式
本技能包含以下核心脚本，位于 .claude/skills/data-cleaning-and-visualization/scripts/ 目录下：
- scripts/robust_loader.py：任何正式数据清洗、建模或绘图前先诊断附件可读性。输出 paper_output/data_cleaned/load_report.json。
- scripts/run_pipeline.py：最常用的辅助脚本，依次生成数据/图表计划、调用清洗和绘图脚本。
- scripts/build_data_visualization_plan.py：读取赛题分析、模型路线和现有数据文件，输出 data_plan.json、visualization_plan.json 与 figure_index.json。
- scripts/clean_data.py：只清洗数据不绘图，或需要自定义清洗逻辑时使用。
- scripts/visualize_data.py：已有清洗好的数据、需要重新生成图表时使用。
- scripts/paper_figure_templates.py：提供论文级图表函数模板。
- scripts/generate_paper_figures_from_plan.py：按图表计划生成论文级图表草稿并更新 figure_index.json。
正式任务启动或继续前，必须运行：
python .claude/skills/paper-workflow-orchestrator/scripts/workflow_guard.py --skill data-cleaning-and-visualization
若输出 [WORKFLOW FAIL] 或 status != "PASS"，应停止本技能并按报告失败项回补前置阶段。长对话阶段不确定时，先运行：
python .claude/skills/paper-workflow-orchestrator/scripts/workflow_guard.py --status
完成产物后调用 context-memory-keeper 更新工作流记忆：
python .claude/skills/context-memory-keeper/scripts/update_workflow_memory.py
输出结构
paper_output/ 下生成：plan/data_plan.json、plan/visualization_plan.json、figure_index.json、data_cleaned/（含 load_report.json 与清洗后 CSV/Excel）、figures/（按计划生成的图表）。
适用场景
适用于数学建模赛题的数据清洗、建模前数据准备、图表计划制定，以及作为某论文写作工作流中的数据处理环节，为后续 quality-assurance-auditor 生成任务清单、paper-micro-unit-generator 引用图表证据提供支持。
限制与约束
- 脚本是代码级提示词，非通用固定程序。真实赛题应先分析附件数据格式和建模需求，再引用 scripts/ 中的写法二次修改。
- 本技能只允许读取 problem_files/ 与 crawled_data/，只允许写入 paper_output/。
- 正式流程读取附件前必须先生成 input_manifest.json 与 load_report.json，不得跳过 manifest 直接复述 PDF 表格内容或把 result*.xlsx 当作原始数据。
- PDF 表格抽取只作诊断，不直接视为可信原始数据。
- paper_figure_templates.py 生成的是图表代码样板；若已有真实模型输出，应优先接入真实结果，不得把模板图直接当作最终真实结果。
- 任何需要在论文中出现的图表必须从 paper_output/figures/ 引用。
- 无水可处理数据时，仍应尽量根据题意和模型路线生成计划文件。