用途
分层计算处理管道是一套用于把原始数据导出（CSV、JSON 或混合格式）加工成结构化分析数据集的分阶段方法论。适合构建从杂乱源文件到干净、增强语料的可重复管道，也适合把命令行工具与 Python 分析、基于 LLM 的评分或分类整合进同一条工作流，并支持长时间运行分析任务的检查点与续跑。
不适合的场景：单文件单次转换（直接用 pandas 即可）、实时流式数据（本方法面向批处理）、以及已经清洗并结构化、可直接分析的数据。
主要能力
管道由三个阶段组成，每个阶段有明确输入、输出与校验关卡，原始数据永不就地修改。若某阶段失败，可在不重跑前序阶段的情况下重新执行该阶段。
第一阶段：CLI 分诊
用途是校验结构、清洗编码、提取元数据、规范化格式。涉及的工具与用途包括：csvkit 用于 CSV 校验、列选择与格式转换；jq 用于 JSON 过滤、转换与扁平化；minet 用于 URL 解析、网页内容提取与社交媒体数据；exiftool 用于文件元数据提取；qsv 用于高性能 CSV 操作（大文件）；iconv/uchardet 用于编码检测与转换。
阶段清单包括：检测并修复编码问题（先用 uchardet 再用 iconv）、校验 CSV/JSON 结构、去除完全重复记录、将时间戳提取并规范化为 ISO 8601、解析并编目内嵌 URL、把清洗结果写入 stage1_output/ 目录，以及生成记录行数、列名、编码和隔离行的 stage1_manifest.json。
校验关卡：输入行数与输出行数加隔离行数必须相等。若不等，说明该阶段静默丢数据，需停止并排查。
第二阶段：Python 增强
用途是分词、标注、抽取实体、计算特征、评分内容。涉及工具包括：pandas 用于数据框操作、连接与聚合；spaCy 用于分词、命名实体识别、词性标注与依存句法分析；NLTK 用于情感分析（VADER）、专用分词器与词汇分析；scikit-learn 用于 TF-IDF、NMF 主题建模与聚类；dateutil 用于跨格式的稳健日期解析。
阶段清单包括：加载第一阶段输出并核对 manifest 校验和；运行 spaCy 管道做 NER、POS 与依存解析（使用 nlp.pipe 批量处理）；按所需粒度计算 VADER 情感分；抽取并分类实体；在语料足够大时构建 TF-IDF 矩阵并运行主题模型；写入 stage2_output/ 并保持每条原始记录一行；生成含特征覆盖率统计的 stage2_manifest.json。
校验关卡：第一阶段每条记录都必须出现在第二阶段输出中，不得静默丢弃；即使部分特征为 null 也需报告特征覆盖率。
第三阶段：分析整合
用途是应用 LLM 分析、交叉引用增强特征、准备最终数据集。涉及工具包括：LLM API（Ollama、API）用于相关性评分、摘要与分类（带速率限制批量处理）；pandas 用于最终连接、聚合与透视表；自定义评分器用于加权互动度与权威度指标。
阶段清单包括：加载第二阶段输出并核对 manifest；以批处理方式应用 LLM 评分，带速率限制与重试逻辑；计算复合指标；交叉引用特征；写入 stage3_output/；生成 stage3_manifest.json 与管道摘要报告。
校验关卡：最终记录数必须与第二阶段一致；LLM 评分覆盖率需报告，评分失败的记录应隔离而非丢弃。
使用方式
在每一步遵循若干优良模式：原始数据保持不可变，只复制不修改，每阶段读取前一阶段输出目录并写入自己的目录；每个关卡都写 manifest 文件作为审计线索；校验失败的记录进入隔离文件而非丢弃，隔离文件也纳入 manifest；spaCy 始终使用 nlp.pipe 批量处理；时间戳解析采用 dateutil.parser.parse 加回退链；LLM 调用带指数退避并在每批后设检查点，支持中断续跑；保证管道幂等性，相同输入应产生相同输出，不产生仅追加的副作用。
需要避免的反模式包括：就地修改原始数据、跳过阶段间校验、在清洗阶段做最终分析、用 spaCy 逐条处理记录、不做格式检测就假设数据格式、丢弃失败的记录（幸存者偏差会污染下游分析）、LLM 评分无检查点、在清洗阶段做最终结论。
数据不足时的处理
当数据不足以支撑某种技术时，应报告无法做的部分及原因，再用能做的部分继续，绝不静默跳过分析步骤或编造数据。具体情形包括：语料极小（少于 50 条）时跳过主题建模，转而关注逐条 NLP 特征；元数据稀疏（某列超 50% 为空）时报告该列为稀疏，未经用户明确同意不做填充，并从聚合指标中排除；遇到意外格式时暂停管道并给出诊断，不猜测格式；同一文件内编码混杂时按行处理并隔离失败行；完全没有文本内容时跳过 NLP 阶段，转向仅元数据分析；LLM API 不可用时完成至第二阶段，将第三阶段标记为未完成并产出部分报告。
适用场景与限制
适用场景为批处理式的原始数据导出清洗与多阶段 ETL 构建，需要可重复、可审计、可续跑的数据处理流程，并希望在传统分析管道中结合 CLI 工具、Python 分析与 LLM 评分。
限制在于该方法是批处理导向，不适合实时流式数据，也不适用于单文件单次转换或已清洗好的数据；其效果依赖各阶段 manifest 与校验关卡的正确执行。其他具体功能、收费与价格信息暂未提供。