用途:把代码、散文、视觉材料和转录文本等混合语料,按每种材料实际能提供的信息分别提取,再归一化为一个保留来源(provenance)的语料库,解决“全部当纯文本处理”导致结构、模态与来源丢失的问题。
适用场景:任务同时涉及代码、文档、PDF、截图或图表;需要可查询的统一语料而非散落文件;用户给出混合类型文件夹;架构或产品理解依赖视觉与文字结合;因来源类型不一致导致检索质量差。
来源分类与提取:结构化来源优先确定性提取,如代码的符号、导入、调用、类、注释,SQL 的表、列、外键,JSON/YAML 的键、引用与配置关系;散文来源提取概念与主张,保留章节标题与邻近证据;视觉来源提取带标签的结构而非泛化描述,如截图、图表、白板照片、UI 流程;音视频先转录,再按散文处理。
流程:第一步清点语料,按类型与提取方式(确定性、LLM 辅助、视觉辅助、转录优先)列出输入,不要用一个巨型提示词塞入所有材料。第二步归一化记录,为每个来源建立统一记录格式,包含 id、kind、path、title、summary、entities、evidence,并始终保留来源路径或 URL、工件类型、提取方法与证据位置。第三步提取正确信号,取最小正确提取:代码取结构与关系,文档取概念、决策与约束,图表取节点、标签、箭头与说明,PDF 取标题、关键实体与引用术语。第四步附加来源信息,每条记录应能回答来自哪里、如何提取、有何证据、提取置信度如何。第五步限制管道,大规模摄取前定义最大文件大小、最大远程下载大小、每个工件超时、二进制与供应商目录的跳过规则。
提取启发式:代码先 AST 或正则结构、再语义标注;Markdown/文档先标题与章节、再实体提取;PDF 先文本提取、再概念提取;图表先 OCR 与标签、再关系提取;音视频先转录、再概念提取。
验证要点:每种工件类型都有明确提取路径;归一化记录保留来源;尽量保留来源特有结构;大或远程输入受大小与时间限制;结果语料无需重读原始文件即可查询。
限制:资料未提供具体安装命令、依赖、平台支持、收费或性能数据;默认输出仅返回结果、阻塞项与必要证据,省略前言、过程叙述、重复上下文、置信度分数与后续提议,除非必需工件或模式需要,否则最多五条要点。