SuperAPI AI 工具集

html-parsing-strategies

编程与开发

查看项目

更新于 10-16 07:18

技能介绍

用途:为 html-to-markdown 项目说明如何在不同场景下选择合适的 HTML 解析器,以保证转换的正确性与性能。

主要解析器:astral-tl(基于 tl crate,轻量、增量、快速,内存占用小,适合流式与大文档处理,但容错性较弱、HTML5 规范合规有限,无自动标签闭合与命名空间处理);html5ever(配合 markup5ever_rcdom,完全符合 HTML5 规范,具备错误恢复、标签闭合、SVG/MathML 命名空间与实体解码,但内存占用与二进制体积更大、解析较慢,不在快速路径默认使用)。

选择条件:纯文本(不含 <)走 fast_text_only 不解析;标准规范 HTML、模板化 HTML、大文档、WASM 目标用 tl;不可信或对抗性输入、严重畸形 HTML、含 SVG/MathML、遗留或模糊测试输入用 html5ever;检测到 UTF-16、二进制或压缩签名等会经 validate_input() 以 ConversionError::InvalidInput 拒绝。

遍历方式:tl 为单遍文档序、低分配、基于引用;html5ever 提供完整父子兄弟关系、带命名空间的属性解析与后处理恢复。

文本处理:空白可配置为 Strict(原样保留)或 Normalized(合并空白);两个解析器均解码数字与命名实体,使用 html-escape crate 与 text::decode_html_entities_cow()。

性能要点:快速文本路径先判断 html.contains('<'),常见模式使用 LRU 缓存,tl 支持增量输入,解析前可先归一化换行;基准测试位于 /tools/benchmark-harness/。实现时新增解析器需加特性门、封装抽象层、同时用规范与畸形输入测试并做基准对比。相关代码位于 /crates/html-to-markdown/src/lib.rs、converter.rs、options.rs。