用途:该技能面向 article-flow 项目,帮助编写并测试 HTML 解析规则,从网页来源中提取文章标题、链接、日期、描述等内容。触发关键词包括“编写html解析规则”“创建html解析器”“添加html解析规则”等。
主要流程:先用 curl -L -H "User-Agent: Mozilla/5.0" "{URL}" > /tmp/source.html 抓取并保存 HTML,再用 wc -l 与 head -100 查看结构。随后识别文章容器、标题、链接、日期、描述元素,并请用户确认示例片段。之后逐步编写并单独测试各类正则(标题、链接、日期、描述),每步需等待用户确认。
整合与注册:在 html-parser.ts 中创建完整解析函数,组合各类正则,使用 decodeHtml() 处理标题与描述的 HTML 实体,使用 resolveUrl() 处理相对链接,并通过可选链优雅处理缺失字段;随后在 parse() 的 switch 中注册解析器,并更新域名配置(含 name、url、type、parser、tags)。
验证:运行 cd packages/ai-digest && pnpm run collect 做集成测试,检查来源状态为 success、条目数大于 0、日志无错误,并用 grep "Source Name" outputs/$(date +%Y-%m-%d).en.md 确认输出包含该来源文章。
限制与注意:资料未提供该技能的收费、价格、平台、效果等信息;描述中要求始终先单独测试每个正则再组合,验证解析器名称在 html-parser.ts 与域名配置中一致,并留意 HTML 实体、相对 URL、字段缺失等常见问题。