用途:该技能接收逐页抽取分析(Stage 1 产物),描述某域名各字段可从何处、以何方式抽取,并将其综合为适用于整个域名的单个 web-poet 页面对象类。
输入参数:从 $ARGUMENTS 按空白拆分为三个位置参数——work_path(含 Stage 1 分析文件的目录,如 .scrape/.work/spec)、output_path(生成页面对象的保存路径,如 .scrape/spec/page_object.py)、spec_path(spec.json 路径)。fields 为可选,来自提示文本,指定时仅生成这些字段的 @field 方法。
主要能力:读取 web-poet.md 与 docs-access.md 参考文档,从 spec.json 读取 schema 的 properties 与 data_type;若 data_type 以 -list 结尾则视为列表类型。读取 work_path/codegen-analyze/ 下的 list-.json 或 detail-.json 分析文件,跨页建立共识:识别共同模式、解决分歧、验证目标值、决定数据来源(HTML 选择器、JSON-LD、microdata、URL 或组合)。
生成规则:不做内容过滤,过滤属于 spider 层;代码须跨域名通用、避免过拟合、尽量简单;需要浏览器响应时以 BrowserPage 为基类;缺失数据返回 None;返回值匹配 schema 类型;推荐使用 extruct、price_parser、jmespath。非列表类型使用 WebPage[dict] 与 @field;列表类型使用 SelectorExtractor 子类,items 为 async,逐项 try/except 并 logger.error(..., exc_info=True),返回 result or None。
输出:将代码保存至 output_path,并返回字段与抽取方式摘要及脆弱点说明。限制:具体依赖版本、安装命令与运行环境暂未提供。