用途:根据抽取规格生成 web-poet 页面对象代码。规格由 /scrape-spec 产出,项目由 /scrape-ensure-project 准备,包含 schema、保存的 HTML 页面和期望值。
主要能力:读取 spec.json 中的 schema.properties、html_variant、url、data_type;按 data_type 推导类名(如 product → ProductPage、ProductItem,模块名 product);支持用逗号分隔的 fields 参数只生成部分字段;识别以 -list 结尾的列表类型,生成基类 item、包装类(如 ProductListItems)和列表页类;生成或补全 items.py;通过子代理添加页面对象桩;转换 fixture;并行分析各页面;生成页面对象代码并运行 pytest 测试。
使用方式:参数为 spec_path、project_dir 和可选的 fields。流程包括读取规格、添加 item 与页面对象桩、运行 convert_fixtures.py、并行调用 /scrape-codegen-analyze、调用 /scrape-codegen-generate,最后执行 cd {project_dir} && uv run pytest fixtures/ -x -v。渲染页面使用 web_poet.BrowserPage,结构化数据使用 extruct。
适用场景:为 Scrapy 项目批量生成符合 web-poet 规范的抽取代码,覆盖详情页与列表页。
限制:需先有规格与项目;代码应保持通用、缺失数据返回 None、使用守卫子句、不捕获通用 Exception、避免集合以保证确定性;具体平台、收费与效果资料暂未提供。