SuperAPI AI 工具集

scrape-add-page-object

通用与其它

查看项目

更新于 10-16 06:14

技能介绍

用途:在 Scrapy 项目中添加一个空的 web-poet 页面对象,自动生成类定义、导入语句和字段桩,减少手写样板代码。

主要能力:脚本使用 libcst 进行 AST 操作,文件不存在时创建,已存在时追加并正确合并导入;同一模块可容纳多个页面对象(如 ProductPage 与 CategoryPage)。必需字段(item 类中无默认值的字段)通过 itemadapter 自动检测并生成 @field 桩;若所有字段都有默认值,类体为 pass。可用 --fields name,price 覆盖自动检测。

使用方式:在项目根目录(含 pyproject.toml 的目录)运行,使 item 类可被导入以自动检测必需字段: uv run --project . --with libcst ${CLAUDE_SKILL_DIR}/scripts/add_page_object.py
FILE_PATH CLASS_NAME DOMAIN BASE_CLASS ITEM_CLASS 参数按位置传入,最多 6 个:file_path(要创建或追加的 .py 文件路径)、class_name(页面对象类名)、domain(@handle_urls 的域名)、base_class(基类导入路径,如 web_poet.WebPage)、item_class(item 类导入路径)、fields(可选,逗号分隔字段名)。

适用场景:为 Scrapy 爬虫项目快速搭建 web-poet 页面对象结构,尤其是需要按 item 定义自动生成字段桩时。

限制:资料未提供更多细节,如具体支持的 Python 版本、错误处理行为、与其他基类的兼容性等暂未提供。