用途:采集与查询巴西27个州商业委员会(Juntas Comerciais)的官方拍卖师(leiloeiros)公开数据,并支持本地持久化、REST API 查询与多格式导出。
主要能力:多州(多UF)爬虫架构,包含基类抽象、州级注册表及针对 JUCESP、JUCERJA、JUCEMG、JUCEC、JUCIS-DF 的专用爬虫与通用爬虫;数据写入本地 SQLite 数据库;提供 FastAPI REST 服务、交互式文档、统计与导出功能;支持 CSV/JSON 导出;提供采集日志与按州统计。
使用方式:安装依赖 pip install -r 脚本目录下的 requirements.txt,JavaScript 站点需 playwright install chromium。运行全量采集 python run_all.py,可按州 python run_all.py --estado SP RJ MG,可预览 python run_all.py --dry-run,可设并发 --concurrency 3。统计用 python db.py,也可直接用 sqlite3 查询。启动 API 用 python serve_api.py,文档位于 http://localhost:8000/docs。端点包括 GET /leiloeiros(可用 estado、situacao、nome、limit 参数)、GET /leiloeiros/{estado}、GET /busca?q=、GET /stats、GET /export/json、GET /export/csv。导出用 python export.py --format csv|json|all,可加 --estado SP 限定。Python 中可导入 db 模块使用 Database().get_all(estado=..., situacao=...)、search()、get_stats()。新增自定义爬虫需继承 AbstractJuntaScraper 并在 states.py 注册。
适用场景:需要批量获取、检索或对外提供巴西各州官方拍卖师名录数据时使用。
限制:仅采集公开数据;使用前应参考 references 中的 URL 清单、数据库 schema 与法律依据;依赖各州网站结构,可能需要针对 JavaScript 站点定制爬虫;无法保证上游站点可用性;官方资料未提供具体法律约束细节、价格或效果数据,相关内容暂未提供。