用途
Haul 是一款产品图片获取专用技能,定位为“带回正确的图片,而不只是任意一张图片”。它适用于需要按产品标识符或名称精确检索并下载商品图片的场景,强调匹配精度、来源可追溯与许可合规,而非单纯追求数量。
主要能力
- 多源聚合:跨电商 API、图片搜索引擎与品牌官网进行检索。
- 标识符匹配:支持 SKU、JAN、EAN、UPC、ASIN、GTIN 以及产品 URL 等匹配键,并支持 GS1 Digital Link QR URI 解析(提取 GTIN 及可选批次/序列号/有效期应用标识符)。
- 匹配评分:按标识符匹配(确定性)优先于文本匹配(概率性)优先于纯视觉匹配(最后手段)的链条打分;置信度低于 0.70 拒绝交付,0.70–0.85 标记复核,≥0.85 自动接受。
- 质量验证:分辨率下限(目录用途默认最长边 ≥800px,主图/LP 用途 ≥1200px)、模糊阈值(默认拉普拉斯方差 ≥100)、水印检测、宽高比合理性检查。
- 去重:跨源感知哈希去重(默认 pHash 汉明距离 ≤5 视为重复),保留最高分辨率与规范来源版本。
- 来源记录:为每张图片记录来源 URL、抓取时间戳、来源许可/ToS 类别、原始尺寸、文件哈希(SHA-256)、感知哈希(pHash)、匹配分数与匹配依据。
- 许可分类:按图片分类为规范来源、市场授权、合理使用或未知,并反映在清单中。
- 合规与礼貌:遵守 robots.txt、ai.txt、TDM 保留协议、meta 标签与 HTTP 退出头;按源实施令牌桶限流与抖动延迟,遵守 Retry-After,5xx 自适应退避;不绕过付费墙、验证码、DRM 或反机器人防御。
使用方式
工作流为 INTAKE → SEARCH → MATCH → DOWNLOAD → VERIFY → CURATE。用户提供产品列表、标识符或 URL 后,Haul 先确认匹配键,再并行查询允许的来源,评分选优,下载最高分辨率变体,验证质量与去重,最后整理至 .haul/{batch-id}/ 目录并生成清单与报告。
支持以下子命令(Recipe):
- catalog(默认):从 SKU/JAN/名称列表批量采集产品图片。
- lookup:按标识符或 URL 单次获取产品图片。
- refresh:重新抓取现有目录中质量不达标或过期的图片。
- reverse:从样本图片反向搜索,定位产品规范来源。
- brand:直接采集制造商/品牌官网(规范来源优先路径)。
- audit:对现有图片集进行许可/来源审计,不发起新抓取。
适用场景
- 电商目录或数据集的产品图片整理与来源元数据管理。
- 设计、训练、Storybook 或落地页的参考图收集。
- 跨重叠来源的产品图片去重集合构建。
- 许可感知的产品图片获取,含 ToS/退出合规。
- 现有目录的批量图片刷新(对过期或低分辨率条目重新抓取)。
限制与边界
- 单次批量超过 1,000 个产品需先询问确认。
- 受监管产品领域(医疗器械、药品、酒精、武器、成人用品)需许可/年龄门控处理。
- 来源列表包含禁止自动采集的制造商/品牌官网时需先询问。
- 匹配置信度处于 0.70–0.85 复核区间超过批次 20% 时需先询问。
- 超过 30% 交付图片许可类别未知时需先询问。
- 需要放宽分辨率下限或质量阈值时需先询问。
- 目标来源无公开 API 且仅登录路径时,需通过 Navigator 交接会话。
- 采集图片的保留或训练用途超出所请求目录目的时需先询问。
- 绝不绕过验证码、付费墙、DRM 或反机器人防御;绝不剥离、遮挡或替换水印;绝不硬编码 API 密钥或凭据;绝不交付无来源元数据的图片;绝不自动接受低于置信度下限的匹配。
- 每源并发默认 ≤4 个连接(全队列上限,非按 IP)。
- 涉及可识别人员的图片须经 Cloak 审查后方可交付。
- 当来源已知嵌入 C2PA 内容凭证时,须在 VERIFY 阶段检查并记录 C2PA ai_assertion 存在性、AI 生成标志与签名身份。
协作关系
输入可来自用户(产品列表/SKU/URL)、Spider(小规模采集架构规范)、Schema(含匹配键的产品模式)、Navigator(受保护站点的认证浏览器会话)、Funnel(落地页素材请求)、Showcase(Storybook 素材请求)、Atelier(设计管线素材流)、Saga(产品叙事图片)。输出可交付至 Showcase、Funnel、Pixel、Saga、Stage、Atelier、Cloak(采集元数据的 PII 表面报告)、Canvas(图库/目录可视化)。项目亲和度:电商(高)、营销(高)、SaaS(中)、仪表盘(中)、游戏(低)。