用途：DataPipeline 是 ScraperAPI 的托管抓取产品，用于按固定计划运行抓取任务。定义项目（抓取内容、频率、结果去向）后，由平台负责代理、重试与基础设施；输入列表可较大（单任务最多 100,000 项），结果可自动流向 webhook，并支持任务完成的邮件通知。
主要能力与使用方式：基地址为 https://datapipeline.scraperapi.com/api ，每个请求需带查询参数 ?api_key=YOUR_KEY 。创建项目用 POST /projects，通过 projectType 选择抓取类型，如 urls、urls_with_js、google_search、google_news、google_jobs、google_shopping、google_maps、amazon_product、amazon_search、amazon_offers、walmart_product、walmart_search、walmart_category、walmart_reviews、ebay_product、ebay_search、redfin_listing_for_sale、redfin_listing_for_rent、redfin_listing_search、redfin_agent_details。projectInput 支持直接列表（最多 500 项）或 webhook 动态轮询（作业开始时由平台拉取你的 URL，每行一项）。CSV 输入（最多 100,000 项）需在仪表盘创建项目时上传，API 仅接受列表输入。
调度与交付：scrapingInterval 支持 "once"、"hourly"、"daily"、"weekly"、"monthly" 或 "cron"（用 cron 字段）；循环调度（hourly/daily/weekly/monthly/cron）需付费计划，免费计划仅支持一次性运行。设置 "scheduledAt": "now" 可在创建时立即首次运行。结果可通过 webhookOutput 推送到 URL，webhookEncoding 控制格式；省略 webhookOutput 则保存在仪表盘供下载，保留 30 天。urls/urls_with_js 输出为 JSONL 包裹的 HTML，结构化类型输出 JSON 或 CSV。
项目与作业管理：GET /projects 列出，GET /projects/{id} 获取，PATCH /projects/{id} 部分更新（scrapingInterval、scheduledAt、outputFormat、apiParams、notificationConfig），DELETE /projects/{id} 删除（不可逆）。GET /projects/{id}/jobs 列出作业，DELETE /projects/{id}/jobs/{job_id} 取消运行中作业（已发出的请求完成后状态变为 Cancelled）；同一项目有作业运行中时不能启动新作业。apiParams 支持 country_code、render、premium、ultra_premium（与 premium 互斥）、device_type、output_format（"text" 或 "markdown"）、autoparse、keep_headers、follow_redirect、wait_for_selector（需 render: true）、screenshot、retry_404 等标准参数。计费与 Standard API 相同，按作业内所有请求累计，仅成功的 200 与 404 计费；免费计划并发 5 连接。限制为单作业最多 100,000 项、直接列表 500 项、结果保留 30 天。一次性抓取已知 URL 列表、探索未知 URL、需要代码内实时结果、免费计划需循环执行等场景，官方建议改用 Async API 或 Crawler。部分字段细节与最新文档以官方为准。