SuperAPI AI 工具集

crawling-social-media

数据与分析

查看项目

更新于 10-16 08:56

技能介绍

用途

该技能用于从社交媒体平台下载和提取内容,适合需要将社交平台上的视频、图片及元数据抓取下来进行保存、复用或重新发布的场景。

支持的平台与 URL 模式

  • Bilibili:bilibili.com/video/BVxxxx、b23.tv/xxxxx
  • YouTube:youtube.com/watch?v=xxx、youtu.be/xxx
  • TikTok:tiktok.com/@user/video/xxx、vm.tiktok.com/xxx
  • 抖音:douyin.com/video/xxx、v.douyin.com/xxx
  • 小红书:xiaohongshu.com/explore/xxx、xhslink.com/xxx
  • 快手:kuaishou.com/short-video/xxx、v.kuaishou.com/xxx

支持的内容类型

  • 视频:各平台的短视频、长视频
  • 图片:小红书图文、抖音图文
  • 元数据:标题、描述、标签、封面图

何时使用

当用户满足以下情况时使用本技能:

  • 提供了匹配上述模式的社交媒体 URL
  • 希望从社交平台下载/保存视频
  • 希望提取内容用于重新发布
  • 需要视频元数据(标题、描述、标签)
  • 提及关键词如:download、save、crawl、extract、下载、抓取、爬取

以下情况不要使用:

  • 用户仅想查看/预览内容(无需下载)
  • URL 不属于支持的平台

工作流程

  1. 获取社交媒体 URL:从用户处获取帖子 URL。
  2. 提交抓取任务:使用链接调用 createCrawlTask。
  3. 轮询结果:状态检查之间等待 30 秒;调用 getCrawlTaskStatus 检查进度。
  4. 返回结果:成功后返回视频/媒体 URL、标题、描述、标签。

示例

示例 1:下载 Bilibili 视频 用户请求:“Download this Bilibili video: https://www.bilibili.com/video/BV1xx...”

  1. createCrawlTask:link 为 “https://www.bilibili.com/video/BV1xx...”
  2. 等待 30 秒
  3. 轮询 getCrawlTaskStatus 直到成功
  4. 返回视频 URL、标题、描述、标签

示例 2:从短链接下载 用户请求:“下载这个视频 https://v.douyin.com/xxx”

  1. createCrawlTask:link 为 “https://v.douyin.com/xxx”
  2. 等待 30 秒
  3. 轮询 getCrawlTaskStatus 直到成功
  4. 返回视频 URL、标题、描述、标签

示例 3:提取用于重新发布

  1. 使用源 URL 调用 createCrawlTask
  2. 轮询 getCrawlTaskStatus 直到完成
  3. 提取媒体 URL、标题、描述、标签
  4. 使用 content 技能保存媒体
  5. 使用 publish 技能发布到目标平台

任务状态值

  • pending:任务已创建,等待开始
  • running:任务正在处理中
  • success:任务成功完成
  • failed:任务失败并报错

重要说明

  • 处理时间因平台和内容大小而异
  • 大视频下载可能耗时更长
  • 部分平台可能有速率限制
  • 媒体 URL 为临时链接,需保存至内容库以永久存储