SuperAPI AI 工具集

fastmoss-creatives

数据与分析

查看项目

更新于 10-16 08:57

技能介绍

用途

fastmoss-creatives 用于抓取并分析 FastMoss(fastmoss.com)TikTok 创意素材榜单。其作用范围是 fastmoss.com 的「视频&素材」板块,包含三个基于表格的榜单:热门视频、热门音乐、热门标签。AI带货视频榜为卡片式布局,脚本未覆盖,仅在文档中说明。若需抓取产品、店铺、达人、广告或直播等数据,应使用对应的姊妹技能。

主要能力

  • 抓取三个表格型榜单:热门视频(video)、热门音乐(song)、热门标签(hashtag)。
  • 支持按国家筛选,进行多国家对比。
  • 将抓取结果输出为 CSV,并提供聚合脚本与 Markdown 报告模板,生成分析报告。
  • 通过 kimi-webbridge 驱动用户已登录的浏览器,复用用户会话,无需额外认证。

榜单与 URL

榜单键 中文 URL 结构
video 热门视频 https://www.fastmoss.com/zh/media-source/video table
song 热门音乐 https://www.fastmoss.com/zh/media-source/song table
hashtag 热门标签 https://www.fastmoss.com/zh/media-source/hashtag table
top-ai-videos AI带货视频榜 https://www.fastmoss.com/zh/media-source/top-ai-videos cards(未脚本化)

使用 /zh/(中文)语言环境。站点为 NUXT/Vue SPA,需始终等待水合完成(--nav-sleep 6+)。

各榜单列结构

榜单 表头列
video 视频内容, 达人信息, 达人粉丝数, 发布时间, 播放量, 点赞数, 互动率
song 音乐, 达人, 播放量
hashtag 标签, 预览, 曝光量, 关联视频数

视频内容/音乐/标签列为多行文本;抓取脚本会预先将主实体名称解析到 entity_name,并将原始单元格保留在其原始表头下。

前置条件

  • Kimi WebBridge 守护进程健康:
~/.kimi-webbridge/bin/kimi-webbridge status
# expect: {"running": true, "extension_connected": true}

若状态不健康:调用 Skill(kimi-webbridge) 并遵循 references/operations.md。

  • 用户已在浏览器中登录 fastmoss.com(本技能复用其会话,无需认证)。
  • 在编写新的 shell 或 evaluate JS 之前,先阅读 references/environment.md。

使用方式

快速开始

# Step 1: Scrape one ranking (Top N pages)
python <path-to-skill>/scripts/creative_scraper.py \
    --ranking video --pages 5 --out <out-dir>/videos.csv
python <path-to-skill>/scripts/creative_scraper.py \
    --ranking song --pages 3 --out <out-dir>/songs.csv
python <path-to-skill>/scripts/creative_scraper.py \
    --ranking hashtag --pages 3 --out <out-dir>/hashtags.csv

# Step 2: Multi-country comparison on one ranking
python <path-to-skill>/scripts/creative_filtered.py \
    --ranking video --country 美国,印度尼西亚,泰国,马来西亚 \
    --pages 3 \
    --out <out-dir>/videos_by_country.csv

# Step 3: Aggregate the per-ranking CSVs into a Markdown report
python <path-to-skill>/scripts/analyze.py \
    --video <out-dir>/videos.csv \
    --song <out-dir>/songs.csv \
    --hashtag <out-dir>/hashtags.csv \
    --out-md <report>.md

<path-to-skill> 为该技能的安装位置(通常为项目内的 .claude/skills/fastmoss-creatives,或用户级安装的 ~/.claude/skills/fastmoss-creatives)。运行任意脚本时加 --help 可查看完整参数列表。

脚本

脚本 用途
scripts/creative_scraper.py Top-N 分页抓取器,适用于 3 个表格榜单中的任意一个(从 <thead> 自动检测结构)
scripts/creative_filtered.py 多国家筛选 + 分页
scripts/analyze.py 聚合 CSV → 交叉表(stdout)或完整 Markdown 报告(模板驱动)

参考资料(按需阅读)

文件 何时阅读
references/environment.md 在编写任何新的 shell 或 evaluate JS 之前——Windows/bash/jq/heredoc 规则(与 fastmoss-products 版本一致)
references/analysis_recipe.md analyze.py 填充的 Markdown 模板。阅读以了解报告结构或进行扩展

筛选标签词表

国家(16 个市场):

--country <中文,逗号分隔>:全部, 美国, 印度尼西亚, 英国, 越南, 泰国, 马来西亚, 菲律宾, 西班牙, 墨西哥, 德国, 法国, 意大利, 巴西, 日本, 新加坡。

与 fastmoss-products / fastmoss-creators 使用相同词表。

关键注意事项

完整细节见 references/environment.md。摘要:

  • 快照中的 @e 引用在每次导航后都会失效 → 出现 "No node with given id found"。捆绑脚本通过 evaluate 按文本点击,从不使用 @e 引用。
  • Bash heredoc + JS 正则 = "Invalid regular expression: missing /"——heredoc 会吃掉一层反斜杠。使用 .split('\n') 而非 .replace(/\n+/g, ...)。
  • <thead> 表头在首次渲染时通过 innerText 可能报告为空。捆绑的 EXTRACT_JS 读取 innerText || textContent,并回退到 title 属性。
  • SPA 水合延迟——页面可能需要比产品页稍长的等待时间(默认 6 秒)。太快 → 0 行。
  • 各榜单结构不同——creative_scraper.py 动态读取 <thead>。不要在下游代码中假设固定结构;应遍历 dict.keys()。
  • jq 可能未安装——使用 python -c + base64 手动解码截图。
  • Windows 上 Python 默认使用特定区域编码——读取生成的 CSV 时始终使用 open(..., encoding='utf-8-sig')。
  • AI带货视频榜没有 <table>——它是卡片网格。捆绑抓取器未覆盖。如需,按 references/environment.md 编写自定义 evaluate。

CSV 输出结构

基础列(始终存在):

page, ranking, rank, entity_name, country

外加每个 <thead> 表头对应的一列(中文,保持原样)。所有 CSV 均为 utf-8-sig(BOM),便于 Excel 打开。

使用 creative_filtered.py 时,会前置一个额外列:

filter_country

会话卫生

所有调用默认使用会话 "fastmoss-creatives"(与姊妹技能的会话隔离)。如有需要,可通过 --session 覆盖。

任务结束时:

curl -d '{"action":"close_session","args":{},"session":"fastmoss-creatives"}' http://127.0.0.1:10086/command

所有捆绑脚本在首次导航时使用 newTab:True,因此无论会话是否预先存在都能正常工作。

适用场景

  • 需要抓取 FastMoss 上 TikTok 热门视频、热门音乐、热门标签榜单数据。
  • 需要按国家筛选并进行多国家对比分析。
  • 需要将榜单数据导出为 CSV 并生成 Markdown 分析报告。

限制

  • 仅覆盖三个表格型榜单;AI带货视频榜为卡片式,未脚本化。
  • 产品、店铺、达人、广告、直播等数据需使用姊妹技能。
  • 依赖 kimi-webbridge 守护进程健康,且用户需已在浏览器登录 fastmoss.com。
  • 站点为 SPA,需等待水合,等待不足可能导致 0 行。
  • 各榜单结构不同,下游代码不应假设固定结构。
  • 关于收费、价格、平台、效果等具体信息,资料中暂未提供。