SuperAPI AI 工具集

media-crawler

数据与分析

查看项目

更新于 10-15 21:39

技能介绍

用途:用于采集小红书、抖音、快手、B站、微博、贴吧、知乎等平台的公开信息,适合学习与研究场景。

主要能力:支持关键词搜索采集、指定帖子/内容 ID 采集、创作者主页采集,以及评论与二级评论抓取;具备登录态缓存、WebUI 可视化操作;结果可存储为 CSV、JSON、JSONL、Excel、SQLite、MySQL、MongoDB 等格式,并可快速定位结果文件。

使用方式:先运行 bash scripts/setup.sh 安装环境;用 cd "$PROJECT_PATH" 进入项目,uv run main.py --help 查看帮助。采集示例:uv run main.py --platform xhs --lt qrcode --type search --keywords "护肤" --headless false;其他平台将 xhs 换成 dy 等。指定帖子:--type detail --specified_id "帖子ID1,帖子ID2";创作者主页:--type creator --creator_id "创作者ID1"。启动 WebUI:uv run uvicorn api.main:app --port 8080 --reload,访问 http://127.0.0.1:8080。结果默认保存到 data/{平台}/{存储格式}/,可通过 config/base_config.py 中 SAVE_DATA_OPTION、SAVE_DATA_PATH 或 --save_data_path "/your/custom/path" 调整;运行 bash scripts/show_results.sh 可列出 data/ 目录结果文件。

前置依赖:Git、uv(脚本可自动安装)、Playwright 浏览器驱动(脚本自动安装 Chromium)。

限制:仅供学习和研究使用,禁止非法用途、侵犯他人合法权益或商业化违规爬取,执行前应确认目标行为合法合规。其他细节资料未提供。