用途:把小红书视频或图文笔记抓取下来,并按用户指令沉淀到飞书多维表格(bitable)。触发方式为“沉淀/入库/保存+小红书链接”,或直接发送链接并说明意图。
一键抓取:python3 yichen-xiaohongshu-fetch/scripts/fetch.py "<小红书笔记链接>" [输出目录],默认输出到 ~/Downloads/xhs_<note_id>,产出 HTML 快照、metadata.json,以及视频的 mp4、srt、transcript.txt 或图文的 images/。加 --skip-media 可快速判断链接能否解析;重复运行会跳过已存在的大文件。脚本优先解析 window.INITIAL_STATE,处理 undefined、video.mediaV2、masterUrl/backupUrls、字幕与图片地址。
两条链路:视频笔记走视频对标库,流程为下载视频→yichen-volc-asr 转写→LLM 分段→写入 bitable→经用户许可清理临时文件;图文笔记默认写入社媒爆款选题库,流程为抓页面→图片 OCR/摘要→写入,用户指定其他目标则按指定表沉淀。只发链接不提沉淀时,仅输出结构化摘要,不写表。
配置与安全:Cookie、AppToken、TableID 等不得硬编码或写入日志,需通过 $HOME/.config/agent-secrets/agent_secrets.py 的 check/run 命令按 profile 注入,对应环境变量如 XHS_VIDEO_BENCHMARK_APP_TOKEN、XHS_SOCIAL_TOPIC_APP_TOKEN 等;缺失时说明缺少哪一项,不猜测。视频转写需配置 TOS 与 VOLC_ASR 相关环境变量。
限制与失败处理:访问常需登录态 Cookie 与 xsec_token;风控可换 UA 或重试,直链 404 试 backupUrls,过期需重跑脚本,无字幕需下载后转写,bitable 写入失败需检查 token 与表权限。临时文件仅在明确许可后清理,优先移入垃圾篓。