用途:在用户自己设备上自主采集并结构化用户跨平台个人内容历史,写入同一 SQLite 数据库,长期保持新鲜。数据默认仅本地保存,不存储凭据,复用已有浏览器登录会话。
主要能力:先评估环境(Python≥3.10、playwright、beautifulsoup4 等,缺失时安装 playwright 并执行 playwright install chromium),询问优先平台、设备与采集频率;初始化数据库脚本 scripts/init_db.py 建立 items 表;按平台选择主用与回退策略,如豆瓣用 Playwright 自动化、回退 HTML 导出解析,微信读书读本地 SQLite 缓存、Kindle 解析 My Clippings.txt;提供 scripts/health_check.py 检测异常并修复选择器;可用 cron 或 macOS launchd 定时采集;对外可查询近期条目与兴趣画像。
使用方式:按步骤先跑环境检查命令,再创建数据库并编写各平台 scraper;首次以非 headless 模式运行让用户登录,成功后转 headless;定时任务示例 0 3 * * * cd ~/.personal-harvest && python3 scripts/scrape_douban.py >> logs/douban.log 2>&1。
适用场景:需要把分散在中文与海外平台的个人阅读、观影、收藏、笔记统一本地归档,并供下游 AI 查询。
限制:仅覆盖资料中列出的平台与备用方案;具体选择器、API 端点、文件路径需参考 references/platforms.md,资料中该部分未完整提供;采集受平台改版、限流、登录过期影响,需按错误模式排查;抖音等平台自动化难度较高、有速率限制。未提供的收费、价格与效果信息暂未说明。