SuperAPI AI 工具集

ai-tech-rss-fetch

数据与分析

查看项目

更新于 10-15 22:33

技能介绍

用途:订阅 RSS/Atom 源,把订阅源与条目元数据规范化写入 SQLite,供后续处理使用。仅存元数据,不抓取全文、不生成摘要、不写归档 Markdown。

主要能力:从 URL 或 OPML 添加订阅;执行增量同步,支持限制单次源数与每条源条目数,支持单源同步;按分层身份键(guid、canonical_url、legacy_guid、fallback_hash)加内容指纹去重;支持条件请求与 304 跳过解析;查询订阅源与近期条目。持久化字段包括 feed_url、feed_title、site_url、etag、last_modified、status,以及条目 id、dedupe_key、guid、url、canonical_url、title、author、published_at、updated_at、summary、categories、content_hash、match_confidence、时间戳,另有 entry_identities 映射表。

使用方式:先安装依赖 python3 -m pip install feedparser;多智能体运行环境中先固定数据库绝对路径 export AI_RSS_DB_PATH="/absolute/path/to/workspace-rss-bot/ai_rss.db";初始化表结构 python3 scripts/rss_subscribe.py init-db --db "$AI_RSS_DB_PATH";添加源或导入 OPML 后执行 sync。可配置项包括 db_path、opml_path、feed_urls、max_feeds_per_run、max_items_per_feed、user_agent、seen_ttl_days、enable_conditional_get,示例见 assets/config.example.json。

限制:缺少 guid 与 link 时使用哈希回退标识并将 match_confidence 置为 low;源网络失败时记录 last_error 并继续同步其他源;缺少 feedparser 时仅返回安装指引。参考文档见 references/input-model.md、references/output-rules.md、references/time-range-rules.md。其他细节暂未提供。