SuperAPI AI 工具集

tech-news-digest

写作与研究

查看项目

更新于 10-15 14:02

技能介绍

Tech News Digest 是一个证据导向的科技新闻摘要生成工具,核心特点是统一采集与单一编辑选择:所有输出格式共享同一套筛选和判断结果。其编辑策略以 references/digest-prompt.md 为权威依据。

用途 用于自动采集并整理科技领域新闻,生成日报(daily)或周报(weekly)。日报保留固定栏目:2–4 句概述、按配置的主题(通常为 LLM、AI Agent、Crypto、Frontier Tech,每主题 3–5 条合格条目)、KOL 观点 ≤3、发布 ≤3 个仓库、项目发现 ≤3、博客精选 ≤3,整体 ≤30 条唯一条目。周报 ≤35 条唯一条目,按配置顺序给出主题综述,每个主题 2–4 条综合叙述。正文长度限制:日报 ≤6500 字符,周报 ≤10000 字符(不含 URL)。

主要能力

  • 六源数据采集:RSS、Twitter/X、GitHub、Reddit、网页搜索等,通过 run-pipeline.py 并行运行全部 6 个抓取步骤,再合并、去重、评分。
  • 质量评分与去重:merge-sources.py 进行质量评分、URL 去重(去除跟踪参数、保留查询)、标题相似度去重(75%)、往期摘要惩罚;多源印证同一事件每增加一种来源类型 +5 分。
  • 主题优先级由 topics.json 顺序决定。
  • 文章全文增强:enrich-articles.py 为高分文章抓取全文,优先 Cloudflare Markdown for Agents,回退 HTML 提取,付费墙/社交内容跳过。
  • 多格式输出:Markdown、Discord、邮件(XSS 安全 HTML)、PDF(A4 中文排版,需 weasyprint)。
  • 校验:validate-digest.py 在交付前校验归档,支持 --mode daily 或 --mode weekly;周报需为每个配置主题追加 --topic-heading 'EXACT LOCALIZED HEADING'。校验失败会阻止交付。
  • 源健康监控:source-health.py 跟踪 7 天内各源成功/失败历史,报告失败率 >50%(至少 2 个样本)的不健康源。
  • 配置校验:validate-config.py 进行 JSON schema 校验、主题引用检查、重复 ID 检测。

使用方式

  1. 配置:默认配置在 config/defaults/,复制到 workspace 自定义: mkdir -p workspace/config cp config/defaults/sources.json workspace/config/tech-news-digest-sources.json cp config/defaults/topics.json workspace/config/tech-news-digest-topics.json
  2. 环境变量(可选):TWITTERAPI_IO_KEY、X_BEARER_TOKEN、TAVILY_API_KEY、WEB_SEARCH_BACKEND、BRAVE_API_KEYS、BRAVE_API_KEY、GITHUB_TOKEN 等。
  3. 生成摘要(推荐统一流水线): python3 scripts/run-pipeline.py
    --defaults config/defaults
    --config workspace/config
    --hours 48 --freshness pd
    --archive-dir workspace/archive/tech-news-digest/
    --output /tmp/td-merged.json --verbose --force
  4. 按 references/digest-prompt.md 进行选择与校验,再将同一选择渲染为 Discord、邮件和 PDF。
  5. 依赖:pip install -r requirements.txt;可选 feedparser>=6.0.0、jsonschema>=4.0.0;所有脚本兼容 Python 3.8+ 标准库。

适用场景 适合需要定期汇总科技动态的个人或团队,尤其是关注 LLM、AI Agent、Crypto、前沿技术等主题,并希望以多种渠道(Discord、邮件、PDF)分发同一份精选内容的场景。支持通过 workspace 配置覆盖默认源与主题:同 id 源以用户版本优先,新 id 源追加;同 id 主题完全替换默认。

限制

  • 默认启用 216 个源:RSS 93、Twitter/X KOL 76、GitHub 47、Reddit 13(默认禁用,因 Reddit 屏蔽数据中心 IP,需设置 REDDIT_CLIENT_ID/REDDIT_CLIENT_SECRET 并重新启用)、网页搜索 4 个主题;另有 7 个 RSS/GitHub 默认因上游源失效而禁用。
  • 项目发现(--trending)为遗留标志,搜索结果不构成真实趋势;内部基础分 5 不代表增长信号,不使用 daily_stars_est 或生命周期增长数据。
  • 旧参数 ITEMS_PER_SECTION、BLOG_PICKS_COUNT、EXTRA_SECTIONS 为建议参数,已被模式策略取代。
  • 安全覆盖为强制项,需遵循 digest-prompt.md 中的主警报/搜索与交付前检查;采集失败不能作为无事件证据。
  • 不公开评分、社交指标或运营统计;重要声明需原始技术证据与独立评估,否则排除或降级。
  • 具体收费、价格、平台支持范围等资料暂未提供。