SuperAPI AI 工具集

knowledge-acquisition

智能体与模型

查看项目

更新于 10-16 03:42

技能介绍

该技能用于构建和维护一个持久、可累积的知识库,形式为相互链接的 Markdown 文件(LLM Wiki),基于 Karpathy 的 LLM Wiki 模式。与每次查询都重新检索的 RAG 不同,wiki 将知识编译一次并保持更新,交叉引用与矛盾标记已预先完成。

目录采用三层结构:raw/ 存放不可修改的原始来源(论文 PDF、文章、克隆代码、资源),实体/概念/比较/查询等页面为代理维护的 Markdown,SCHEMA.md 定义结构与标签规范。另含 index.md 目录与 log.md 追加式日志。工具脚本位于技能 scripts/ 目录,通过 uv run 运行,需在用户项目目录下执行,并用 WIKI_DIR 指定 wiki 根目录(默认 wiki/)。

主要能力脚本包括:论文检索(search_papers.py 统一检索 arXiv、Semantic Scholar、OpenAlex 并去重;另有各源单独检索脚本)、论文下载(download_papers.py、download_arxiv.py 等)、PDF 处理(pdf2md.py、extract_pdf.py、summarize_paper.py)、代码与实现查找(search_paperswithcode.py、search_github.py、clone_github_repo.py、fetch_github_readme.py)、参考资料(fetch_wikipedia.py、fetch_deepxiv.py 需 deepxiv-sdk)及工具(jsonl_to_bibtex.py、paper_db.py、harvest_citations.py)。示例:uv run $SKILL_DIR/scripts/search_papers.py --query "mixture of experts" --sources arxiv,s2,openalex -o results.jsonl。

核心操作流程为 Ingest(采集来源、讨论要点、检查已有页面、写更新页面并更新导航)、Query(读索引与相关页面,带引用综合回答,并将有价值结果归档)与 Lint(检查孤立页面、断链、过时内容、矛盾与索引完整性)。撰写页面强调“提炼至当前最优”:页面保持约 50–150 行、剔除过时方法、优先近期与高影响力方案,整页过时则移入 _archive/。

脚本受各来源速率限制(如 arXiv 1 请求/3 秒、Semantic Scholar 免费约 100 请求/5 分钟、OpenAlex 10 请求/秒、GitHub 搜索 10 次/分钟)。技能还包含可选的无服务器 AWS 基础设施($SKILL_DIR/infrastructure/),可用 cdk deploy WikiPlatformStack 一次性部署;创建 wiki 支持 Cognito 认证的 HTTP 请求与 IAM SigV4 的代理请求,代理通过 git-remote-codecommit 以 git 协议读写内容。具体收费、价格与更多平台细节资料暂未提供。