SuperAPI AI 工具集

arxiv-search

通用与其它

查看项目

更新于 10-16 05:42

技能介绍

用途:获取 arXiv 初始论文集合(元数据优先),可用于在线检索或离线导入导出文件,服务于 survey/snapshot 流程的早期阶段,为下游排序、分类体系构建和引用生成准备数据。

主要能力:在线时通过 arXiv API 检索并解析 XML,返回较丰富的元数据,包括 arxiv_id、pdf_url、categories、primary_category、published、updated、doi、journal_ref、comment 等;离线时接受用户提供的 CSV/JSON/JSONL 导出并做字段归一化;支持通过 id_list 回填缺失的 abstract、authors、categories 等元数据(best-effort,需要网络);输出 papers/papers_raw.jsonl(每行一篇论文),并可选生成 papers/papers_raw.csv 索引。每条记录至少包含 title、authors、year、url、abstract。

使用方式:读取 queries.md(关键词、排除项、时间窗口),展开为具体查询。在线检索命令示例:uv run python .codex/skills/arxiv-search/scripts/run.py --workspace <workspace> --query "<query>" --max-results 200。带排除项与多查询示例:uv run python .codex/skills/arxiv-search/scripts/run.py --workspace <workspace> --query "LLM agent" --query "tool use" --exclude "survey" --max-results 300。按 arXiv ID 直接抓取:uv run python .codex/skills/arxiv-search/scripts/run.py --workspace <workspace> --query 2509.02547 --max-results 1。离线导入:--input <export.csv|json|jsonl>,或将 papers/import.csv|json|jsonl 放入工作区后直接运行 --workspace。可用 --enrich-metadata 做补充。查询也可通过 queries.md 设置 keywords、exclude、time window、max_results、enrich_metadata。

适用场景:需要从 arXiv 构建初始论文候选池、需要对离线导出文件做统一化、需要在后续步骤前保留广泛且可去重排序的元数据集。

限制:脚本脚本边界仅用于 arXiv API 检索与 XML 解析、离线导出转换、id_list 回填;不负责主题检测或查询重写(由 domain packs 处理),也不硬编码领域论文列表。若输出为空,可能因网络受限或查询过窄;离线记录缺字段时,导出至少需含 title、authors、year、url、abstract,否则下游可能失败。其他如收费、平台等未提供。