SuperAPI AI 工具集

github-harvester

数据与分析

查看项目

更新于 10-16 01:16

技能介绍

用途:从 GitHub 仓库提取并处理内容,将其导入 RAG(检索增强生成)系统,便于后续检索与问答。

主要能力:提取 README 与文档;挖掘代码示例;采集 Issue 与讨论;提取 Wiki 内容;获取发布说明与变更日志。

使用方式:需先安装 GitHub CLI(macOS 可用 brew install gh)与 Python 库(pip install PyGithub httpx),并通过 gh auth login 或设置 GITHUB_TOKEN 完成认证。提供两种提取方法:方法一用 GitHub CLI 快速提取,如 gh repo clone、gh repo view、gh issue list、gh api、gh release list;方法二用 PyGithub 进行程序化访问,示例类 GitHubExtractor 提供 get_readme、get_docs、get_code_examples、get_issues、get_discussions、get_releases、get_repo_metadata 等方法。还包含分块策略(按 README 章节、按代码函数/类、按 Issue 与评论)以及完整采集流水线 harvest_github_repo,可按需选择采集 README、文档、示例、Issue、发布说明并写入指定 RAG 集合。

适用场景:构建代码知识库、文档问答、仓库内容检索与整理。

限制:讨论提取的 GraphQL 部分在资料中为简化实现,返回空列表;部分功能依赖认证令牌与 API 配额;资料未提供收费、价格、平台支持范围与效果保证等信息。