SuperAPI AI 工具集

cnki-advanced-search

写作与研究

查看项目

更新于 10-16 01:58

技能介绍

用途

知网高级检索论文自动化工具用于在知网(CNKI)中自动执行高级检索,面向需要系统收集某一研究选题相关文献的用户。用户提供研究关键词或研究选题后,工具自动完成检索、筛选、导出与汇总,最终输出分类整理的 Excel 文献清单。

主要能力

三阶段检索流程

  1. 主体联合检索:采用倒剥洋葱法,将多组核心概念以 AND 关系联合检索,聚焦获取直接相关文献。对单个关键词,将其同义词、同位词用 + 连接填入单个检索框;对研究选题,提取 2-4 个核心概念,每个概念分别扩展同义词/同位词,各自作为一个检索组,组间关系为 AND。

  2. 独立补充检索:对已提取的各概念组分别单独检索,最多使用 2 组 AND 保持聚焦度,用于获取间接相关的背景文献与理论文献。

  3. 汇总合并:所有检索完成后,将结果合并去重,按类别分色展示,生成统一的分类 Excel 文件,并附分类统计 sheet。

上位概念预分析

在填词之前对每个概念组进行判断,若该组词过于精确或小众(如新兴理论术语、极具体的场所或现象描述、近几年才出现的政策/实践概念),立即在该组内加入上位概念(使用 + OR 关系),避免检索失败后才扩展。

倒剥洋葱策略(结果不足时自动降级)

先用全部概念组 AND 检索(最聚焦层)。若结果过少(少于 20 篇),自动减少 AND 组数,最少保留 2 组 AND,不自动降至 1 组。去组顺序为先去掉与研究问题关系最外围的概念组(如修饰性概念、情境概念),最后保留最核心的理论/机制概念组。

浏览器自动化操作

脚本自动处理:连接现有 Chrome(CDP 端口 9222)或启动新的 Chromium;导航到知网高级检索页面;验证码检测(出现时暂停,等用户在终端按 Enter 确认完成);登录检查(未登录时暂停等用户登录);选择学术期刊、勾选 CSSCI、填入关键词;执行检索、按被引量降序排列、每页 50 条;逐页全选并导出,最多 100 篇;解析数据、保存为 Excel。

使用方式

Step 0:解析用户输入并制定检索策略

识别输入类型(单关键词或研究选题),提取核心概念并扩展同义词/同位词,完成上位概念预分析,拟定检索分组和当前层级策略,向用户确认后再执行。

结果反思触发条件:脚本报告 2 组 AND 结果为 0 时,两组词都太专,各自替换为更高层的上位概念;2 组 AND 结果少于 5 篇时,某组词太冷僻,找出哪组更窄,优先替换该组;2 组 AND 结果 5-19 篇时,边界情况,尝试在某一组补充 1-2 个上位概念后重检索。底线原则:宁可修改关键词重跑,也不接受 2 组 AND 少于 20 篇的结果直接导出。

Step 0.5:检查 Chrome 调试模式

执行 curl -s http://localhost:9222/json/version 2>&1,若返回 JSON(含 "Browser": "Chrome/...")则表示 Chrome 已就绪,直接进入 Step 1。若返回错误或空,执行以下命令启动 Chrome,等待 2 秒后再检查:

open -a "Google Chrome" --args --remote-debugging-port=9222
sleep 2
curl -s http://localhost:9222/json/version 2>&1

若仍无响应,提示用户手动启动 Chrome 调试模式后继续。连接现有 Chrome 可保留已登录的知网会话,跳过登录步骤。

Step 1:调用 Python 脚本执行检索

从第 1 层开始检索,根据结果数量决定是否降级。第 1 层(全组 AND)命令示例:

python3 .../scripts/cnki_search.py \
  --keywords "老旧社区 + 老旧小区 + 城市社区" \
  --keywords "数字治理 + 数字化治理 + 数字技术治理" \
  --keywords "技术悬浮 + 数字悬浮 + 技术失灵" \
  --max-results 100 \
  --port 9222

若结果少于 20 篇,降至第 2 层(去掉最次要组);若仍少于 20 篇,降至第 3 层(单组)。每次降级前向用户说明。

Step 2:独立补充检索

主体联合检索完成后必须执行独立补充检索,从已提取的概念组中各自独立拆出 2-3 个补充检索,包括研究对象背景文献、核心理论文献、扩展议题文献(可选)。每个补充检索使用 2 组 AND,结果保存到独立 Excel 文件。补充检索结果不足 20 篇时不强制降级,但若结果为 0,需替换上位概念重试。

Step 3:汇总合并

所有检索完成后用 Python 脚本将全部结果合并去重,生成统一的分类 Excel。颜色约定:直接相关为蓝色 D9E1F2;间接相关-背景为绿色 E2EFDA;间接相关-理论为黄色 FFF2CC;间接相关-扩展为橙色 FCE4D6。输出内容包含序号、文献类别、标题、作者、来源期刊、发表时间、摘要等列,并附分类统计 sheet。

Step 4:报告结果

输出检索完成报告,告知用户各轮检索层级与篇数、去重后总篇数、各类别分布、汇总文件路径。

适用场景

适用于需要针对某一研究选题系统收集知网文献的场景,如学术论文写作前的文献综述准备、研究选题的文献背景梳理、理论支撑文献收集等。工具通过多组概念 AND 联合检索聚焦核心文献,通过独立补充检索获取间接相关的背景与理论文献。

依赖与限制

依赖 playwright 和 openpyxl,如脚本提示缺少浏览器需运行 playwright install chromium。常见问题处理:CDP 连接失败时脚本会自动降级到启动新浏览器,但需要手动登录知网;检测到验证码时脚本暂停并打印提示,在浏览器完成验证后在终端按 Enter;知网导出功能需要登录时脚本暂停,在浏览器登录后按 Enter;解析失败时原始文本保存到 ~/Downloads/cnki_raw_export_*.txt 可手动检查;检索结果为 0 时调整关键词;需要调试延迟可添加 --delay 1500(增加操作间等待时间,毫秒)。

暂未提供

该工具的收费方式、价格、具体支持的知网检索字段范围、并发检索能力、跨平台兼容性(如非 macOS 系统的启动命令适配)等信息暂未提供。