概述
Parsifal 是一个基于 Web 的工具,用于按照既有规范(Kitchenham、PRISMA)规划和管理系统性文献综述(SLR)。它引导研究者完成完整的 SLR 流程:定义研究问题、设定纳入/排除标准、规划检索式,以及跟踪筛选过程。该工具开源且支持自托管。
使用 Parsifal 的 SLR 流程
阶段一:规划
定义研究问题
使用 PICO 框架组织问题:
- Population(人群):哪个群体/领域?
- Intervention(干预):什么技术/方法?
- Comparison(对照):与什么相比?
- Outcome(结果):测量哪些结果?
示例:
- P:软件开发团队
- I:AI 辅助代码审查
- C:人工代码审查
- O:缺陷检出率、审查时间
研究问题:
- RQ1:AI 辅助代码审查是否提升缺陷检出?
- RQ2:与人工审查相比节省多少时间?
- RQ3:哪些类型的缺陷最容易被 AI 工具检出?
设定标准
纳入标准:
- IC1:比较 AI 与人工代码审查的研究
- IC2:发表于同行评审渠道(2020-2026)
- IC3:报告定量指标
排除标准:
- EC1:灰色文献/博客文章
- EC2:参与者少于 10 人的研究
- EC3:非英文出版物
阶段二:检索策略
构建检索式
("artificial intelligence" OR "machine learning" OR "deep learning") AND ("code review" OR "code inspection" OR "static analysis") AND ("defect detection" OR "bug finding" OR "software quality")
数据库映射
| 数据库 | 适配查询 | 预期结果 |
|---|---|---|
| Scopus | TITLE-ABS-KEY(...) | ~500 |
| IEEE Xplore | querytext=... | ~300 |
| ACM DL | [[Abstract: ...]] | ~200 |
| Web of Science | TS=(...) | ~400 |
阶段三:筛选
筛选步骤
- 去除重复——按 DOI、标题相似度匹配
- 标题筛选——快速相关性评估
- 摘要筛选——应用纳入/排除标准
- 全文审查——详细评估
质量评估
定义质量标准和评分:
| 标准 | 评分 |
|---|---|
| 明确陈述研究问题 | 0/0.5/1 |
| 详细描述方法 | 0/0.5/1 |
| 讨论效度威胁 | 0/0.5/1 |
| 结果经过统计分析 | 0/0.5/1 |
| 研究可依据描述复现 | 0/0.5/1 |
阶段四:提取
数据提取表
对每篇纳入论文,提取:
- 研究 ID
- 作者、年份、发表渠道
- 研究类型(实验/案例研究/调查)
- 样本规模
- 使用的 AI 技术
- 报告的指标(精确率、召回率、F1、时间)
- 关键发现
- 指出的局限
阶段五:综合
使用 PRISMA 报告
识别:1,400 条记录 ↓ 去除重复:-350 筛选:1,050 条标题/摘要 ↓ 排除不相关:-900 合格性:150 篇全文评估 ↓ 按标准排除:-108 纳入:最终综述 42 项研究
自托管 Parsifal
git clone https://github.com/vitorfs/parsifal.git cd parsifal pip install -r requirements.txt python manage.py migrate python manage.py runserver
Access at http://localhost:8000
SLR 最佳实践
- 开始前注册方案(健康领域用 PROSPERO,其他用 OSF)
- 由两名独立评审者进行筛选以减少偏倚
- 跟踪评审者间一致性(Cohen's kappa > 0.8)
- 记录对原始方案的偏离
- 使用 PRISMA 清单确保报告完整性
参考资料
- Parsifal
- Kitchenham, B. & Charters, S. (2007). "Guidelines for performing Systematic Literature Reviews in Software Engineering."
- PRISMA Statement
- PROSPERO Registry