Query Optimizer 是一款用于修复 Django ORM 慢查询的技能,核心思路是:先用测试锁定当前查询数量,再按模式逐项优化,最后用数字验证,并留下守卫测试防止性能回退。
用途 针对 Django 项目中常见的 ORM 性能问题,按固定流程重写查询代码,适用于接口列表页、导出任务、后台管理页等出现查询次数过多或响应缓慢的场景。
主要能力
- N+1 修复:外键与一对一关系使用 select_related;反向外键与多对多使用 prefetch_related,并可用 Prefetch 过滤或精简关联查询集。
- 聚合下推:把逐行计数与求和改为 annotate 一次查询完成,使用 Count、Sum 与 Q 过滤;跨两个不同反向关系聚合时注意行倍增问题,可用 Subquery 或对 Count 加 distinct。
- 存在性判断:用 Exists 或 .exists() 替代 count() > 0 或 if qs。
- 取最新关联行:用 Subquery 配合 OuterRef 与 [:1]。
- 减少过度取数:列表页对大文本或 JSON 列使用 only() 或 defer(),不需要模型实例时用 values() 或 values_list()。
- 批量写入:循环写入改为 bulk_create、bulk_update 或配合 F() 的 qs.update(),并注意这些方法跳过 save() 与信号。
- 大迭代:导出或命令类任务使用 .iterator(chunk_size=2000),Django 4.1+ 可与 prefetch_related 组合。
- DRF 集成:在视图的 get_queryset 中按序列化器实际访问的字段配置 select_related 与 prefetch_related,用注解配合普通只读字段替代会查询的 SerializerMethodField。
- 索引:在 Meta.indexes 中添加复合索引,等值过滤字段在前、范围或排序字段在后,并用 AddIndexConcurrently 迁移上线,通过 explain() 确认真实数据下规划器会使用该索引。
使用方式 第一步先写守卫测试:用真实行数(至少 10 到 20 行,使 N+1 可见)固定当前查询数量,例如使用 django_assert_num_queries 或 TestCase 的 assertNumQueries,并确认现有接口测试通过。第二步按上述模式逐项修复。第三步验证:守卫测试按新的查询数通过,列表接口设为精确数字而非上限,现有测试保持相同响应与排序,并在 PR 描述中记录优化前后的查询数、数据库耗时与响应时间。
适用场景 Django 与 Django REST Framework 项目的查询性能优化、接口响应时间治理、批量任务与导出性能改进。
限制与注意事项
- 每次只改一个模式并重新测量,避免多个优化叠加导致无法判断效果。
- 加 distinct() 或注解可能改变结果顺序或产生重复,需由测试捕获。
- 预取数据只有后续调用 .all() 才会生效,在序列化器里对预取关系再 filter 会丢弃预取并重新查询。
- 访问延迟字段会触发逐对象查询。
- bulk 写入跳过 save() 与信号,使用前需确认没有依赖。
- 除非 ORM 确实无法表达,否则不写原生 SQL;若使用必须参数化,禁止 f-string 拼接。
- 具体支持的 Django 版本范围及安装方式暂未提供。