SuperAPI AI 工具集

query-optimizer

编程与开发

查看项目

更新于 10-29 14:22

技能介绍

Query Optimizer 是一款用于修复 Django ORM 慢查询的技能,核心思路是:先用测试锁定当前查询数量,再按模式逐项优化,最后用数字验证,并留下守卫测试防止性能回退。

用途 针对 Django 项目中常见的 ORM 性能问题,按固定流程重写查询代码,适用于接口列表页、导出任务、后台管理页等出现查询次数过多或响应缓慢的场景。

主要能力

  • N+1 修复:外键与一对一关系使用 select_related;反向外键与多对多使用 prefetch_related,并可用 Prefetch 过滤或精简关联查询集。
  • 聚合下推:把逐行计数与求和改为 annotate 一次查询完成,使用 Count、Sum 与 Q 过滤;跨两个不同反向关系聚合时注意行倍增问题,可用 Subquery 或对 Count 加 distinct。
  • 存在性判断:用 Exists 或 .exists() 替代 count() > 0 或 if qs。
  • 取最新关联行:用 Subquery 配合 OuterRef 与 [:1]。
  • 减少过度取数:列表页对大文本或 JSON 列使用 only() 或 defer(),不需要模型实例时用 values() 或 values_list()。
  • 批量写入:循环写入改为 bulk_create、bulk_update 或配合 F() 的 qs.update(),并注意这些方法跳过 save() 与信号。
  • 大迭代:导出或命令类任务使用 .iterator(chunk_size=2000),Django 4.1+ 可与 prefetch_related 组合。
  • DRF 集成:在视图的 get_queryset 中按序列化器实际访问的字段配置 select_related 与 prefetch_related,用注解配合普通只读字段替代会查询的 SerializerMethodField。
  • 索引:在 Meta.indexes 中添加复合索引,等值过滤字段在前、范围或排序字段在后,并用 AddIndexConcurrently 迁移上线,通过 explain() 确认真实数据下规划器会使用该索引。

使用方式 第一步先写守卫测试:用真实行数(至少 10 到 20 行,使 N+1 可见)固定当前查询数量,例如使用 django_assert_num_queries 或 TestCase 的 assertNumQueries,并确认现有接口测试通过。第二步按上述模式逐项修复。第三步验证:守卫测试按新的查询数通过,列表接口设为精确数字而非上限,现有测试保持相同响应与排序,并在 PR 描述中记录优化前后的查询数、数据库耗时与响应时间。

适用场景 Django 与 Django REST Framework 项目的查询性能优化、接口响应时间治理、批量任务与导出性能改进。

限制与注意事项

  • 每次只改一个模式并重新测量,避免多个优化叠加导致无法判断效果。
  • 加 distinct() 或注解可能改变结果顺序或产生重复,需由测试捕获。
  • 预取数据只有后续调用 .all() 才会生效,在序列化器里对预取关系再 filter 会丢弃预取并重新查询。
  • 访问延迟字段会触发逐对象查询。
  • bulk 写入跳过 save() 与信号,使用前需确认没有依赖。
  • 除非 ORM 确实无法表达,否则不写原生 SQL;若使用必须参数化,禁止 f-string 拼接。
  • 具体支持的 Django 版本范围及安装方式暂未提供。