SuperAPI AI 工具集

testing-patterns

测试与质量

查看项目

更新于 10-16 00:03

技能介绍

用途:为 ETL 管道提供 Pytest 测试模板与模式,覆盖单元测试、集成测试和数据质量三类场景。

主要能力:单元测试针对转换函数,示例包括 clean_email、calculate_total、categorize_customer,使用 fixture 构造 DataFrame,并用 parametrize 覆盖客户分层边界值。集成测试针对完整管道,示例 OrdersPipeline 使用 tmp_path 构造源数据,验证行数保留、列齐全、必填字段非空以及幂等性(两次运行结果一致)。数据质量测试采用 dbt 风格,通过 SQLAlchemy 连接数据库,检查 order_id 唯一性、status 取值合法、金额非负。此外还包含黄金文件对比、schema 快照测试,以及基于 Hypothesis 的属性测试(如税额非负、聚合等于分项之和)。

使用方式:按示例组织 tests 目录,导入被测模块与 fixture,运行 pytest 执行。数据库测试需配置连接串,快照测试需 snapshot fixture。

适用场景:数据工程团队为 ETL 管道建立回归与质量保障。

限制:资料未提供安装命令、依赖版本、完整配置及运行环境要求,部分示例代码存在缩进不完整,需自行补全。