SuperAPI AI 工具集

pydantic-validation

数据与分析

查看项目

更新于 10-16 00:03

技能介绍

用途:面向在 ETL 流程中校验数据记录的数据工程师,提供可复用的 Pydantic 记录级校验模式。

主要能力:通过 scripts/validators.py 提供可执行的校验函数,可导入 UserRecord、Customer、Order、Address、validate_records、print_validation_errors、PositiveInt、Email 等模型与工具。支持单个记录校验、批量校验(validate_records 返回有效与无效两组,print_validation_errors 打印错误)、嵌套模型(如 Customer 含 billing_address 与 shipping_address,后者默认取前者)。字段约束包括 gt/ge、lt/le、pattern、min_length/max_length。支持从 dict 或 JSON 解析(Customer(**data_dict)、Customer.model_validate_json(json_string)),以及导出为 dict 或 JSON(model_dump()、model_dump_json())。模型可做数据清洗,例如邮箱自动转为小写。

使用方式:从 scripts.validators 导入所需模型与函数;构造模型实例进行单条校验;对原始数据列表调用 validate_records 得到有效与无效结果,再用 print_validation_errors 输出错误信息。

适用场景:API 请求/响应校验、逐条 ETL 记录校验。如需整体 DataFrame 校验可用 pandera,管道级期望校验可用 Great Expectations。

依赖:pydantic>=2.0,pydantic-settings 用于配置校验。

限制:资料未提供安装步骤、许可证、性能数据与完整字段清单的说明,相关细节暂未提供。