用途:面向在 ETL 流程中校验数据记录的数据工程师,提供可复用的 Pydantic 记录级校验模式。
主要能力:通过 scripts/validators.py 提供可执行的校验函数,可导入 UserRecord、Customer、Order、Address、validate_records、print_validation_errors、PositiveInt、Email 等模型与工具。支持单个记录校验、批量校验(validate_records 返回有效与无效两组,print_validation_errors 打印错误)、嵌套模型(如 Customer 含 billing_address 与 shipping_address,后者默认取前者)。字段约束包括 gt/ge、lt/le、pattern、min_length/max_length。支持从 dict 或 JSON 解析(Customer(**data_dict)、Customer.model_validate_json(json_string)),以及导出为 dict 或 JSON(model_dump()、model_dump_json())。模型可做数据清洗,例如邮箱自动转为小写。
使用方式:从 scripts.validators 导入所需模型与函数;构造模型实例进行单条校验;对原始数据列表调用 validate_records 得到有效与无效结果,再用 print_validation_errors 输出错误信息。
适用场景:API 请求/响应校验、逐条 ETL 记录校验。如需整体 DataFrame 校验可用 pandera,管道级期望校验可用 Great Expectations。
依赖:pydantic>=2.0,pydantic-settings 用于配置校验。
限制:资料未提供安装步骤、许可证、性能数据与完整字段清单的说明,相关细节暂未提供。