SuperAPI AI 工具集

pandera-validation

数据与分析

查看项目

更新于 10-16 00:03

技能介绍

用途:面向校验 pandas DataFrame 的数据工程师,提供 pandera 模式定义与类型检查的常用写法。

主要能力:支持基础模式校验、收集全部错误、类式模式与类型注解、从 DataFrame 推断并导出模式;内置检查涵盖数值比较(Check.gt、Check.in_range)、字符串正则(Check.str_matches)、集合成员(Check.isin)、列唯一性(unique=True)与可空(nullable=True);支持基于装饰器的输入、输出与 IO 校验(pa.check_output、pa.check_input、pa.check_io)。

使用方式:从 scripts/schemas.py 导入 create_user_schema、create_nullable_schema、create_date_range_schema、UserSchema、validate_with_errors、infer_and_export_schema。基础校验示例:schema = create_user_schema();validated_df = schema.validate(df)。收集错误:validated_df, errors = validate_with_errors(df, schema)。类式校验:UserSchema.validate(df),也可写作类型注解 pa.typing.DataFrame[UserSchema]。推断模式可用 infer_and_export_schema(df),读取 python_code 或 yaml。

依赖:pandera>=0.18、pandas。

限制与未提供信息:资料未说明许可、价格、平台支持范围与性能表现,也未给出完整脚本内容;记录级校验场景资料建议改用 Pydantic。不编造未列出的功能或步骤。