用途:该技能在数据管道中执行校验、清洗与监控,确保数据准确、完整、一致,并融入数据工程工作流以尽早发现问题。适用于处理大数据集的 ETL 流程、受监管行业的合规检查、以及可能引入不一致的新数据源接入;不适用于没有校验需求的简单数据任务。
主要能力:依据预定义规则校验数据模式与取值(如空值、重复、类型不匹配检查);通过去空格、缺失值填补等转换清洗数据;实时监控管道指标并对异常告警;支持 CSV、JSON、Parquet 等格式,并可与 S3 或数据库等存储系统集成;生成报告或日志以供审计,包含汇总统计和错误计数。
使用方式:可通过 CLI 做快速检查,也可集成到 Python 脚本实现自动化管道。先加载配置文件,再运行校验;监控需设置周期性任务。认证需先设置环境变量 $OPENCLAW_API_KEY。示例命令:openclaw data-quality validate --file data.csv --rules config.json --output report.txt;openclaw data-quality clean --input data.parquet --rules clean_rules.json --monitor。API 端点:POST /api/data-quality/validate,GET /api/data-quality/monitor/{job_id}(如 curl -H "Authorization: Bearer $OPENCLAW_API_KEY" https://api.openclaw.ai/api/data-quality/monitor/12345)。规则使用 JSON 配置,例如 {"checks": [{"type": "null_check", "column": "age", "action": "alert"}]}。Python 集成可通过 OpenClaw SDK:import openclaw,client = openclaw.Client(api_key=os.environ['OPENCLAW_API_KEY']),result = client.validate_data(file_path='data.csv', rules={'checks': ['duplicates']})。
限制与错误处理:CLI 失败会返回非零退出码,需解析 stderr;代码中应捕获 openclaw.APIError 并记录 e.message。常见错误包括认证失败(401)或配置无效(400),瞬时问题可用指数退避重试。云集成可配置 webhook 告警,建议先在测试环境验证集成。