SuperAPI AI 工具集

validation-quarantine

数据与分析

查看项目

更新于 10-16 05:05

技能介绍

用途:处理不可靠的外部数据源时,在数据进入数据库前做校验、质量评分与隔离,避免 schema 违规导致流水线崩溃,也避免低质量数据污染库表,同时不必逐条人工审核。

主要能力:基于 Zod schema 做结构校验;通过自定义 qualityScorer 按领域规则打分并产生警告;按 quarantineThreshold 阈值把低分记录放入隔离区;批量处理返回 valid、invalid、quarantined 三类结果及 totalProcessed、validPercent、avgQualityScore、processingTimeMs 指标。QuarantineStore 支持 add、approve、reject、getPending、releaseApproved、autoRejectStale,并带 maxItems 上限与 autoRejectDays 自动拒绝过期项。

使用方式:定义 schema 与评分函数,构造 DataValidator(schema, qualityScorer, 50),对原始数据调用 validateBatch;对 quarantined 项调用 quarantine.add 并标注原因(如 low_quality_score),valid 数据写入数据库,approved 项通过 releaseApproved 回流。

适用场景:抓取或接入第三方、UGC 平台数据;需要超出 schema 的质量判断;希望可疑数据可人工复核而非直接丢弃。

限制与注意:质量评分与阈值需按自身数据调优;应设置隔离区容量上限并自动拒绝过期项;需通过管理界面暴露隔离数据供复核;避免因校验失败阻塞整条流水线,也不要只做 schema 校验而缺少质量评分。资料未提供具体安装命令、依赖版本与运行环境要求。