SuperAPI AI 工具集

data-quality-checker

数据与分析

查看项目

更新于 10-16 06:49

技能介绍

用途:在发布市场分析文档前检测常见数据质量问题,覆盖五类检查:价格量级一致性、标的写法、日期与星期准确性、配置比例合计、单位使用。所有发现均为提示性,用于人工复核,不阻止发布。

适用场景:发布周度策略博客或市场分析报告前;生成自动市场摘要后;审校英日双语翻译文档的数据准确性时;将 FRED、FMP、FINVIZ 等多来源数据合并为一份报告时;任何含金融数据的文档的预检。

前提:Python 3.9+,无需外部 API 密钥,无需第三方 Python 包(仅用标准库)。

用法:脚本接收 markdown 文件路径及可选参数 --file(必填)、--checks(逗号分隔的检查项,默认全部)、--as-of(YYYY-MM-DD,用于年份推断)、--output-dir(报告输出目录,默认 reports/)。示例:python3 skills/data-quality-checker/scripts/check_data_quality.py --file path/to/document.md --output-dir reports/;仅运行指定检查:--checks price_scale,dates,allocations;提供参考日期:--as-of 2026-02-28。

流程:接收输入文档后执行校验脚本,加载 references/instrument_notation_standard.md 与 references/common_data_errors.md 参考标准以解释发现,再复核结果。发现分三级:ERROR(高置信度问题,如经日历计算确认的日期与星期不匹配)、WARNING(需人工判断,如价格量级异常、写法不一致、配置合计偏差超过 0.5%)、INFO(提示性说明,如 bp 与 % 混用可能是有意为之)。脚本输出 JSON 报告与 Markdown 报告两个文件,JSON 含 severity、category、message、line_number、context 字段。

限制与原则:提示模式,脚本成功执行时始终返回退出码 0,即使存在发现;退出码 1 仅用于脚本失败(文件未找到、解析错误)。配置比例检查仅针对配置章节(如“配分”“Allocation”标题或“ウェイト”“目安比率”等表列)内的百分比,正文中的概率、RSI、同比增长等百分比会被忽略。支持英日双语日期格式、星期名与章节标题,处理前会规范化全角字符。年份推断优先级为 --as-of 选项、文档标题/元数据中的 YYYY 模式、当前年份加 6 个月跨年启发式。价格量级校验采用小数点前位数启发式,而非绝对价格区间。