用途
该技能用于设计和运营金融数据的数据质量项目，覆盖校验规则、价格校验、数据血缘、异常管理、数据剖析与监控等环节。其核心目标是帮助金融机构确保用于估值、业绩计算、计费、合规报送等下游流程的数据可靠、可追溯、可审计。
主要能力
1. 金融数据质量六维度
技能定义了六个质量维度，并给出每个维度在金融服务中的具体含义、衡量方法、典型目标与风险：
- 准确性：数据值是否正确反映现实实体或事件。通过独立权威源比对衡量，如跨供应商价格比较、托管行与 PMS 对账、客户确认个人数据。定价准确性目标 >99.5%，客户数据 >99%。
- 完整性：每条记录的所有必填字段是否齐全。按必填字段填充百分比衡量，关键字段目标 >98%。完整性要求常来自监管，如 FinCEN 受益所有权、GIPS 组合纳入、SEC Rule 17a-4 交易记录。
- 及时性：数据在预期用途需要时是否可用。以事件发生到数据在消费系统可用的延迟衡量，需在处理窗口内。
- 一致性：同一事实在所有系统和时间段内表示一致。通过跨系统属性比对衡量，目标 >99% 一致。
- 有效性：数据符合定义的格式、范围和业务规则。以格式与业务规则通过率衡量，目标 >99.9%。
- 唯一性：每个现实实体只表示一次。以重复检测率衡量，目标重复率 <0.1%。
2. 黄金源架构
技能指出，准确性在没有指定权威源的情况下无法衡量，因此所有校验规则和准确性指标都预设存在黄金源指定。黄金源指定、MDM 模式、冲突解决与存活规则、定价源层级由参考数据技能（data-integration 插件）负责，本技能不展开。
3. 数据血缘与溯源
数据血缘追踪数据从起源经过每次转换、增强、聚合到交付消费系统的完整路径；溯源记录每个阶段谁或什么创建、修改或批准了数据。
- 血缘元数据：对每个数据元素，捕获源系统与原始字段、提取方法与时间、每次转换（映射、转换、计算、增强、聚合）、中间暂存位置、目标系统与字段、每步的时间戳与进程标识。
- 金融中的意义：当业绩报告出现异常收益时，血缘可追溯结果经计算引擎、所用定价数据、供应商源与提取时间戳，精确定位错误进入点。
- 影响分析：若数据源更改模式或交付格式，血缘可识别所有受影响的下游系统、计算和报告。
- 监管要求：BCBS 239 要求银行维护风险数据的全面血缘，能将任何风险报告值追溯到源数据及每次转换；MiFID II 要求投资公司维护证明交易报告准确性与完整性的记录；SEC 检查日益要求公司展示报告数字如何从源数据推导。
- 实施方式：手动血缘文档（电子表格、数据字典）常见但易过时；自动化血缘工具解析 ETL 代码、SQL 查询和数据管道配置自动提取血缘，领先平台包括 Collibra、Alation、Informatica、Apache Atlas；混合方式结合自动提取与人工注释。
- 粒度级别：粗粒度血缘追踪系统到系统的数据流；细粒度血缘追踪字段到字段的转换。监管用例日益要求关键数据元素的细粒度血缘。
4. 金融数据校验规则
校验规则是在数据加载到生产系统或用于下游处理前，依据定义标准评估数据的自动化检查，分为多个层级：
- 字段级校验：CUSIP 必须为 9 位字母数字且校验位有效；ISIN 必须为 12 位、2 位 ISO 3166-1 国家前缀、校验位有效；价格为正数且按资产类别有合理小数精度（股票 2 位、债券 6 位、汇率 8 位）；日期为有效日历日期且在预期范围内；账号符合各托管行格式；货币代码为有效 ISO 4217 三位代码。
- 跨字段校验：交易结算日必须按正确结算周期晚于交易日（2024 年 5 月后美国股票 T+1，多数国际市场 T+2）；债券到期日必须晚于发行日；期权到期日必须晚于交易日；免税账户持有免税市政债有效但低效，标记供适当性审查；保证金账户需有保证金协议存档；账户成立日必须早于首笔交易日期。
- 跨记录校验：某证券在所有账户的头寸数量必须与托管行总数对账；组合内投资组合权重之和必须为 100%；分配给顾问的所有账户必须引用顾问主数据中的有效顾问记录；交易引用的证券必须存在于证券主数据（引用完整性）；同一家庭内所有账户必须共享一致的计费层级分配。
- 跨系统校验：PMS 头寸数量必须与托管行匹配（每日对账）；CRM 中客户姓名和地址必须与托管行匹配（季度一致性检查）；OMS 中交易记录必须与执行经纪商的确认匹配；计费 AUM 必须在定义容差内与 PMS 估值对账；内部计算的业绩回报必须与托管行报告的回报对账。
- 时间校验：检测不合时宜或时间不一致的数据，如到期日在过去的公司债不应在证券主数据中活跃；客户出生日期暗示年龄大于 120 岁或为负；结算日超出预期周期窗口的交易需调查；交易所交易证券不应存在周末或市场假日的价格；客户死亡日期之后开立的账户表明数据错误或欺诈。
- 领域特定校验示例：
- 证券价格：与前一日的方差检查（股票 15%、投资级债券 5%、高收益债 10% 阈值）、零价检测、负价检测、陈旧价格检测、跨供应商比较、货币与证券主数据核对。
- 客户数据：地址标准化与 USPS 可投递性验证、SSN/TIN 格式与校验位验证（mod-9 算法）、电话和邮箱格式验证、OFAC SDN 名单的 PEP 与制裁筛查、年龄合理性检查、就业状态与账户类型一致性。
- 交易数据：交易数量和价格在证券类型正常范围内、佣金在预期边界内、结算指令完整（DTC 参与者、账号）、交易对手对照批准名单验证、重复交易检测。
- 头寸数据：多头账户无负数量、应税账户所有批次有成本基础、与托管行的成立至今头寸对账、总头寸价值相对于账户规模和投资政策的合理性。
5. 数据剖析与监控
数据剖析是系统分析数据以理解其结构、内容、质量特征和统计属性；监控将剖析扩展为持续、自动化的观察。
- 统计剖析：对每个字段捕获完整性率、不同值计数与分布、最小/最大/均值/中位数/标准差、模式分析、空值与默认值率、异常值识别。在金融数据中，剖析可揭示抽查无法发现的问题，如定价字段 99.8% 完整但 0.2% 缺口集中在流动性差的固定收益——正是定价错误影响最大的地方。
- 漂移检测：建立数据特征基线并在偏移时告警。如每日定价文件通常 2000 条记录而今天 1200 条，记录数漂移即使每条记录通过校验也预示上游问题；陈旧价格证券比例从 0.5% 基线升至 3% 表明供应商交付问题。
- 异常检测：统计和基于规则识别异常数据，如隔离森林或 z-score 方法检测大范围中的异常价格、数据分布突变、交易量异常。
- 监控仪表板：运营数据质量仪表板显示跨维度的实时质量指标：完整性百分比、校验通过率、按严重程度的异常计数、陈旧数据计数、跨系统对账状态、趋势图。
- 告警阈值：对需要立即关注的情况设置关键告警，如活跃交易证券加载零价格。
使用方式
该技能以知识文档形式提供，内容为金融数据质量的概念、方法、规则和示例。资料未提供具体的安装命令、代码示例或操作步骤。
适用场景
适用于投资组合管理、估值、业绩计算、计费、监管报送等金融数据流程中需要建立或改进数据质量体系的场景，包括设计校验规则、实施数据血缘、开展数据剖析与监控、满足 BCBS 239、MiFID II、SEC 等监管要求。
限制
资料未提供该技能的具体平台支持、收费模式、价格、效果保证或使用步骤。黄金源架构的详细指定表和模式权衡由参考数据技能负责，本技能不展开。