用途:当两个数据集唯一共享字段是实体名称时,用于连接或去重,例如桥接 CIK、permno、gvkey、wficn、EIN、TR personid 等标识,或去重申报人、基金、内部人名称。
主要能力:字符 n-gram TF-IDF 加稀疏 top-k 余弦相似度,实现快速多对多模糊实体匹配;在笔记本上可扩展到约 10^5 × 10^5,分块后约 10^6 × 10^6。
使用方式:先规范化双方名称,再做精确作用域连接,然后精确全局连接,接着模糊作用域匹配(阈值约 0.80),最后模糊全局匹配(阈值不低于 0.90,仅处理残余行并先去重右侧)。完整配方、阈值指南和可运行模板见 references/fuzzy-name-matching.md 与 examples/fuzzy_name_match_sample.py。依赖 scikit-learn 和 sparse_dot_topn(需 >=1.2,用 pixi add --pypi sparse_dot_topn 安装)。
限制:存在共享标识符时不应使用名称匹配;未规范化不应直接模糊匹配;TF-IDF 基于字符,不具语义,IBM 与 International Business Machines 不会匹配;小于约 5K × 5K 或字符串短于约 3 字符时建议改用 RapidFuzz;接受低于 0.75 的匹配或全局未作用域低于 0.90 的匹配需谨慎;报告命中率前应检查阈值附近的匹配对。