SuperAPI AI 工具集

fuzzy-matching

数据与分析

查看项目

更新于 10-15 20:30

技能介绍

用途:为库存商品、产品、供应商 SKU 等实体做模糊匹配与对齐,解决名称格式不一致、精确匹配漏配的问题,也可用于跨来源产品去重。

主要能力:三阶段流水线。阶段一用 PostgreSQL trigram 快速预筛出约 50 个候选;阶段二做显著词重叠检查,快速过滤到约 20 个;阶段三做多因子相似度计算并排序。相似度由名称 trigram 余弦、加权 Jaccard 词元、规格大小、类目四项加权组成,权重分别为 0.55、0.25、0.15、0.05。阈值默认自动匹配 0.95、需人工复核 0.85、最低相似度 0.70、trigram 过滤 0.3。文本归一化会去除品牌词、统一单位、过滤停用词并分词。

使用方式:需在 PostgreSQL 启用 pg_trgm 扩展,为表增加 normalized_name 列并建 GIN 索引,创建 find_similar_items 函数供 RPC 调用。Python 侧实例化 FuzzyItemMatcher 后调用 find_similar_items 传入名称、用户 ID、可选类目与返回条数,再用 get_match_recommendation 得到 auto_match、review 或 create_new 建议。

限制与注意:资料未提供安装命令、收费与平台信息。建议写入时即归一化,阈值从保守值起步,使用领域停用词,RPC 失败时保留 Python 回退,并按数据特征调权重。