用途：在多源数据聚合场景（新闻、事件、商品等）中去除重复内容，并选出每个重复组中最具代表性的“规范”版本。适用于同一内容来自不同渠道、需要挑选最佳版本、以及需要跟踪去重指标以优化流程的情况。
主要能力：提供两种模式。ID 模式在来源具有唯一 ID 时，按 ID 分组，ID 冲突时用自定义 preferFn 保留“最佳”版本（如优先含坐标、情感强度更高的条目）。内容模式按语义相似度分组，分组键由规范化标题（转小写、去标点、截断）与发布日期组合生成，再从每组中选出规范条目。规范选择结合来源声誉评分（按域名分层打分）与情感强度绝对值。结果返回 items、originalCount、dedupedCount、reductionPercent，内容模式还返回 duplicateGroups。
使用方式：以 TypeScript 实现，导入 crypto 的 createHash。调用 deduplicateById(items, preferFn) 做 ID 去重；调用 deduplicateArticles(sourceResults) 做多源聚合去重，传入形如 { sourceName, articles } 的数组，返回带 source 归属的规范条目。可用 generateEventId(url) 由 URL 生成 MD5 短 ID。
限制与注意：资料未提供安装命令、包名、运行环境版本或性能数据。声誉评分中的域名列表为示例硬编码，资料建议改为可配置。仅做 URL 去重会漏掉不同渠道的同一事件；不做规范化会因大小写和标点差异产生漏判；随机选择会丢失质量信号；不记录去重率则难以优化。相关模式包括 batch-processing、validation-quarantine、checkpoint-resume。