用途:比较文档与文本之间的相似度,适用于查重、重复内容发现和内容匹配等场景。
主要能力:提供余弦相似度(基于 TF-IDF)、Jaccard 相似度(集合比较)、Levenshtein 编辑距离(适合短文本)等算法;支持批量比较、相似度矩阵(所有文档两两比较)、按阈值查找重复项、查找与查询最相似的文档,以及生成详细相似度报告。
使用方式:可通过 Python 导入 SimilarityChecker 类,例如 checker = SimilarityChecker(),再调用 compare、compare_files、compare_all_methods、compare_to_corpus、similarity_matrix、find_duplicates、compare_folder、find_most_similar、generate_report 等方法;也可使用命令行,例如 python similarity_checker.py --text1 "Hello world" --text2 "Hello there world",或 python similarity_checker.py --file1 doc1.txt --file2 doc2.txt --method jaccard,支持 --folder、--threshold、--output、--json 等参数。
依赖:scikit-learn>=1.3.0、nltk>=3.8.0、numpy>=1.24.0、pandas>=2.0.0。
限制:资料未提供安装命令、收费方式、平台支持范围及效果保证等信息。