SuperAPI AI 工具集

indexion-segment

通用与其它

查看项目

更新于 10-16 07:21

技能介绍

indexion segment 用于将文本切分为具有上下文意义的片段,适用于 RAG 或嵌入管线的分块、把文档拆分为有意义的小节、为子文档级相似度分析准备文本等场景。

主要能力与策略:默认 window 策略使用滑动窗口散度检测;tfidf 策略基于 TF-IDF 做主题变化检测;punctuation 策略按标点或句子边界切分。还可使用 --hybrid 开启 NCD+TF-IDF 混合模式,以提升混合内容文档的准确度。

基本用法:indexion segment <input-file> <output-dir> 使用默认的窗口散度策略;indexion segment --strategy=tfidf <input-file> <output-dir> 使用 TF-IDF 切分;indexion segment --strategy=punctuation 使用标点切分。可自定义片段大小:indexion segment --min-size=200 --max-size=3000 --target-size=800 document.txt output/。可调整散度阈值:indexion segment --threshold=0.5 document.txt output/。自适应阈值模式为默认,也可显式指定:indexion segment --adaptive document.txt output/。混合模式示例:indexion segment --hybrid --ncd-weight=0.6 --tfidf-weight=0.4 document.txt output/。还可设置窗口大小:indexion segment --window-size=5 document.txt output/,以及输出前缀:indexion segment --prefix=chunk document.txt output/。

主要选项默认值:--strategy 为 window,--min-size 为 100,--max-size 为 2000,--target-size 为 500,--threshold 为 0.42,--window-size 为 3,--adaptive 为 true,--hybrid 为 false,--ncd-weight 与 --tfidf-weight 均为 0.5,--prefix 为 segment。

工作流:先以默认设置运行切分,再通过调整 --threshold 与 --target-size 控制粒度,最后在混合内容文档上使用 --hybrid 提升准确度。资料未提供安装方式、平台、收费与性能等信息。