SuperAPI AI 工具集

train-sentence-transformers

通用与其它

查看项目

更新于 10-16 03:37

技能介绍

用途:训练或微调 sentence-transformers 模型,覆盖三类:SentenceTransformer(双编码器,用于检索、相似度、聚类、分类、去重)、CrossEncoder(重排序器,用于两阶段检索、成对分类)、SparseEncoder(SPLADE,学习式稀疏检索、倒排索引后端)。

主要能力:该 SKILL.md 是路由器,按模型类型指引加载 references/ 与 scripts/ 中的参考文档和示例脚本,涉及损失函数与数据形状匹配、评估器映射、模型架构与池化规则、训练参数、数据集格式、基座模型选择、硬件指南、HF Jobs 执行、提示词与指令,以及难负样本挖掘 CLI。支持 Matryoshka、多数据集、LoRA、蒸馏、多语言、静态嵌入等变体。

使用方式:先确定模型类型(不明确时询问),阅读对应类型的必读参考,复制 scripts/train_<type>_example.py 作为起点,替换 MODEL_NAME、DATASET_NAME、RUN_NAME、损失与评估器,先做 max_steps=1 冒烟测试再正式运行。前置:pip install "sentence-transformers[train]>=5.0";可选 pip install trackio;推送需 hf auth login 或设置 HF_TOKEN(写权限)。强烈建议 GPU,CPU 仅适合演示与 StaticEmbedding。

限制与约定:不要仅凭该文件自行合成训练脚本,必须基于模板,否则易漏关键脚手架。脚本需满足固定契约:记录 baseline_eval、输出 VERDICT 行、静默指定日志库、日志 tee 到文件、结尾 push_to_hub 包 try/except、CrossEncoder 加 EarlyStoppingCallback、SparseEncoder 记录稀疏维度。缺失信息:本资料未提供具体代码内容、价格与效果数据。