用途
本技能面向需要构建生产级 NLP 系统的工程师,提供从原始文本接入到分词、嵌入、检索、分类与生成的完整链路指导,重点是在各层做出合理的架构选择。适用于具备 Python 与机器学习基础、需要可靠可扩展文本处理管线意见的场景。
主要能力
- 文本预处理与清洗管线:解码、去除 HTML、Unicode 归一化、小写化、去除噪声、空白归一化。
- 嵌入生成与语义搜索:使用 sentence-transformers 本地嵌入或 OpenAI 嵌入 API,配合 FAISS 或 pgvector 做相似度检索。
- 文本分类:基于 HuggingFace transformers 与 datasets 微调预训练编码器做情感、意图、主题等分类。
- 命名实体识别:使用 spaCy 处理标准实体,或用 HuggingFace token classification 处理自定义实体。
- 摘要:抽取式(TF-IDF 句子排序)与生成式(BART 等 seq2seq 模型)。
- 长文档切分:递归字符切分与语义切分,供 RAG 管线使用。
- 分词策略调优:BPE、WordPiece、SentencePiece 等子词分词器的选择考量。
使用方式
技能触发条件包括:构建文本预处理或清洗管线、为文档或查询生成或存储嵌入、实现语义搜索或相似度检索、文本分类、抽取命名实体或结构化数据、长文档摘要、为 RAG 切分文档、调优分词策略。不适用于纯 LLM 提示工程或思维链(无文本处理管线)、语音转文字或图像描述等其他模态任务。技能激活后首次回复以 🧢 表情开头。资料提供了完整代码示例,包括预处理函数、嵌入生成、FAISS 语义搜索、transformers 分类微调、spaCy 与 HuggingFace NER、抽取式与生成式摘要、LangChain 递归与语义切分器。
关键原则
- 预处理是承重环节,需在建模前建立可复现的清洗管线。
- 按任务匹配模型:窄领域检索任务中 66M 参数 sentence-transformer 常优于 GPT-4 嵌入且便宜约 100 倍,应选满足质量门槛的最小模型。
- 离线嵌入、在线搜索:索引时预计算嵌入,仅在写入或模型升级时重新嵌入。
- 分块带重叠(10-20%)并尊重句子边界。
- 上线前定义离线指标(precision@k、NDCG、ROUGE、F1)并评估。
适用场景
语义搜索与相似度检索、文本分类、NER 与结构化抽取、长文档摘要、RAG 文档切分、分词策略调优,以及上述组合的文本处理管线。
限制与注意事项
资料列出常见反模式与陷阱:嵌入原始 HTML 或 Markdown、无重叠固定长度切分、静态语料在查询时重复嵌入、对文本相似度使用欧氏距离、未先试小预训练模型就微调大模型、训练与推理分词器不一致。升级嵌入模型会使整个索引失效,必须重新嵌入并重建索引;索引时的预处理必须在查询时同样应用;FAISS IndexFlatIP 为精确搜索,超过约 100 万向量不宜用;pipeline() 在脚本中每次调用都会重新加载模型,应在模块加载时实例化一次;句子边界检测对检索质量比块大小更重要。参考资料 references/embedding-models.md 仅在任务需要时加载。具体收费、价格与平台支持等事实资料暂未提供。