SuperAPI AI 工具集

spacy-nlp

通用与其它

查看项目

更新于 10-16 05:01

技能介绍

用途:使用 spaCy 完成文本分词与句子切分、命名实体识别(NER)、词性标注与形态分析、依存句法分析、词形还原、规则模式匹配,以及自定义 NER 流水线。

主要能力:加载预训练模型后处理文本,获取 token 的 pos_、dep_、lemma_ 等属性;通过 doc.ents 提取实体及其标签与字符偏移,用 spacy.explain 查看标签含义;用 noun_chunks 获取名词短语,按 nsubj、dobj 等依存关系定位主语宾语;使用 Matcher 做基于词性等属性的模式匹配,使用 PhraseMatcher 做快速精确短语查找;通过 EntityRuler 在 ner 之前添加规则实体;支持 doc.sents 句子边界、按词性或停用词过滤、以及 md/lg 模型下的相似度计算。

使用方式:先下载模型,例如 python3 -m spacy download en_core_web_sm(小、快,约 12MB)、en_core_web_md(含词向量,约 40MB)、en_core_web_trf(基于 transformer,最准确)。随后 import spacy 并 nlp = spacy.load("en_core_web_sm"),再对文本调用 nlp 得到 doc。批处理可用 nlp.pipe(texts);可用 nlp.select_pipes(enable=["ner"]) 关闭未用组件;大文本需提高 nlp.max_length 或先分段;可用 doc.to_json() 序列化结果。

适用场景:实体抽取、句法与词性分析、术语精确匹配、自定义领域实体规则、文本预处理与特征提取。

限制:不适用于 LLM 推理或文本生成(应使用 transformers/huggingface)、大规模情感分析(应使用微调分类器)、机器翻译(应使用专用 MT 模型)、主题建模(应使用 gensim 或 sklearn)、以及仅需正则的简单文本搜索(应使用 re 模块)。相似度功能需 md 或 lg 等带词向量的模型。首次使用前必须下载模型。