用途:本技能围绕 spaCy 3.x 提供从安装到部署的生产级 NLP 工作流,重点包括文本处理与 TextCategorizer 文档分类器训练。
主要能力: 安装与环境:pip install -U pip setuptools wheel;pip install -U spacy;python -m spacy download en_core_web_sm。模型选择上,en_core_web_sm(12 MB,最快,适合原型与速度敏感场景)、en_core_web_md(40 MB,含词向量,通用)、en_core_web_lg(560 MB,语义相似度)、en_core_web_trf(438 MB,最慢,最高精度,GPU)。 文本处理:加载模型后可用 doc.ents 获取命名实体,遍历 token 读取 text、lemma_、pos_、dep_ 等属性。生产环境应用 nlp.pipe(texts, batch_size=50) 批量处理,或用 nlp.pipe(texts, n_process=4) 多进程;按需禁用组件(disable=[...] 或 exclude=[...])可提速 2-3 倍。 分类器训练流程:准备数据(JSON 转 DocBin)→ 生成配置(scripts/generate_config.py 或 assets/config_textcat.cfg)→ 校验(python -m spacy debug data config.cfg)→ 训练(python -m spacy train config.cfg --output ./output,可加 --gpu-id 0)→ 评估 → 加载 ./output/model-best 使用,通过 doc.cats 取最高分标签与置信度。 部署:可用 python -m spacy package 打包模型,scripts/serve_model.py 启动 FastAPI 服务,或参照示例用 FastAPI + nlp.memory_zone() 提供 /classify 接口。
限制与范围:不覆盖自定义 NER 模型训练、spaCy 2.x(与 3.x 不兼容)、基于规则的匹配(EntityRuler、Matcher、PhraseMatcher)以及自定义分词器或语言模型。GPU 需在加载模型前调用 spacy.prefer_gpu();spaCy 2.x 模型不能用于 3.x,可用 python -m spacy validate 检查兼容性。安装细节、训练详解与故障排查见对应参考文档,本资料未提供具体价格与平台信息。