用途:把非结构化文本转化为结构化洞察,面向现代 NLP 常见任务的学习与实操,属于机器学习技能集合(前一技能为 deep-learning,后一为 computer-vision,关联 Agent 05-nlp)。
主要能力:1) 文本预处理,包含小写化、去 URL、去特殊字符、分词、去停用词与词形还原(示例用 NLTK 的 word_tokenize、stopwords、WordNetLemmatizer 与 re)。2) 词嵌入,区分静态(Word2Vec、GloVe)、上下文(BERT、RoBERTa)与句子级(all-MiniLM)三类;示例用 AutoTokenizer/AutoModel 加载 bert-base-uncased 并对 last_hidden_state 做 mean 池化。3) 文本分类,示例使用 AutoModelForSequenceClassification 配合 Trainer、TrainingArguments 进行微调。4) 命名实体识别,示例用 pipeline('ner', aggregation_strategy='simple') 输出实体、类型与得分。5) 语义搜索,示例用 SentenceTransformer 建索引并计算余弦相似度或点积排序。
使用方式:需安装并导入 transformers、torch、sentence_transformers、sklearn、nltk 等;先加载预训练模型与分词器,再编码或训练;语义搜索先 encode 文档建索引,再对查询编码并按得分取 top_k。文末提供 pytest 单元测试模板(校验预处理与嵌入维度)以及练习:用 IMDB 数据集微调 BERT 做情感分类、构建索引 1000 篇文档的语义搜索引擎。
适用场景:文本清洗、句子相似度与检索、实体抽取、情感/文本分类微调等。
限制与提示:资料建议用预训练模型、在领域数据上微调、处理分词边界情况、批量处理并缓存嵌入;不建议忽略预处理、对简单任务用大模型、无验证集微调、跳过错误分析。常见问题(OOV、推理慢、精度低、内存不足)及对应处理已列出。
版本 1.4.0,状态 Production Ready。文档指向 HuggingFace。