用途：面向科学研究的文本挖掘与自然语言处理，覆盖文本预处理、向量化、主题建模、情感分析、命名实体识别、文本分类、词嵌入与语料统计。
主要能力：文本预处理（小写化、去标点、分词、去停用词、词形还原，NLTK 资源含 punkt、stopwords、wordnet）；向量化（TfidfVectorizer、CountVectorizer，可设 max_features 与 ngram_range）；主题建模（LDA，训练用 CountVectorizer；BERTopic 神经主题模型，可设 nr_topics="auto"）；情感分析（NLTK SentimentIntensityAnalyzer 词典法；transformers pipeline 情感分类）；命名实体识别（transformers pipeline，aggregation_strategy="simple"）；文本分类（TF-IDF + LogisticRegression，cross_val_score 以 f1_macro 评估）；相似度与嵌入（余弦相似度、SentenceTransformer 的 all-MiniLM-L6-v2）；语料统计（文档数、总词次、词汇量、类符形符比、平均文档长度、高频词）；中文处理用 jieba 分词，情感与 NER 可用 bert-base-chinese、hfl/chinese-roberta-wwm-ext 等中文模型。
使用方式：资料给出可运行代码示例，需自行安装依赖，例如 pip install bertopic、pip install sentence-transformers、pip install jieba；运行环境提及 source /Users/zhangmingda/clawd/.venv/bin/activate。首次使用 NLTK 需按注释下载资源。
适用场景：科研文本语料分析、文献主题发现、情感倾向与实体抽取、文本分类基线实验。
限制：仅提供示例与方法，不含数据集、性能保证或结果结论；LDA 训练需用计数向量而非 TF-IDF，主题一致性评估建议改用 gensim，资料提到但未展开；小数据集上 TF-IDF + 经典机器学习常优于深度学习；中文 NER 与情感的具体模型效果、平台与价格信息暂未提供。