SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场q-topic-finetuning

q-topic-finetuning

写作与研究

查看项目

更新于 10-16 03:19

技能介绍

Q-Topic-Finetuning 是一个面向学术论文写作的技能，用于将主题建模输出微调并整合为理论驱动的主题框架。

用途

该技能适用于以下场景：将原始主题模型输出（BERTopic、LDA、NMF）转化为可写入论文的分类；将理论框架（如合法性理论、利益相关者理论等）应用于主题聚类；将 50 个以上主题整合为 20-50 个具有理论意义的主题组；保留领域特定区分（按实体、事件、地理、时间）；创建带分类标签的可复现 Excel 输出。

主要能力

技能包含以下脚本与参考资源：

  • scripts/classify_outliers.py：通过 Gemini 对离群文档进行重新分类
  • scripts/generate_implementation_plan.py：生成完整实施计划
  • scripts/update_excel_with_labels.py：更新 Excel 列
  • references/esports_ugc_example.md：完整示例
  • references/SP_OUTLIER_TEMPLATE.txt：离群分类提示模板

工作流概览：

  1. 加载并分析主题，识别重叠与未分配项
  2. 定义最终主题结构（FINAL_TOPICS 字典）
  3. 应用理论框架，对每个主题进行分类
  4. 生成实施计划（Markdown）
  5. 用标签更新源数据（Excel）

核心原则包括保留规则（按领域定制，识别基于理论重要性绝不应合并的内容，如不同公司、团队、人物等实体特定项，不同会议、赛事、时间段等事件特定项，不同国家、地区等地理特定项，不同行动者视角等利益相关者特定项）以及理论框架模板（可替换为相关框架，如合法性框架：认知合法性、实用合法性、道德合法性）。部分主题可属于多个类别，需在分配字典中显式跟踪，计算重叠以进行对账，并以分号分隔显示，如 "Category A; Cross-cutting"。

使用方式

所需输入：

  • 主题模型输出（Excel/CSV），包含列：Topic ID、Count、Name/Label、Keywords、Representative_Docs（可选）
  • 合并建议（可选），包含工作表：MERGE_GROUPS、INDEPENDENT_TOPICS
  • 文档数据（用于标签更新），包含带 Topic ID 列的单个文档

关键代码模式包括：最终主题定义（FINAL_TOPICS 字典，含 label、theme、sources）、分配映射（assignments 字典，识别多类别主题）、重叠计算（验证 non_outlier_docs + total_overlap = table1_total）、Excel 标签更新（TOPIC_MAPPING 字典，生成 Final_Topic_Code、Final_Topic_Label、Category_Theme 列）。

脚本模板位于 ${SKILL_DIR}/scripts/，可通过更新 FINAL_TOPICS、替换 FINAL_LABELS、修改主题类别以匹配框架来适配。

验证清单：所有非离群主题至少分配到一个类别；多类别主题显式跟踪；重叠对账已验证；领域特定主题单独保留；类别小计与总计匹配；输出文件包含新的分类列。

离群分类（基础模型）

对于噪声较大或存在未聚类文档（Topic = -1）的数据集，可使用 classify_outliers.py 脚本通过 Gemini 基础模型重新分类。

工作流：

  1. 准备提示：创建系统提示，列出所有有效最终主题及描述，参见 ${SKILL_DIR}/references/SP_OUTLIER_TEMPLATE.txt。
  2. 配置脚本：更新 ${SKILL_DIR}/scripts/classify_outliers.py 中的 valid_topics 和文件路径。
  3. 运行分类：
# 默认使用 GEMINI_MODEL 环境变量或标准 Flash 模型
python "${SKILL_DIR}/scripts/classify_outliers.py"

# 或指定模型版本
python "${SKILL_DIR}/scripts/classify_outliers.py" --model gemini-3-flash-preview

该脚本使用 Google Gemini 基础模型（支持 Flash、Pro 等），自动重试无效输出，更新 Final_Topic_Label、classification_confidence 和 key_phrases 列。

适用条件：离群文档（Topic -1）超过 10%；已有稳定的最终主题列表（来自 Table 1）；希望为最终分析清理数据集。

适用场景

学术研究中需要将主题建模结果转化为理论驱动分类框架的场景，尤其是涉及大量主题需要整合、需要保留领域特定区分、需要生成可复现 Excel 输出的论文写作。

限制

该技能的具体收费、价格、平台支持范围、效果等事实暂未提供。