SuperAPI AI 工具集

llm-public-opinion-analytics

智能体与模型

查看项目

更新于 10-16 07:27

技能介绍

用途:面向舆情监测场景,整合多平台热搜抓取与大模型分析,支持对话式热搜查询、关键词检索、话题聚类、情感分析和报告生成。

主要能力:爬虫集群覆盖微博、抖音、快手、B站、腾讯视频、百度、头条、知乎、淘宝、京东、Steam、TapTap、贴吧、豆瓣等15个平台26个榜单;LLM分析引擎可做话题聚类、情感判断、实体抽取与自定义报告;内容提取器支持视频与文章正文;推送系统支持企业微信机器人/应用、Telegram、SMTP邮件,可按Cron定时与热度阈值触发;FastAPI提供热搜查询、关键词搜索、爬虫启停等接口。

使用方式:需Python 3.8+、MySQL 5.7+/8.0+、ChromeDriver或EdgeDriver。克隆仓库后创建虚拟环境并执行 pip install -r requirements.txt;在.env中配置MySQL、OpenAI兼容API(OPENAI_API_KEY、OPENAI_API_BASE、MODEL_NAME)或华为盘古本地模型,以及各推送渠道参数;用init.py建库建表。运行 python run_spiders.py 启动爬虫,python app.py 启动Web应用(默认 http://localhost:8000),test_push_task.py 测试推送。

适用场景:日常热点监测、关键词告警、深度内容分析、定制周报生成、分布式多实例抓取。

限制:需自行准备数据库、浏览器驱动与LLM密钥;爬虫可能被平台封禁,需配置UA轮换与延迟;LLM接口存在速率限制;中文需统一使用utf8mb4编码。具体收费与效果资料未提供。