SuperAPI AI 工具集

llm-intelligent-public-opinion-analytics

智能体与模型

查看项目

更新于 10-16 07:27

技能介绍

用途:该项目是一个综合舆情分析平台,将15个主流平台(微博、B站、知乎、百度等)的26个热搜榜实时数据与大语言模型分析能力结合,提供热搜查询、话题聚类、情感分析和多渠道推送。

主要能力:15+平台的实时爬虫集群;LLM驱动的内容分析(含视频内容提取);自然语言查询界面;话题聚类与情感分析;多渠道告警(邮件、企业微信、Telegram);爬虫控制的键盘快捷键;报告生成(Markdown/PDF);定时监控与推送任务。

使用方式:需先准备浏览器驱动(ChromeDriver/EdgeDriver,放入PATH并chmod +x)、MySQL 8.0+数据库(创建hotsearch_db及用户)、Python虚拟环境。克隆仓库后执行 pip install -r requirements.txt,参考init.py建表,在.env中配置数据库、LLM API(OpenAI兼容格式或华为盘古)、SMTP、企业微信Webhook、Telegram Bot等。启动主程序:python app.py,访问 http://localhost:5000。爬虫可手动测试 python runspider-test.py 或 python run_spiders.py。可通过Python API调用OpinionAnalyzer、PushService、ReportGenerator、DataAggregator、VideoAnalyzer、LLMClient、MonitorScheduler等模块。

适用场景:跨平台热点追踪、舆情情感与趋势分析、定时监控告警、自动生成分析报告。

限制:需自行准备数据库、浏览器驱动和LLM API密钥;爬虫可能触发平台限流(HTTP 429),需调整并发与延迟;LLM调用可能超时或限流,需重试与批处理;大数据集需分页流式处理以避免内存问题。具体收费、价格与效果资料暂未提供。