SuperAPI AI 工具集

server-log-crawler-analyst

通用与其它

查看项目

更新于 10-16 09:24

技能介绍

Server Log Crawler Analyst 是一个用于网站监测与爬虫分析的技能,适用于无凭据监测证据已足够,或带凭据的 Search Console、排名追踪、分析工具、助手引用工具不可用的场景。在生成监测报告前,应先阅读 references/data-source-tiers.md。

用途

该技能负责无凭据监测基线、带 IP 隐私保护的服务器访问日志汇总、爬虫/用户代理观察报告、对 robots、llms.txt、sitemap、RSS 和代表性 URL 的公开 HTTP 检查、数据来源分级、监测局限与未知项记录,以及将 Search Console、排名/SERP、分析、LLM 引用监测任务移交给待办清单。

主要能力

  • 识别可用证据:公开 URL 抓取、访问日志片段、导出汇总或合成夹具。
  • 标注证据等级与采集时间。
  • 若提供日志,则按路径、状态、用户代理类别和脱敏 IP 哈希汇总请求。
  • 区分已知爬虫命中与未知类机器人流量。
  • 在被请求时检查公开发现端点。
  • 记录局限:无 Search Console、无排名数据、无助手引用数据,除非明确提供。
  • 使用 assets/crawler-monitor-report.template.md 生成监测报告。
  • 将需要凭据或引用数据的任务移交至待办清单。

使用方式

工作流包括:识别可用证据;为证据标注等级与采集时间;汇总日志请求;区分已知与未知爬虫;检查公开发现端点;记录局限;生成监测报告;移交后续任务。输出应包含证据来源与时间戳、数据等级与隐私处理、观察到的爬虫/用户代理类别、公开端点状态检查结果、可疑或无关机器人流量摘要、未知项与被拒绝的声明、监测待办与所需的下一个证据。

适用场景

适用于无凭据监测、服务器日志汇总、爬虫观察、公开端点检查、数据来源分级,以及为后续带凭据监测建立待办清单。

限制与边界

不得发布原始 IP 地址;不得在技能文件中存储凭据、Cookie、API 密钥或私有分析导出;不得仅凭服务器日志推断排名、收录或引用成功;除非有记录的验证方法,不得声称用户代理已验证为 Google/OpenAI/Claude/Perplexity;不得违反服务条款抓取 SERP 或助手;不得通过本技能更改防火墙、WAF、robots 或服务器配置。原始日志默认视为私有,应使用聚合计数和脱敏标识;仅在需要作为证据时保留精确时间戳,否则按小时/天聚合。公开报告应表述为“在提供的日志中观察到”,除非机器人验证已完成。

证据标签

Observed:直接出现在日志、HTTP 响应或导出报告中。Verified:已观察并通过接受的验证方法检查。Inferred:基于用户代理/路径/状态推测,但未经核实。Open:本次运行无可用证据。

验证

技能编辑可通过以下命令验证:

python3 <codex-skills-dir>/senior-skill-architect/scripts/lint_production_skill.py ./skills/server-log-crawler-analyst python3 ./skills/server-log-crawler-analyst/scripts/analyze_access_log.py ./skills/server-log-crawler-analyst/fixtures/sample-access.log --report <tmp-dir>/server-log-crawler-report.json python3 ./plans/seo-llm-skill-cluster/scripts/lint_skill_cluster.py .

正向测试位于 evals.json。