Server Log Crawler Analyst 是一个面向网站监控证据分析的技能，适用于无凭据公开监控证据已足够，或凭据化的 Search Console、排名跟踪、分析工具或助手引用工具不可用的场景。在生成监控报告前，应先阅读 references/data-source-tiers.md。
用途 该技能用于建立无凭据的监控基线，分析服务器访问日志摘要（带 IP 隐私保护），观察爬虫/用户代理，检查公开 HTTP 端点（robots、llms.txt、sitemap、RSS 及代表性 URL），进行数据源分层，记录监控限制与未知项，并将需要凭据的任务（如 Search Console、排名/SERP、分析、LLM 引用监控）转交待办。
主要能力
- 无凭据监控基线。
- 服务器访问日志摘要，包含 IP 隐私保护。
- 爬虫/用户代理观察报告。
- 公开 HTTP 检查：robots、llms.txt、sitemap、RSS 和代表性 URL。
- 数据源分层。
- 监控限制和未知项记录。
- 为 Search Console、排名/SERP、分析和 LLM 引用监控提供待办交接。
使用方式 工作流程如下：
- 识别可用证据：公开 URL 抓取、访问日志片段、导出的摘要或合成夹具。
- 标记证据层级和收集时间。
- 如果提供了日志，按路径、状态、用户代理类别和脱敏 IP 哈希汇总请求。
- 将已知爬虫命中与未知的类机器人流量分开。
- 在请求时检查公开发现端点。
- 记录限制：除非明确提供，否则没有 Search Console、没有排名数据、没有助手引用数据。
- 使用 assets/crawler-monitor-report.template.md 生成监控报告。
- 将需要凭据或引用的任务交接至待办。
验证方式 使用以下命令验证技能编辑： python3 $CODEX_HOME/skills/senior-skill-architect/scripts/lint_production_skill.py $HOME/SKILL/skills/server-log-crawler-analyst python3 $HOME/SKILL/skills/server-log-crawler-analyst/scripts/analyze_access_log.py $HOME/SKILL/skills/server-log-crawler-analyst/fixtures/sample-access.log --report /tmp/server-log-crawler-report.json python3 $HOME/SKILL/plans/seo-llm-skill-cluster/scripts/lint_skill_cluster.py $HOME/SKILL
前向测试位于 evals.json。
输出形态 返回内容：
- 证据来源和时间戳。
- 数据层级和隐私处理。
- 观察到的爬虫/用户代理类别。
- 如果执行了公开端点状态检查，则返回结果。
- 可疑或不相关的机器人流量摘要。
- 未知项和拒绝的声明。
- 监控待办和下一步所需证据。
适用场景 适用于需要无凭据监控证据的网站分析场景，例如分析服务器访问日志、观察爬虫行为、检查公开发现端点，或在缺少 Search Console、排名跟踪、分析工具或助手引用工具时进行监控。
限制
- 不发布原始 IP 地址。
- 不在技能文件中存储凭据、cookie、API 密钥或私有分析导出。
- 不单独从服务器日志推断排名、索引或引用成功。
- 除非验证方法有记录，否则不声称用户代理是已验证的 Google/OpenAI/Claude/Perplexity。
- 不违反服务条款抓取 SERP 或助手。
- 不通过此技能更改防火墙、WAF、robots 或服务器配置。
- 默认将原始日志视为私有。
- 使用聚合计数和脱敏标识符。
- 仅在需要作为证据时保留精确时间戳；否则按小时/天聚合。
- 如果用户要求发布报告，除非明确需要且安全，否则移除原始 IP、查询字符串、会话 ID、认证路径和管理 URL。
- 公开报告应说“在提供的日志中观察到”，而不是“肯定被爬取”，除非机器人验证完成。
证据标签
- Observed：直接来自日志、HTTP 响应或导出的报告。
- Verified：观察到并通过可接受的验证方法检查。
- Inferred：基于用户代理/路径/状态可能如此，但未验证。
- Open：本次运行中没有可用证据。