从请求能够证明的事实开始
服务器日志记录的是到达产生日志这一层的请求。它们有助于解释访问问题和请求模式,却无法展示 AI 系统收到内容后的所有决策。成功响应只能证明内容在该层被交付,不能证明页面已被理解、索引或引用。
从一个范围明确的问题开始调查:某个爬虫能否访问新发布的指南?这比询问 AI 是否喜欢你的网站更容易回答。打开大量日志之前,先写下页面路径、观察时间窗口和相关基础设施。
找到保存相关证据的层
源站日志与边缘日志描述请求过程中的不同环节。缓存响应可能无需产生新的源站请求;安全规则也可能在应用运行前拦截访问。记录每份提取内容对应的层级,不要把源站缺少记录视为无人请求页面的证据。
仅导出回答问题所需的字段:带时区的时间戳、主机、路径、请求方法、状态、响应大小、用户代理,以及可用且安全的请求标识符。共享提取内容时,应排除敏感查询参数和个人数据。分析备注中应注明采样与保留期限的限制。
谨慎判断爬虫身份
用户代理字符串是请求方自行提供的声明。它有助于对记录分组,但单凭它不足以验证身份。当归属判断很重要时,应将现有网络证据与供应商当前公布的验证指南对照。若无法完成核查,就将该组标为匹配某种用户代理模式。
分别记录已验证身份、疑似自动化流量和普通浏览器流量。同时保留对请求用途的不确定性。即使识别出供应商,它也可能运营多个系统,因此不应自动将请求标为训练、回答检索或某项研究功能。
汇总前先追踪一条路径
设想一篇指南会重定向到修订后的网址。汇总数量可能显示请求成功,但检查路径后会发现目标地址返回权限错误。在判断指南可访问之前,应检查完整重定向链与最终内容。这是假设性的诊断示例,并非真实客户事件报告。
- 选择一个规范页面及其重定向地址,再在相关日志层筛选较短的时间窗口。
- 结合响应大小和内容检查状态码。仅有成功状态码,无法排除空壳页面或验证页面。
- 对比同一路径的 robots 规则、访问控制和安全事件,区分有意限制与意外故障。
- 完成经授权的修复后,重复小范围检查并保留前后提取内容。描述已验证的访问变化,不要据此声称可见度提高。
将智能体分析作为调查背景
Kept AI 的原生智能体可以分析爬虫活动、可爬取性、路径、robots 规则和三十天转化摘要。可以据此确定路径调查的优先级,再核实相关证据。汇总摘要无法识别每次请求被拦截的原因,也不能证明某次具体访问来自 AI 回答。
将 robots 覆盖规则和目标设置视为需要慎重处理的配置变更。目标最多十个,默认需要确认,但配置可以绕过确认。应用变更前,应审查预期规则与范围;仅为增加请求数量而移除限制,并不是有意义的访问策略。
划清访问与结果之间的边界
报告他人可以核验的发现
实用报告应列明受影响路径、日志层级、时间窗口、观察到的响应和下一项检查。说明身份是否经过验证,以及缺少哪些数据。将引用与后续可见度保存在独立观察记录中。这样既能复核技术修复,也不会把访问日志变成缺乏支撑的营销归因结论。