按意图筛选
区分训练型爬虫与为实时 AI 回答抓取页面的爬虫,聚焦真正重要的流量。
六个月的虚构品牌趋势。切换指标标签,并聚焦月份以查看示例数值。
比较此示例中的虚构品牌
| 品牌 | 可见度 | 情感倾向 | 排名位置 |
|---|---|---|---|
| 1Rosebay | 65% | 86 | 2.7 |
| 2Bluehaven | 62% | 62 | 2.9 |
| 3Northwind | 47% | 89 | 3.6 |
| 4Sunfield | 32% | 76 | 3.9 |
| 5Pinegrove | 21% | 88 | 2.3 |
| 域名 | 类型 | 引用率 | 平均引用率 |
|---|---|---|---|
| Fforum.example | 用户内容 | 32% | 41% |
| Jjournal.example | 编辑内容 | 43% | 38% |
| Gguide.example | 对比内容 | 31% | 30% |
| Nnorthwind.example | 企业内容 | 28% | 24% |
| Aanswers.example | 其他 | 19% | 17% |
按类型分组的高频引用域名
↗ 虚构品牌趋势
区分训练型爬虫与为实时 AI 回答抓取页面的爬虫,聚焦真正重要的流量。
列出 AI 爬虫请求失败的 URL,并及时修复。
Kept AI 显示 robots.txt 对每个爬虫的处理方式——屏蔽、放行或未覆盖——避免误拦您真正需要的爬虫。
按爬虫、模型与 URL 追踪每周的 AI 抓取趋势。
功能
示例数据 · 非客户实绩
先查看爬虫类别,避免将所有访问都理解为买家兴趣。
训练类:24 次请求 · 检索类:16 次
检查 URL 与状态码,确定下一项访问修复。
/guide → 200 · /old-guide → 404
调整访问策略前,结合实际请求检查 robots 规则。
2 个路径需要检查 robots.txt
复核效果时,分别查看爬虫访问与真人引流。
40 次爬虫请求 · 3 次引流访问
从失败 URL 或待复核的爬虫规则开始。
确认该爬虫是否应访问该页面。
复核后续状态码;可访问本身并不保证获得引用。
请以接入流程显示的域名专属记录为准。修改生产 DNS 前,先确认源站与证书已就绪;已跟踪项目并不等于已接入网关。
按照接入流程准备主机记录与网关目标。
完成域名控制验证,并在应用中检查 DNS、证书与源站状态。
接入完成后,在 Agent 分析中检查爬虫请求与状态码。
DNS 记录示例。请替换主机名,并以应用提供的目标为准。
www.example.com. CNAME gateway.freem.ai.“我会先修复被阻止访问的指南,再检查下一次爬取,之后才判断是否改善。”
Agent Analytics 是 Kept AI 的功能模块,用于监测访问您网站的主要 AI 爬虫(来自 ChatGPT、Gemini、Perplexity、Claude 等),并报告哪些爬虫到访、抓取了哪些页面,以及 robots.txt 是否放行或阻止它们。
只需几步即可连接 Cloudflare 等受支持的服务商,或上传原始访问日志。连接完成后,Kept AI 会立即开始记录 AI 爬虫对您网站发出的每一次请求。
每个 AI 回答都始于一次抓取。如果爬虫无法访问页面或遇到错误,该页面就不会出现在 AI 结果中。监测 AI 爬虫请求可以帮助您发现并修复这些问题,把精力放在重要内容上,并把爬虫读取的内容与最终被引用的内容关联起来。
Googlebot 等传统搜索爬虫为搜索排名结果建立索引;GPTBot、Claude-Web、PerplexityBot 等 AI 爬虫抓取内容,供 ChatGPT、Claude 或 Perplexity 直接回答问题。Kept AI 按访问意图分类,让您看清页面是被用于模型训练、构建检索索引,还是为回应用户提问而实时抓取。
Kept AI 可识别主流的检索型与训练型 AI 爬虫,包括 ChatGPT、Gemini、Perplexity、Claude、Google AI Overviews、AI Mode 与 Copilot 背后的爬虫。
一旦了解哪些 AI 爬虫来访、抓取了什么、在哪里被拦截,您就能修复错误、调整 robots.txt,并聚焦于为 AI 回答提供内容的页面。Kept AI 会把爬虫活动与最终被引用的页面关联起来。
可以。通过 MCP 服务器或 API,把数据接入 Claude、Cursor 以及您的其他工具。