Kept AI

Agent 分析

了解哪些 AI 代理在访问您的网站、⁠读⁠取⁠了⁠什⁠么

记录访问您网站的每个 AI 爬虫,识别其用途,并决定哪些爬⁠虫⁠值⁠得⁠放⁠行⁠。

登录后即可对您的域⁠名⁠运⁠行⁠检⁠查

Northwind 概览

示例数据

六个月的虚构品牌趋势。切换指标标签,并聚焦月份以查⁠看⁠示⁠例⁠数⁠值⁠。

2025 年 4 月
Rosebay65%
Bluehaven62%
Northwind47%
Sunfield32%
Pinegrove21%

Northwind 的竞品

比较此示例中⁠的⁠虚⁠构⁠品⁠牌

品牌可见度情感倾向排名位置
1Rosebay65%862.7
2Bluehaven62%622.9
3Northwind47%893.6
4Sunfield32%763.9
5Pinegrove21%882.3

域名

网址 ↗
域名类型引用率平均引用率
Fforum.example用户内容32%41%
Jjournal.example编辑内容43%38%
Gguide.example对比内容31%30%
Nnorthwind.example企业内容28%24%
Aanswers.example其他19%17%

域名类型分布

按类型分组的高⁠频⁠引⁠用⁠域⁠名

  • 用户内容32%
  • 编辑内容26%
  • 企业内容20%
  • 对比内容14%
  • 其他8%

↗ 虚构品牌趋势

演示工作区 · 示例数据

按意图筛选

区分训练型爬虫与为实时 AI 回答抓取页面的爬虫,聚焦真正⁠重⁠要⁠的⁠流⁠量⁠。

发现出错的页面

列出 AI 爬虫请求失败的 URL,⁠并⁠及⁠时⁠修⁠复⁠。

审计 robots.txt

Kept AI 显示 robots.txt 对每个爬虫的处理方式——屏蔽、放行或未覆盖——避免误拦您真正⁠需⁠要⁠的⁠爬⁠虫⁠。

观察长期行为变化

按爬虫、模型与 URL 追踪每周的 AI 抓⁠取⁠趋⁠势⁠。

从洞察到行动

  1. 定位访问问题

    从失败 URL 或待复核的爬⁠虫⁠规⁠则⁠开⁠始⁠。

    示例界面:按 200、404 和 403 响应分组的示例请求
    32 次请求3 个状态码复核错误
  2. 核实预期策略

    确认该爬虫是否应⁠访⁠问⁠该⁠页⁠面⁠。

    示例界面:中性项目域名、地区和每周采样设置
    1 个项目设置范围复核配置
  3. 修复并观察新请求

    复核后续状态码;可访问本身并不保⁠证⁠获⁠得⁠引⁠用⁠。

    示例界面:采集、复核与复测的三步示例记录
    3 个节点保留记录7 天

三步接入网关

请以接入流程显示的域名专属记录为准。修改生产 DNS 前,先确认源站与证书已就绪;已跟踪项目并不等于⁠已⁠接⁠入⁠网⁠关⁠。

  1. 配置网关 CNAME

    按照接入流程准备主机记录⁠与⁠网⁠关⁠目⁠标⁠。

    示例界面:中性项目域名、地区和每周采样设置
    1 个项目设置范围复核配置
  2. 验证连接

    完成域名控制验证,并在应用中检查 DNS、证书⁠与⁠源⁠站⁠状⁠态⁠。

    示例界面:按 200、404 和 403 响应分组的示例请求
    32 次请求3 个状态码复核错误
  3. 查看新请求

    接入完成后,在 Agent 分析中检查爬虫请⁠求⁠与⁠状⁠态⁠码⁠。

    示例界面:示例爬虫请求与 HTTP 状态码
    只读日志3 条路径HTTP 状态

DNS 记录示例。请替换主机名,并以应用提供⁠的⁠目⁠标⁠为⁠准⁠。

www.example.com.  CNAME  gateway.freem.ai.

集成

把证据带入⁠现⁠有⁠工⁠作⁠流

使用项目中可用的数据。MCP 读取结果;助手生成的草稿应先审核,再⁠导⁠出⁠或⁠分⁠享⁠。

  • CSV / JSON 导出将项目结果下载到您自己的表格与 BI 工具中。
  • 只读 API把同样的观测数据接入内部看板。
  • MCP 服务器让 AI 助手读取结果,但不授予写入权限。
  • Cloudflare将爬虫请求接入 Agent Analytics,或上传原始访问日志。

职位型使⁠用⁠场⁠景⁠示⁠例

“我会先修复被阻止访问的指南,再检查下一次爬取,之后才判断是否改善。”
技术 SEO 负责人 · 网站团队示例 仅为场景示例,并非客户评价。

常见问题

什么是 Agent 分析?

Agent Analytics 是 Kept AI 的功能模块,用于监测访问您网站的主要 AI 爬虫(来自 ChatGPT、Gemini、Perplexity、Claude 等),并报告哪些爬虫到访、抓取了哪些页面,以及 robots.txt 是否放行⁠或⁠阻⁠止⁠它⁠们⁠。

如何开始追踪 AI 爬虫?

只需几步即可连接 Cloudflare 等受支持的服务商,或上传原始访问日志。连接完成后,Kept AI 会立即开始记录 AI 爬虫对您网站发出的⁠每⁠一⁠次⁠请⁠求⁠。

为什么 AI 爬虫流量很重要?

每个 AI 回答都始于一次抓取。如果爬虫无法访问页面或遇到错误,该页面就不会出现在 AI 结果中。监测 AI 爬虫请求可以帮助您发现并修复这些问题,把精力放在重要内容上,并把爬虫读取的内容与最终被引用的内⁠容⁠关⁠联⁠起⁠来⁠。

AI 爬虫与传统搜索引擎爬虫有何不同?

Googlebot 等传统搜索爬虫为搜索排名结果建立索引;GPTBot、Claude-Web、PerplexityBot 等 AI 爬虫抓取内容,供 ChatGPT、Claude 或 Perplexity 直接回答问题。Kept AI 按访问意图分类,让您看清页面是被用于模型训练、构建检索索引,还是为回应用户提问⁠而⁠实⁠时⁠抓⁠取⁠。

Kept AI 能识别哪些 AI 爬虫?

Kept AI 可识别主流的检索型与训练型 AI 爬虫,包括 ChatGPT、Gemini、Perplexity、Claude、Google AI Overviews、AI Mode 与 Copilot 背⁠后⁠的⁠爬⁠虫⁠。

爬虫数据如何帮助提升 AI 搜索可见度?

一旦了解哪些 AI 爬虫来访、抓取了什么、在哪里被拦截,您就能修复错误、调整 robots.txt,并聚焦于为 AI 回答提供内容的页面。Kept AI 会把爬虫活动与最终被引用的页⁠面⁠关⁠联⁠起⁠来⁠。

能否导出爬虫数据或在其基础上开发?

可以。通过 MCP 服务器或 API,把数据接入 Claude、Cursor 以及您⁠的⁠其⁠他⁠工⁠具⁠。

看看 AI 如何向⁠买⁠家⁠介⁠绍⁠您

示例界面:提及、来源和待办任务的概览