按意图筛选
区分用于训练模型的机器人与驱动 AI 回答的机器人，看清哪些流量真正重要。
产品
了解哪些 AI 爬虫访问了您的网站，以及它们读取了什么。
查看访问您网站的每一个 AI 爬虫，了解它们的意图，判断哪些机器人值得关注。
Kept AI产品示意图按意图筛选发现出错的页面审计 robots.txt观察长期行为变化
发现出错的页面
查看 AI 机器人抓取时返回错误的每一个 URL，及时补齐缺口。
审计 robots.txt
Kept AI 准确展示 robots.txt 阻止、允许或遗漏了哪些爬虫，避免误拦您希望接入的机器人。
观察长期行为变化
按机器人、模型和 URL 逐周跟踪 AI 抓取模式的变化。
常见问题
什么是 Agent 分析？
Agent 分析是 Kept AI 的一项功能，用于跟踪访问网站的重要 AI 机器人，包括来自 ChatGPT、Gemini、Perplexity 和 Claude 等平台的机器人。它展示哪些机器人来过、读取了哪些页面，以及 robots.txt 是否阻止或允许它们访问。
如何设置 AI 爬虫跟踪？
Kept AI 可连接 Cloudflare、Vercel 或 WordPress 等服务，只需少量手动设置。您也可以上传原始日志文件。连接完成后，Kept AI 会立即开始记录网站收到的每一次 AI 机器人请求。
为什么要跟踪 AI 机器人流量？
因为每一次 AI 回答都始于抓取。如果 AI 机器人无法访问内容或遇到错误，您的网站就无法出现在 AI 搜索结果中。监测和分析这些请求，可以帮助您发现并修复潜在问题、优先优化重要内容，并将机器人读取的内容与实际被引用的内容直接关联起来。
AI 爬虫与普通搜索引擎机器人有什么区别？
普通搜索机器人（如 Googlebot）为传统搜索结果建立页面索引。AI 爬虫（如 GPTBot、Claude-Web、PerplexityBot）则读取内容，用于在 ChatGPT、Gemini 或 Perplexity 中生成直接回答。Kept AI 按意图区分它们，帮助您了解访问目的：训练模型、建立检索索引，还是直接响应用户请求。
Kept AI 能识别哪些 AI 机器人？
Kept AI 覆盖各主流 AI 搜索与模型爬虫，包括检索和训练机器人，例如 ChatGPT、Gemini、Perplexity、Claude、Google AI Overviews、AI Mode 和 Copilot 等。
跟踪 AI 机器人对提升 AI 搜索可见度有什么帮助？
了解哪些 AI 机器人抓取了网站、读取了什么，以及是否被阻止之后，您就能修复错误、调整 robots.txt，并优先优化对 AI 回答重要的内容。Kept AI 将机器人读取的内容与实际被引用的内容关联起来。
可以导出机器人数据或基于这些数据做二次开发吗？
可以。Kept AI 提供 MCP 和 API 访问，让您将数据接入 Claude、Cursor、n8n 以及现有的工具体系。