Kept AI

测试 llms.txt 与 Markdown 页面⁠的⁠实⁠际⁠价⁠值

Kept AI编辑团队
研究笔记

把格式提议转化为可⁠检⁠验⁠的⁠问⁠题

拟议的 llms.txt 文件或 Markdown 替代页面,是呈现信息的实验,不能证明回答系统会使用它。创建之前,先说明期望该格式解决什么问题,以及什么观察结果会使⁠你⁠改⁠变⁠判⁠断⁠。

例如,文档团队可能怀疑导航杂项掩盖了简短的安装流程。其假设是,精简文本版本能让同一套经核验指令更容易被检索和检查。这比承诺在所有服务中改善 AI 可见⁠度⁠更⁠为⁠具⁠体⁠。

区分索引与索引⁠描⁠述⁠的⁠内⁠容

将 llms.txt 实验视为对选定资源的持续维护说明;将 Markdown 实验视为特定内容的另一种表示。两种名称都无法说明某个爬虫是否请求它、检索是否包含它,或生成式回答⁠是⁠否⁠依⁠赖⁠它⁠。

发布前,先定义其与公开文档的关系。当两个版本不同,读者需要知道以哪个页面为准。纯文本版本若悄悄省略警告、前置条件或版本条件,可能更易阅读,却更⁠难⁠安⁠全⁠执⁠行⁠。

先试做一个流程,再考虑⁠整⁠个⁠文⁠档⁠库

选择一个稳定、任务结果可观察的指南,例如配置本地测试连接。完整保留前置条件、命令参数、预期输出和清理指令。清楚标注示例值,避免有人把示意凭据误当⁠成⁠真⁠实⁠密⁠钥⁠。

使用以下清单使原型可审查。在未登录状态下测试公开副本,并保留原页面供比较。实验应减少对一种格式的不确定性,而不是创建第二套没有文档说明⁠的⁠发⁠布⁠系⁠统⁠。

  1. 逐项对照权威指南中的操作步骤与警告。
  2. 检查示例命令是否完整,链接是否正确可用。
  3. 指定更新负责人,并定义何时必须删除过时副本。

观察访问,同时避免过⁠度⁠解⁠读⁠日⁠志

成功请求只能证明测试条件下可访问。新资源的请求日志只能说明某个客户端请求过它,而且取决于日志和客户端识别的可靠性。这两种观察都不能证明内容⁠影⁠响⁠了⁠回⁠答⁠。

检查响应状态、重定向、可读文本和相关 robots 规则。Kept 原生智能体可帮助调查爬虫、可抓取性、robots 和路径问题。不要把成功的抓取检查描述成对 llms.txt 或 Markdown 摄取⁠的⁠普⁠遍⁠支⁠持⁠。

示意图 · 四个不同的证据层次 证据层次示意,并非实测数据:可访问性、观察到的请求、被检索的内容和对回答的影响需要不同检查;前一层不能证明后一层。

比较任务准⁠确⁠性⁠与⁠引⁠用

保存一个需要使用该指南具体流程的问题的基线回答。替代版本上线后,尽可能在相同记录背景下重复提问。检查回答是否保留前置条件和故障警告,而不只看是否⁠出⁠现⁠新⁠网⁠址⁠。

如果回答改善,应保留原始样本,并将结论标为暂定。服务变化和正常回答波动都可能解释差异。如果没有明显变化,要区分未观察到收益与证明任何系统都不可能⁠使⁠用⁠该⁠格⁠式⁠。

计算保持副本⁠一⁠致⁠的⁠成⁠本

每种替代表示都需要负责人和更新路径。考虑必需权限改变或命令过时时如何处理。轻量的自动生成副本可能便于维护;手工编辑的副本则可能变成看似有用却误⁠导⁠人⁠的⁠来⁠源⁠。

在决策记录中,将维护成本与观察到的实用性并列。如果审查者反复发现缺失警告,修复主指南可能比扩大实验更有价值。格式工作应与其他文档需求比较后再决定是⁠否⁠值⁠得⁠投⁠入⁠。

扩大之前先⁠设⁠停⁠止⁠条⁠件

当实验以可接受的维护成本满足经核验的读者或检索需求时,就保留它;条件不满足时则修改或停用。无需将格式宣布为万能方案或骗局,只需提供与说法⁠相⁠称⁠的⁠证⁠据⁠。

参考资料