定义准备统计的事件
引用基准应从统计规则开始,而非先定目标百分比。先确定研究的是引用你的网站的回答、指向你页面的单个链接,还是引用段落中出现的品牌名称。这些事件并不相同,变化方向也可能不同。
对于简单的回答级指标,如果回答包含至少一个指向已认可域名的可见引用,就计为一次符合条件的回答。用符合条件的回答数除以所有合格采集回答数。按此定义,同一回答中的多个链接仍只计一次。
采集前写清分母
合格条件需要明确规则。没有引用的回答可能是有效观察,而请求失败则未必有效。未调用搜索的助手回答应进入主分母还是单独分组,取决于研究问题。
举一个纯算术示例:十二个合格回答中有三个符合条件,则回答级引用率为三除以十二。这些虚构数量仅用于演示计算,并非 Kept AI 基准,也不代表对提供商表现的结论。
选择回答同一问题的对照组
比较结果前,按意图、语言、提供商及采集条件对提示词分组。故障排查问题所需的来源通常不同于产品比较问题。将两者混在一起,可能把提示词构成变化误判为引用表现变化。
重复报告时,优先采用一组稳定且相关的提示词。将探索性样本单独保留,以便研究新问题而不悄然改写基线。如果提供商或采集界面发生变化,应标注断点,不要假装整个序列完全可比。
让统计流程可以复核
审查者应能根据保存的回答及其可见链接重现分类结果。保留原始网址以及规范化后的域名。重定向、子域名和转载副本可能改变归属判断,因此应记录各自的处理方式。
报告周期开始前,先对一小批试采样本应用以下清单。在处理其余样本前,通过书面规则解决分歧。若看到理想结果后才修改规则,就需要新版本,并在可行时重新计算先前观察结果。
- 保存提示词、提供商、采集时间、回答及可见引用网址。
- 将采集失败与合格但没有引用的回答分别标记。
- 请另一位审查者按相同规则分类存在歧义的链接。
在比率旁报告不确定性
发布任何百分比时,都应同时给出原始数量和采集窗口。对同一提示词的重复回答属于相关观察,不一定是独立抽样。若把每次运行都当作独立事件来计算狭窄区间,可能表达出研究设计无法支持的信心。
庆祝整体提升前,应先检查各提示词的结果。某个高频重复问题可能主导汇总平均值。如果汇总结果和提示词间分布分别回答了受众关心的不同问题,就应同时展示两者。
让基准结论保持在适用范围内
可见引用不能证明模型曾使用该页面训练,也不能证明读者点击过它或随后产生购买。同样,没有引用也不能证明内容被忽略。基准描述的只是记录条件下可观察的引用行为。
可以利用结果确定来源细查或受控内容改进的优先级。避免将特定品类样本变成普遍行业目标。最有用的基准应能供同事审计,而且在分享图表时仍保留其局限说明。