Kept AI

研究榜单位置,避免混淆⁠因⁠果⁠与⁠相⁠关

Kept AI编辑团队
研究笔记

定义要研究的关系

品牌出现在来源榜单前列,以及出现在 AI 回答中,是两项观察,还不足以构成因果解释。知名度较高的品牌可能同时获得这两种展示。提供商可能偏好该来源本身,回答也可能完全取材⁠于⁠其⁠他⁠页⁠面⁠。

先提出一个范围明确的问题:在限定主题和采集窗口内,品牌提及频率如何随合格来源榜单中的位置变化?把提及定义为回答正文中可识别的品牌名称。引用应单独记录,不要把每个被引用页面都视⁠为⁠品⁠牌⁠背⁠书⁠。

  1. 在阅读回答结果前,写明纳入规则和提及的定义。
  2. 保留来源、品牌、提示词和运行标识符,让重复观察可追溯。
  3. 在报告主要比较结果的同时,提供来源排除检查和仍未解决的其他解释。

选择观察单位

一种可用的观察单位是品牌、来源页面、提示词和回答运行的组合。为这四项都保留标识符。否则,即使重复运行使用同一榜单并提出几乎相同的问题,也可能被误当⁠作⁠独⁠立⁠证⁠据⁠。

保留采集时来源榜单的样貌。记录它采用明确排名、中性字母顺序、赞助条目还是编辑分组。排名短名单中的第三名,与字母顺序目录中的第三项,含⁠义⁠并⁠不⁠相⁠同⁠。

建立可被⁠证⁠伪⁠的⁠比⁠较

开展小规模试验时,可以选择一个软件类别和一组固定的评估提示词。在查看回答提及哪些品牌之前,先采集合格榜单。这能减少只选择有利来源、让有趣结果显得更强的倾向。在计算任何关系前记⁠录⁠排⁠除⁠条⁠件⁠。

应分别比较有排名和无排名的榜单,也应比较引用已记录页面和未引用该页面的回答。只在页面被引用时出现的位置规律,与整个样本中都存在的规律,是不同的发现;两者都不能单独证明移动某个条目⁠会⁠改⁠变⁠回⁠答⁠。

处理重复证据

同一提示词的重复回答共享上下文。同一榜单中的品牌共享编辑者和来源声誉。估计不确定性时应考虑这些聚类;如果样本无法支持可靠模型,则采用更粗粒度的汇总。行数更多,并不自动意味着独⁠立⁠信⁠息⁠更⁠多⁠。

检查表面规律是否由某个热门来源主导。排除该来源后重新计算,再观察关系的方向和稳定性。这种敏感性检查无法修复所有偏差,但能揭示一个宽泛结论是否建立在单次编⁠辑⁠选⁠择⁠之⁠上⁠。

区分描述与干预

观察性分析可以描述样本内的关联。测试干预效果则需要不同设计,例如对可比页面开展合理受控的编辑实验,并预先确定采集方案。不要为了制造实验而以欺骗方式调整公开排名。内容仍须⁠对⁠读⁠者⁠有⁠用⁠。

即使出现前后变化,也可能反映提供商调整、新增来源或无关的产品发布。应保留变更日志,并尽可能检查未受影响的对照提示词。如果这些提示词也发生变化,解释可能超出被编辑的页面。报告结果时应说明这⁠种⁠不⁠确⁠定⁠性⁠。

发布读者可以⁠检⁠查⁠的⁠证⁠据

有用的研究笔记应包含纳入规则、采集窗口、提示词措辞、来源顺序定义、缺失数据和分析方法。仅在获得许可时分享有代表性的回答摘录,并提供足够上下文。用于解释方法的图示应标明是示意,而⁠非⁠实⁠测⁠证⁠据⁠。

结论应停留在研究设计能够支持的层面:在特定条件下观察到某种关系。不要将其变成“第一名必胜”的普遍规则,也不要变成购买排名的建议。真正有价值的结果,是为下一次研究提出更好的问题,并如实说明仍⁠有⁠哪⁠些⁠未⁠知⁠。

示意图 · 位置研究不能只有两列数据 研究关系示意,并非实测数据:来源选择、品牌熟悉度、提示词上下文和榜单位置都可能与观察到的提及有关。图示展示的是可能解释,而不是估算效果。

参考资料