定义要研究的关系
品牌出现在来源榜单前列,以及出现在 AI 回答中,是两项观察,还不足以构成因果解释。知名度较高的品牌可能同时获得这两种展示。提供商可能偏好该来源本身,回答也可能完全取材于其他页面。
先提出一个范围明确的问题:在限定主题和采集窗口内,品牌提及频率如何随合格来源榜单中的位置变化?把提及定义为回答正文中可识别的品牌名称。引用应单独记录,不要把每个被引用页面都视为品牌背书。
- 在阅读回答结果前,写明纳入规则和提及的定义。
- 保留来源、品牌、提示词和运行标识符,让重复观察可追溯。
- 在报告主要比较结果的同时,提供来源排除检查和仍未解决的其他解释。
选择观察单位
一种可用的观察单位是品牌、来源页面、提示词和回答运行的组合。为这四项都保留标识符。否则,即使重复运行使用同一榜单并提出几乎相同的问题,也可能被误当作独立证据。
保留采集时来源榜单的样貌。记录它采用明确排名、中性字母顺序、赞助条目还是编辑分组。排名短名单中的第三名,与字母顺序目录中的第三项,含义并不相同。
建立可被证伪的比较
开展小规模试验时,可以选择一个软件类别和一组固定的评估提示词。在查看回答提及哪些品牌之前,先采集合格榜单。这能减少只选择有利来源、让有趣结果显得更强的倾向。在计算任何关系前记录排除条件。
应分别比较有排名和无排名的榜单,也应比较引用已记录页面和未引用该页面的回答。只在页面被引用时出现的位置规律,与整个样本中都存在的规律,是不同的发现;两者都不能单独证明移动某个条目会改变回答。
处理重复证据
同一提示词的重复回答共享上下文。同一榜单中的品牌共享编辑者和来源声誉。估计不确定性时应考虑这些聚类;如果样本无法支持可靠模型,则采用更粗粒度的汇总。行数更多,并不自动意味着独立信息更多。
检查表面规律是否由某个热门来源主导。排除该来源后重新计算,再观察关系的方向和稳定性。这种敏感性检查无法修复所有偏差,但能揭示一个宽泛结论是否建立在单次编辑选择之上。
区分描述与干预
观察性分析可以描述样本内的关联。测试干预效果则需要不同设计,例如对可比页面开展合理受控的编辑实验,并预先确定采集方案。不要为了制造实验而以欺骗方式调整公开排名。内容仍须对读者有用。
即使出现前后变化,也可能反映提供商调整、新增来源或无关的产品发布。应保留变更日志,并尽可能检查未受影响的对照提示词。如果这些提示词也发生变化,解释可能超出被编辑的页面。报告结果时应说明这种不确定性。
发布读者可以检查的证据
有用的研究笔记应包含纳入规则、采集窗口、提示词措辞、来源顺序定义、缺失数据和分析方法。仅在获得许可时分享有代表性的回答摘录,并提供足够上下文。用于解释方法的图示应标明是示意,而非实测证据。
结论应停留在研究设计能够支持的层面:在特定条件下观察到某种关系。不要将其变成“第一名必胜”的普遍规则,也不要变成购买排名的建议。真正有价值的结果,是为下一次研究提出更好的问题,并如实说明仍有哪些未知。