定义可以观察的查询扩展
查询扩展描述助手处理请求时可能使用的额外搜索。研究可以分析展示出的查询字符串,但不能假定界面揭示了每个检索步骤。首先应明确可观察单位:与一次已记录回答尝试相关联的一条显示查询。
应分别记录查询数量、查询长度和查询目的。查询更多并不一定意味着研究更广,字符串更长也不一定表达更多概念。助手可能重复搜索、添加产品标识,或收窄地点,而并未改变底层任务。
区分国家、语言与访问条件
国家比较不能只在表格中填入国家名称。应记录国家条件如何确立:提示词中的明确措辞、可观察的账户设置,或有记录的采集地点。这些条件不能互换,也无法确定提供商内部位置处理的所有细节。
使用等价任务,并将语言作为明确变量。如果一个国家的提示词全部使用英文,另一个国家全部使用中文,就无法清楚地将观察差异归因于国家。规模较小但条件交叉的比较,可能比规模更大却变量混杂的采集更有启发。
固定样本组并为方法设置版本
选择一组在不同观察窗口中始终有意义的稳定任务。开始前归档完整提示词、纳入规则和采集流程。将新主题加入独立的探索样本组,而不是替换历史基线中困难或表现不佳的提示词。
例如,一项示例研究可以比较两种国家条件下的软件部署指导请求。保持软件版本和预期部署结果不变。如果地区要求变化,应加以标注,并决定受影响的提示词是否仍适合纳入可比样本组。
明确长度与结构的测量方式
字符数容易复现,但不同文字体系之间并不直接等价。按空格分词统计词数,对中文尤其可能造成误导。应保留原始字符串、声明分词方法,并先在同一语言内比较,再解释合并后的多语言长度趋势。
结构编码手册可以分类可见查询是否添加地点、实体、约束、比较或后续澄清。适当时允许多个标签。应使用歧义示例测试编码手册,并保留审查者分歧,而不是强行把每条查询塞进看似整齐的单一类别。
- 按每次回答尝试中的原始顺序保存各条原始查询。
- 将未展示的查询标为未观察到,绝不当作长度为零的搜索。
- 保存测量版本及所有人工分类决定。
比较窗口时保留采集断点
在可比窗口内采集各国家条件,并记录失败情况。提供商界面变化可能只改变展示内容,而不改变底层搜索行为。如果可见范围变化,应展示采集断点,避免跨断点绘制连续趋势线。
汇总前先检查配对提示词的变化。由某类任务驱动的变化,可能在其他任务中并不存在。应报告已观察尝试数、缺失观察及查询长度分布,避免集中趋势值掩盖高度不均匀的分布。
利用研究选择调查方向
检测到查询扩展变化只是一条线索,并非排名或商业结果的解释。它可能反映界面行为、产品更新、任务构成或真实检索变化。观察性设计通常无法在缺少额外受控比较的情况下分离这些原因。
利用反复出现的约束,检查文档是否回答了相应读者问题。如果观察样本中的搜索越来越多地展示实施前提条件,就审查相关说明是否完整。发布发现时同时公开方法和局限,不要承诺匹配查询措辞就能获得引用。