Kept AI

围绕自身搜索问题绘制引⁠用⁠域⁠名⁠图⁠谱

Kept AI编辑团队
研究笔记

先划定问题范围

引用域名图谱回答一个具体问题:特定受众提出一组特定问题时,哪些网站被列为来源?它无法建立普遍适用的网站可信度或影响力排名。收集回答前,⁠先⁠明⁠确⁠受⁠众⁠。

以说明性的采购练习为例,把选择排班工具的问题与部署工具的问题分开。软件目录可能帮助发现产品,技术文档则可能支持设置。混在一起会掩盖每种来源⁠出⁠现⁠的⁠原⁠因⁠。

保留观察背景

记录完整提示词、提供商、可获取的模型信息、语言、地区设置、采集时间和回答正文。保存每个显示的引用网址及其支持的句子。回答提及品牌却没有链接来源,属于⁠另⁠一⁠种⁠观⁠察⁠。

通过重复运行观察变化,但保留各次运行身份。同一提示词重复三次,并不代表三种独立受众需求。保留错误和没有引用的回答,让最终分母真实反映尝试⁠采⁠集⁠的⁠范⁠围⁠。

规范化时保留含义

把原始网址、清理后的页面网址和用于汇总的域名分列保存。只有在不改变内容时才移除跟踪参数。明确决定文档子域名应并入主域名,还⁠是⁠单⁠独⁠分⁠类⁠。

一种实用抽查是跟随引用链接的跳转并核对最终页面。否则,转载文章、地区副本和共享发布平台下互不相关的页面可能看似同一编辑来源。记录例外,而不是悄悄改⁠变⁠归⁠类⁠规⁠则⁠。

分别计算不同指标

域名出现率可定义为:至少引用该域名一次的合格回答数,除以合格回答总数。多个链接应在另一个称为引用出现次数的指标中单独统计。说明失败运行⁠是⁠否⁠被⁠排⁠除⁠。

另加提示词覆盖范围:有多少不同问题至少一次产生了该域名?某来源在一个排障问题中反复被引用,可能次数很多,但用途狭窄。这些指标都不能证明来源⁠促⁠成⁠了⁠推⁠荐⁠。

示意图 · 从回答记录到审查队列 说明性流程,并非实测数据:提示词记录依次进入网址规范化、域名分组、相关性检查和按优先级排列的审查队列。

联系外部来源前先⁠检⁠查⁠相⁠关⁠性

把引用页面与其支持的句子一起阅读。将关系分为直接证据、背景信息、产品对比或支持不明确。可见度很高的页面,可能与团队希望读者理解的产⁠品⁠能⁠力⁠无⁠关⁠。

寻求外部报道之前,优先纠正自身文档中的错误。对于外部来源,找出具体缺失事实,并通过合适的编辑渠道提供可核实材料。仅凭引用频率,不足以成为请求链接⁠的⁠有⁠力⁠理⁠由⁠。

开展可复现⁠的⁠首⁠次⁠审⁠查

  1. 选择少量不同的购买及实施问题,标注各自意图。
  2. 在记录完整的设置下重复采集回答,并保留未成功的尝试。
  3. 抽查每个主要域名的一篇页面,记录其支持的具体说法。
  4. 安排一项有证据支持的修正,发布后用不变的提示词集合复查。

说明图谱无法⁠展⁠示⁠的⁠内⁠容

图谱反映所选提示词及采集条件,而非全部搜索。即使页面未变,检索结果也可能变化。仅凭域名出现,也无法判断来源准确性、访客质量或商业价值。应把这些判断放在独⁠立⁠证⁠据⁠列⁠中⁠。

分享发现时,把提示词清单和分组规则随图表一同提供。同事应能复现计数方法,并质疑相关性标签。这样,图谱才是编辑研究工具,而不是所谓的⁠互⁠联⁠网⁠排⁠名⁠。

参考资料