构造反证问题的核心不是再找一条支持证据,而是先写出“如果解释A成立,哪个可观测结果必须出现;如果解释B成立,哪个结果必须不出现”。搜狗网站诊断里,当抓取、收录或点击出现异常,最危险的做法是拿一个符合预期的指标去证明自己猜对了。反证问题要能排除至少一种解释,或者把两种解释导向不同的处置动作。
假设你观察到:某批页面在搜狗搜索的点击量下降,但站内访问日志显示这些页面仍有人访问。这里至少有两种解释:一是页面在搜狗结果中的展现或排序发生变化,导致搜索点击减少;二是站内访问来源结构变化,搜索点击下降被其他入口补上。注意,这两个解释都与“点击下降”兼容,所以不能拿点击下降本身当判据。
把现象写成一句可核查的话,例如“同一批URL在连续两个观察周期内,搜狗搜索点击下降,而站内总访问未同步下降”。然后分别写出解释A和解释B的预测:A预测搜狗侧的展现量、平均排名或结果摘要发生同步变化;B预测站内其他来源的访问占比上升,搜索点击占比下降。反证问题就从这些预测里长出来。
能区分两种解释的证据,通常不是单一指标,而是两条证据链的交叉。可以按下面的顺序构造:
这里的关键是:反证问题不是问“哪个解释更合理”,而是问“哪个观测结果会让其中一个解释站不住”。如果两个解释无论出现什么结果都能自圆其说,那它们还不是可检验的解释,需要继续拆细。
假设某业务有一批产品页,连续两周搜狗搜索点击下降,站内总访问基本持平。解释A:这批页面在搜狗结果中的展现减少。解释B:站内老用户直接访问增加,抵消了搜索点击下降。
反证问题可以写成:如果解释A成立,这批URL在搜狗侧的展现量应同步下降;如果解释B成立,站内直接访问或收藏访问应同步上升,而搜狗侧展现未必下降。接着执行一个实际动作:把同一批URL按“搜狗来源点击”和“站内其他来源访问”拆成两条时间序列,对齐同一时间窗。结果如果显示搜狗侧展现下降、其他来源平稳,就优先排查页面在搜狗结果中的呈现和抓取状态;如果显示其他来源上升、搜狗侧展现平稳,就优先排查站内渠道统计和落地页分流。这个动作的结果直接决定下一步查哪一侧,而不是继续在“点击下降”这个总指标上打转。
搜狗网站诊断中,有几类证据容易被误用:
所以,反证问题的输出应该是一组“如果……那么……”的检验条件,而不是一个笼统的结论。条件越具体,越容易在下一步用可核查的证据链排除解释。
一个可用的反证问题,至少包含三部分:竞争解释、区分性观测、以及观测结果对应的下一步动作。可以按这个模板写:
如果解释A成立,则[观测项]应出现[方向]变化;如果解释B成立,则[观测项]应不出现该变化。若观测结果支持A,下一步查[动作A];若支持B,下一步查[动作B]。
在搜狗网站诊断里,优先选择那些能直接改变处置方向的反证问题。比如,能区分“搜狗侧可见性变化”和“站内来源结构变化”的问题,比“点击为什么下降”更有用。因为前者会把你推向不同的检查对象,后者只会让你在同一组数据里反复描述现象。构造反证问题时,先问自己:这个观测结果出现后,我会不会改变下一步动作?如果不会,它就不是反证问题,只是补充描述。