草庐IT

想做长期的 AB 实验?快来看看这些坑你踩了没

作者:江颢1.什么是长期的AB实验大部分情况下,我们做的AB实验都是短期的,一到两周或者一个月之内的,通过分析这段时期内测得的实验效应得出实验结论,并最终进行推广。长期实验即运行时间达数月甚至数年的实验,实验的长期效应指的是需要数月数年的AB实验才能积累的实验效应。那什么场景下还需要做长期的AB实验,为什么不直接将短期的实验效应直接推广到长期效应呢?因为在某些情况下,实验的长期效应和短期效应是不同的。例如,在搜索引擎上显示不够匹配的搜索结果会导致用户再次搜索,搜索份额可能在短期内会增加,但随着用户体验下降并切换到更好的搜索引擎,搜索份额从长期来看会减少;同样,展示更多的广告可以在短期内增加广告

想做长期的 AB 实验?快来看看这些坑你踩了没

作者:江颢1.什么是长期的AB实验大部分情况下,我们做的AB实验都是短期的,一到两周或者一个月之内的,通过分析这段时期内测得的实验效应得出实验结论,并最终进行推广。长期实验即运行时间达数月甚至数年的实验,实验的长期效应指的是需要数月数年的AB实验才能积累的实验效应。那什么场景下还需要做长期的AB实验,为什么不直接将短期的实验效应直接推广到长期效应呢?因为在某些情况下,实验的长期效应和短期效应是不同的。例如,在搜索引擎上显示不够匹配的搜索结果会导致用户再次搜索,搜索份额可能在短期内会增加,但随着用户体验下降并切换到更好的搜索引擎,搜索份额从长期来看会减少;同样,展示更多的广告可以在短期内增加广告

想做长期的 AB 实验?快来看看这些坑你踩了没

作者:江颢1.什么是长期的AB实验大部分情况下,我们做的AB实验都是短期的,一到两周或者一个月之内的,通过分析这段时期内测得的实验效应得出实验结论,并最终进行推广。长期实验即运行时间达数月甚至数年的实验,实验的长期效应指的是需要数月数年的AB实验才能积累的实验效应。那什么场景下还需要做长期的AB实验,为什么不直接将短期的实验效应直接推广到长期效应呢?因为在某些情况下,实验的长期效应和短期效应是不同的。例如,在搜索引擎上显示不够匹配的搜索结果会导致用户再次搜索,搜索份额可能在短期内会增加,但随着用户体验下降并切换到更好的搜索引擎,搜索份额从长期来看会减少;同样,展示更多的广告可以在短期内增加广告