在我还是Expedia网站创新经理的时候，这个角色要求我深入网站找到更多被忽视的区域（通常是落地页），并与设计师和开发人员一起改进它们，这意味着很多AB测试。这些被忽视的有着数百万独立访客的落地页，被证明是令人难以置信的AB测试训练场。

在做这份工作的时候，我看了很多关于AB测试的文章，直到今天依然如此，但我发现这些好建议里有一个很大的缺陷。这些中的大多数似乎在尝试推销给你一些类型的测试包或重复暗示例如按钮颜色提供了50%的转化，从我的角度看，这些作者甚至没有自己做过AB测试。

我从对数百万用户进行的AB测试中总结了一些经验和技巧，希望能帮到你。

1.首先关注大变化

很显然很多人都知道这条，但如果你想测试着陆页，建议从完全不同的开始。像按钮颜色这样增量变化的测试当且仅当你认为网页的其余部分已优化，并且通常不能再得到你认为那么大的杠杆的时候进行。

2.整体与部分的总和不同

有些人认为，在某种程度上，通过测试完全不同的页面，你不能知道什么元素正在推进改进。当然，确实如此，准确地了解影响的来源与测试结果是需要由你来平衡的。话虽然这么说，但这种思维假定了不存在的离散性，忽略了页面元素与设计体验之间的关系。没有什么是孤立存在的——例如，增加一个链接的点击可能会牺牲另一个的点击。

此外，正如我在第一点提到的，对个别元素的测试应该滞后。

3.跳出率优化不一定能提高转换率

这可能不够直观，但我无数次看到跳出率的优化并没有带来转化率的相应改善，最坏的情况，实际上还导致了转化率的下降。为什么呢？不可能完全知道，但一个明显的解释是，你“欺骗”一个用户沿着他们不想要的路径，或者“欺骗”你自己，认为这个路径将提供转化。

例如，在一个带有“了解更多”字样的页面上引入一个大按钮可能会诱使人们点击它。很不错，但那又怎样？你可以向用户提供该信息，而不需要点击。你改善了跳出，但没能优化转化。

这是很明显的一个例子。真实AB测试可能更细微。在落地页上展示更优惠的广告可能会吸引用户点击产品信息，但如果广告与客户的相关性不高，还会对转化机会有不利影响。

4.关于跳出率的另一个有用的注释

即使假设跳出率的改善同样也带来了转化的改善，你也无法比较跳出率改善跟转化改善。它们的相关性无法确定，这里用一个例子说明这一点：

假设你有一个在线业务出手 Patrick Swayze 电影的 DVD，你对落地页进行了一些设计更改，跳出率从20%优化到10%，50%的改善，这个数字很不错！因此，你应该会看到转化率也能提高50%？不是这样的。跳出率显示了多少人离开你的网站，而不是留下来的百分比。因此，你需要考虑的是留存率而不是转化率。你看到的是留存率从80%提高到90%，提高了12.5%。你想象不到我必须要对多少人解释这一点。

5.了解统计学

他们说，对经济学的基本理解不什么都不懂还差。在不了解供需经济学的细微差别和假设的情况下解读供需经济学的影响，会导致对不值得的结论有很大的信心。

统计学也如此。可悲的是，一些AB测试从业者甚至不理解他们从事的是纯粹的统计工作。与大多数对知识的错误使用一样，很少会出现“我不知道哪个更好”的情况，更多的会导致假阳性结果。

我不会在统计数据记录一个崩溃的过程，但这里有一对经验法则

测试结果的差异越小，得出结论所需的样本量越大

6.用户行为需要适应时间

如果你的网站已经有相当数量的重复/忠实用户，那么你需要运行AB测试很长时间，然后才能依赖数据。为什么？因为用户已经习惯了与现有网站的交互。引入新功能或设计可能会造成混乱并降低性能。另一方面，新功能/设计可能足够新颖因而引起了更多参与，但这并不能代表长期使用。

这里没有别的经验，就是运行测试，运行足够长时间的测试。在某些情况下，你可能需要运行测试至少一个月，以了解更改的长期影响。观察数据趋势，并在看到趋势稳定后对其结果更有信心。

结论：AB测试是对良好设计实践的有益补充，而不是替代

需要有一个平衡。不能过于依赖AB测试而不理解其局限性，也不能完全拒绝AB测试。最理想的情况应该是有一位了解多变量测试的设计师。

本文由吆喝科技编译自：