A b tests

如何进行A/B测试

改进转化率的过程称为_ A/B测试 _：这是通过测试更改来查看它们是否能提高性能的科学。

例如，您可以重写着陆页的上半部分，或者从付费试用改为免费试用。这些更改可能会增加您的注册率。

你的任务是找出哪些值得测试。

我们将涵盖：

决定要进行A/B测试的内容
找到最有价值的测试
向你的团队请求实施测试

A/B测试是增长的根本

在测试中，你正在测试的每个东西都被称为一个变体。例如，你现有的网站可能是变体A。你与之比较的更改可能被称为变体B。

因此，“A/B”测试。

测试决定了增长的成败。我们与许多公司合作，他们无法让Facebook广告盈利，后来通过三个月的着陆页A/B测试取得了成功：他们不断使视觉效果更具吸引力，信息更加清晰。

A/B测试周期

以下是测试周期：

确定要测试的更改。
使用Google Optimize（一种A/B测试工具）向一半的访客展示更改。
运行此测试直到您达到足够大的访客样本量。
当收集了足够的数据时，Google Optimize 将报告你的更改对转化率产生显著影响的可能性。如果它造成了显著的_积极_变化，你应该考虑实施它。
记录你的实验的设计和结果，以指导未来的实验。

重复这些步骤直到你没有更多的变体想法。永远不要有停机时间；一年中的每一天都应该有一个测试运行——否则你就是在浪费流量。

A/B测试并不是为了每个变体追求完美。它是关于_迭代_。

获取A/B测试的想法

以下是我们获取想法的来源：

客服和支持团队 — 与客户互动的团队成员最了解什么能吸引他们。询问他们遇到哪些反对意见，然后在着陆页的文案中主动解决这些问题。
用户调查 — 询问用户他们喜欢你的产品的哪些功能。并询问他们的最大担忧是什么。在你的信息中解决这些问题。
最佳广告 — 你表现最好的广告具有可以重新用于A/B测试的价值主张、文本和图像。
竞争对手的网站 — 识别你领域中成功的竞争对手，并挖掘他们的页面以获得灵感。他们是否以不同的方式构建内容？他们如何与访问者交谈？考虑测试他们的风格。
网站上的行为 — 使用访客记录工具如 Hotjar 或 FullStory 来发现访客参与的模式：他们点击什么？他们忽略什么？这说明了哪种内容对他们更有吸引力？尝试给他们更多这样的内容。
过去的A/B成功和失败 — 在本页的最后，我们介绍了如何记录A/B的成功和失败，以便在未来实验中重新审视它们。

测试增长漏斗

只有当A/B变体能提高你的底线时，它才是更好的。

如果你发现某个变体使访客点击按钮的次数增加了10倍，但点击按钮并不会导致更大的注册或购买，那么你的变体并不比原始版本更好。它只是分散了用户的注意力。

对于每个A/B测试，要关注目标：你试图增加的有意义的漏斗指标是什么？通常，它包括电子邮件捕获、注册、购买和留存。

其中，你更常A/B测试漏斗早期的部分——有两个原因：

更大的样本 — 因为用户在每个步骤中都会流失，早期步骤有更大的样本量。样本数量很重要，因为你需要足够的样本量才能完成测试。否则，测试需要数周才能得出结论，并会阻止其他测试的运行。
较少的实施 — 更改漏斗顶部的资产（如广告、着陆页和邮件）通常比更改漏斗底部的资产（如产品内的体验）所需的工作量更少。这就是为什么着陆页A/B测试比产品内功能测试更常见。

在你的着陆页上应该测试什么

有两种类型的变体：微变体和宏变体。

微变体是小而快速的更改。它们不太可能产生大的影响。例如，改变按钮的颜色（一个微变体）通常不会超过2%的转换影响——最多而已。

另一方面，宏变体是对你的资产的重大重新思考。完全重写着陆页可以将转换率提高50-300%。这种情况经常发生。尽管如此，你通常只能获得几次提升后才会面临边际效益递减。

你的目标是专注于大而宏大的影响——因为每次A/B测试都有机会成本：你通常只能同时针对一个受众运行一个测试。

宏变体

宏变体需要大量的努力：很难反复集中精力并得到全公司的协作，以彻底重新思考你的资产。

但宏变体是唯一能看到森林通过树木的方式。

由于测试宏变体最大的障碍是投入资源，我们敦促你创建一个A/B测试日历并遵守它：创建一个每两个月一次的定期事件。在那天，花几个小时头脑风暴一个漏斗步骤的宏变体。

你可以使用以下五种方法之一：

模仿竞争对手页面的部分 — 找到那些有深思熟虑且结构良好的页面的竞争者。然后模仿其中的一些部分。这里的“部分”指的是不是他们的措辞，而是他们的布局元素，比如图表、滑块、GIF和其他传达价值的方式。（不要抄袭他们的网站。吸取灵感。）
撰写新的角色 — 根据某种新角色（如母亲而不是青少年）定制你的价值主张和文案。也许你误判了最重要的受众。
将页面分成两半 — 反直觉的是，有时候内容越少，最终阅读的内容反而越多——因为访问者不会感到不知所措。试着极度简洁。
表达立场 — 选择一个你比竞争对手更重视的价值主张。编写一个变体，明确划出界限；挑起争端并指出与你不同的人。然后向访问者展示站在你这边会带来更好的结果。
结合微变体 — 结合六个微变体，它们共同实现一个单一的目标，例如强化价值主张或促使访问者采取特定行动。

微变体

现在是一些微变体的想法。

文本 — 标题、副标题、功能标题、功能段落
图像 — 首图、内容图片、背景图片
CTA — CTA按钮设计、位置、文案
社交证明 — 尝试不同的公司标志或不同的证明形式
表单 — 字段数量、字段布局和字段文案
顺序 — 页面部分的顺序
设计 — 间距、颜色和字体样式
优惠 — 引入限时折扣

尽管微变体的重要性较低，但我们还是包括它们，因为如果你拼凑足够的微变体，有时你会得到一个宏变体。

最好的微变体

当你用完了宏变体时，这个微变体的影响最大：改变你上面的折叠内容（ATF）。

每一页都有一个上述折叠（ATF）部分。这是访客在滚动到页面其余部分之前看到的内容。放置在你的ATF中的内容在一定程度上决定了访客是否会继续滚动。

具体来说，重写你的标题和副标题文案。标题文字是你产品首次吸引访客的内容。所以，如果你一直在无意中在这里展示缺乏吸引力的信息，修复它会产生一定的影响。

优先排序A/B测试

A/B测试有潜在的机会成本；你只有一些访客进行测试。因此要合理地优先排序。

我们考虑的因素如下：

信心 — 你有多大把握测试会成功？你可以通过更好地了解你的用户来建立信心：对他们进行调查，观察他们的行为，并研究你过去A/B测试的结果。（当然，有时候疯狂、意想不到的测试表现最好。）
影响 — 如果测试成功，它是否有可能显著提高转化率？你的着陆页初始优化程度越低，或者你提出的测试规模越大，其潜在影响就越大。高影响力测试应首先运行。
实施难度 — 实施有多容易？是否存在过多的技术或操作复杂性？如果有，如果你有同样强大的想法，但需要较少的实施工作，那么请优先处理。
独特性 — 你的新测试是否是之前失败的测试的近似副本？例如，你在页面下方更改按钮颜色，而之前的按钮颜色更改在页面上方失败了？
品牌一致性 — 如果添加激进的销售文案成功提高了你的注册率，但你的公司重视随意和人际化的品牌，那么偏离品牌可能不是正确的权衡。有时，优先建立你引以为豪的品牌比不惜一切代价增加你的收入更为明智。

提醒一下，本书的最后一页有一份可下载的速查表，方便地总结了你即将学到的大部分内容。

设置A/B测试

关于正确测试设计的两个要点：

一次运行一个A/B测试。否则，当访客在会话之间切换设备（例如移动设备到桌面）时，他们可能会穿过多个测试。这会使结果变得模糊甚至无意义。
并行运行A/B变体。相反，如果你按顺序运行变体——即一个变体运行5天，然后另一个变体运行5天——那10天期间的不同流量来源和不同星期几将不受控制。这会无效化你的结果。

Google Optimize 会为你处理所有这些A/B测试逻辑。

考虑仅针对新用户

在设置测试时，考虑谁应该被包含在测试中。不一定要包括所有人。

例如，考虑只向首次到达你网站的访客展示一个实验。这确保了所有测试参与者都有相同的产品熟悉度基础。

要在Google Optimize中仅针对新用户，请遵循这些说明中的示例1：

评估A/B测试结果

为了使测试结果具有统计有效性，你需要达到足够大的样本量。数学很简单：

要统计验证6.3%或更高的转化率增长，测试需要1,000+次访问。
要统计验证2%+的增长，测试需要10,000+次访问。

这意味着如果你的流量不多，运行微变体的机会成本太大，因为微变体通常显示1-5%的转化率增长。与此同时，宏变体有潜力产生10-20%+的改善，这远高于6.3%的阈值。

下面是我们使用Google Optimize运行的一个实验的例子：

阅读Google的文档（第一部分和第two部分），学习如何解读这些结果。

如上所述，我们的页面在整个测试期间有1,724次浏览。我们的测试变体比基线提高了30%（29/22）。

顺便说一句，这个30%的数字可能是不准确的。这只是变体的最大潜力的参考。我们还没有那么多的会话来确定这种转化改善的准确性。但是30%很可能足以验证我们至少提高了6.3%的转化率（如前所述）。

注意Google Optimize列中标记为“成为最佳的概率”的列。如果一个变体的概率为70%+并且有足够的会话（例如，如我们在样本大小阈值中提到的1,000和10,000），结果很可能是统计上有效的，获胜的变体应该考虑实施。

现在你可以决定，为了获得6.3%以上的转化率提升，劳动和实施的外部因素是否值得。

样本大小和收入

如果我们的结果不明确呢？如果我们没有超过70%的确定性？

例如，如果实验揭示的仅仅是3%的增加，我们将不得不认为1,724的样本量太小，不足以统计验证3%的增加。

如果我们的信心很低，我们会结束实验，或者接受测试机会成本并继续直到达到10,000个会话。如果在10,000个会话后3%的增加仍然存在，我们将得出结论，它可能是有效的。

然而，正如前一节提到的，如果你一开始流量很少，不要冒险等待一个小的3%的改善。相反，考虑一个新的测试。

不过，如果这个小改变与有意义的收入目标（例如购买）有关，而不是例如人们提供他们的电子邮件地址，那么可能值得继续。

换句话说，实验的转化目标越接近收入，确认小的转化提升可能越有价值。

不要实施微不足道的胜利

不要实施微不足道的A/B变体。实施的未知缺点往往超过了预期收益的价值。

例如，一个变化可能引入未预见的漏斗后果，这些后果在几个月内不会显现出来。之后很难将其识别为根本原因。

考虑意图的程度

然而，有时微不足道的胜利在_新_受众上重新运行是有价值的。

考虑这一点：当你运行A/B测试来提高转化率时，你对已经高意图的流量（如有机搜索、推荐和口碑）的转化收益会有递减回报。这些访客是出于自己的原因来找你的。他们已经感兴趣。你要负责确保你卖的是他们期望的东西，不要让他们害怕离开。

相比之下，例如广告流量，A/B测试有潜力提供更大的回报。这些是不感兴趣的、中等意图的目光——通常是随机点击了你的广告的人。他们寻找借口来拒绝你的价值主张并立即离开。

这就是A/B测试发挥作用的地方：它们在低到中等意图流量中更有效地显著提高转化率，因为有更大的兴趣差距需要弥补。

这意味着：如果你只对高意图流量进行A/B测试，你可能不会注意到显著的改进，并可能错误地将测试视为整体失败。当这种情况发生时，但你确信变体确实有潜力，就在付费流量上重新测试。那里的改进可能足够明显以至于你能注意到其重要性。

这就是重点

三个要点：

A/B测试比大多数其他营销举措更具杠杆作用且成本更低。它对建立团队的纪律至关重要。
专注于宏观变体直到你耗尽大胆的想法。在追求微观变体时，专注于直接对收入（例如购买）产生影响的变体，而不是漏斗早期的转化目标（例如注册）。
仔细跟踪A/B结果，并在构思未来实验时参考它们。

###### 目录

文本链接
文本链接
文本链接

###### 在你的邮箱中获取可操作的增长策略——每周两次。

确认！我们在每周的通讯中分享新的手册。

哦！提交表单时出了点问题。