覃超：Growth Hacking & AB test

　　编者按：3 月 12 日，由吆喝科技、出门问问主办，科技寺、峰瑞资本、活动树等联办的「增长黑客——互联网时代的超级英雄」线下沙龙中，前 Facebook 工程师、现峰瑞资本技术合伙人覃超作为第一位演讲嘉宾为大家带来了「覃超：Growth Hacking & AB test」的主题演讲。本文来自微信公众号吆喝科技（ID：  appadhoc）

　　我在 Facebook 的经历

　　Growth  Hacking 我做过很多，之前我在 Facebook 就做过一些实践的经验总结，以 AB 测试的为主。

　　我在 Facebook 主要的经历，开始是做了一点 Facebook  phone 相关的东西，Facebook  phone 当年是 CTU 自己主导的一个非常有雄心壮志的项目，硬件方面和 HTC 合作，有自己的操作系统，有一大批我们自己做的 APP，同时我们也邀请了很多开发者一起，来给我们开发 APP。

　　当时想做的一件事情就是安卓和 iOS 进行分庭抗礼，这在当时是高度的机密，我们整个组根本就不在 Facebook 公司里面，而是在 Facebook 旁边的楼里秘密开发。当年我们把这事情泄漏之后，CTU 勃然大怒，把泄密的人直接开掉了，因为那件事的关系，和斯蒂芬关系搞的也不太好，再后来种种原因，这个电话最后没有做出来，而且 CTU 也因为这件事离开了 Facebook。总之当时发生了很多惊心动魄的事情，现在就不在这里赘述了。

　　后来我就去了 Messenger 这个组，这个组特别有意思，它的产品形态相对是固定的，但是当时 Messenger 用户数非常少，而 Facebook 主 APP 的用户数非常多，当时就强行把 Messenger 整组拉到了 Growth 下面。于是接下来两年，怎么用 Growth  Hacking 的办法来做一个产品，把 Facebook 的用户拉到 Messenger 去，就是这么一个过程。

　　我基本上是在 Facebook 的后面两年，参加了整个 Growth  Hacking 的开发过程，总结了一些东西。

　　Facebook 里的 Growth Hacking

　　我们先来看一下，为什么 Facebook 的 Growth 做的好，或者为什么 Facebook Growth Hacking 值得大家学习。并不是我自己卖弄和吹嘘，我进去的时候大概是 5.5 亿的月活，出来的时候是 16 亿，每日活跃用户我进去的时候是 2.5 亿，出来的时候是 9.5 亿。这个比例的增长，现在来看这家公司肯定是世界上增长最好的一个公司，16 亿的用户组成也超过了中国的总人口数，可以组成世界第一国了。

　　你再看它的日活和月活的比例，其实它有所增长，也就是说有越来越多的月活用户变成了它的日活用户。再看一下它的移动版，现在移动用户接近 90% 了，我刚进去的时候大概 20%，因为刚进去的时候苹果才刚刚起步，现在 85%。也就是说它整个用户的数量，和活跃的程度，以及它在移动上的适配都做的非常好。

　　我们再看看这个图，这个图是 2010 年到 2013 年底，Facebook 的用户增长曲线，2010 年之前它的用户已经有 5 亿多了，所以已经非常非常接近终点了，并不是开始爆发的阶段了。在这三年的用户增长，你会发现有个特点，它基本上是一个线性的增长。这个柱的总高度是表示它的所有用户，每个不同的颜色，表示不同的国家和不同的地区，最上面那一批是美国和加拿大，美国和加拿大这块基本上已经成熟了，所以你看它增长的非常缓慢，其他地方增长的相对比较快。

　　但是你看它总体趋势，以及整个柱的高度，基本上是一个线性的增长，也就是说是一个稳步向上的趋势。线性的增长一般来说只可能是一种情况，在中国当然可能有两种情况，一种是数据造假，还有就是在 Facebook 里面经常会使用的一种情况，就是用大量地监控和数据，以及做大量地测试，来看这个增长是怎样的。

　　其实这个图是 3 个月的数据，如果你把数据分到每一天，或者每一个星期，你会发现它用户的活跃度是抖动的，而且抖动的是比较厉害的，说明一个什么原因？就是实时有人监控，当它的数据往下掉的时候，我们采取很多手段，把它拉回来，所以让它保持一个基本上稳定的线性增长情况。所以所有的一切都是人工调教的结果，这一个人工调教就是后面要讲的 Growth  Hacking 相关的东西。

　　这是我们整个 Facebook 的园区，就是我们上市的地方，一个 Hack 就印在这个地方，而右下脚就是 CTU 工作的地方，就是当年他的那个大玻璃房，后来整个园区搬到新的楼了，这个玻璃方就不在这个广场了，这也是当年我们上市的地方，Hack 两个字就放在我们这个地板上，同时 Hack 有时候也会安排上不同的颜色，这本身也是一种 Hack 的行为，就是做一些特别的事情，或者是有用的事情，或者是搞怪的事情，只要你不违法。

　　我们先说 Growth  Hacking 在 Facebook 自己的定义是什么样的？Facebook 文化里面非常强调一点就是 Hack 的精神，它所指的并不是黑客技术，而是指你马上上手，快速搞定，然后持续地迭代，在国内比较有趣的一点，就是超快猛，是另外一种解读，但是是类似的意思。

　　它所忌讳的一件事情就是你有什么新的想法，新的提议，大家一起开会，有人肯定来反对，因为你开始的时候也不可能是完美的，之后大家又一起开会，开了两周之后，却没有任何进展，这在 Facebook 是绝对禁止的，而且是非常非常反对的。

　　反而，你有什么想法就马上去做，做一个产品的原形出来，或者一个大概的样子，然后看用户的反映怎么样，甚至推出来做一个灰色发布之后，看用户的反映是怎么样。它的特点就是非传统的技术驱动，以及数据为王。而 Growth 就是增长，所以 Growth  Hacking 加起来就是说用 Hack 的方式来实现用户的增长，这里的用户增长包括用户数，也包括它的活跃度。

　　Growth Hacking 与传统增长方式的区别

　　我们再看 Growth  Hacking 具体的，首先它和传统的增长方式有什么区别？

　　传统的增长方式，在美国的话就是在电视里面打广告，在中国的话也差不多，然后扩张到任何渠道。我们先看一个互联网产品，它的用户进来之后，是怎么使用你的产品，以及后续对产品所造成的影响。

　　第一层是 Acquisition，就是用户拉新、用户获取，取到之后，Activation 变成活跃用户，激活注册之后开始来使用，Retention 指的是你满足了他某一个需求之后，他觉得你这个有用，然后保留在你的 APP 里面，就是说 Retention 指的是继续、留存，留存在你的应用里面，可以是网页，也可以是你的 APP。后面就可以付费了，因为他觉得你这个的确是值得他花钱，就开始来付费，就变成你的 Revenue，最后 Referral 指的是用户觉得你这个真的不错，然后自发地进行再分享。

　　这五个层级并不是一个接一个，在一个产品里面其实是一个周期的，只是放在这里，因为像一个漏斗一样，每一块人群都会相应地减少，所以我们要知道的就是，当你的产品发布了 3 个月之后，你每一块的情况大概是怎样的，你要有一个清晰的认识，这是关键，你不能用户开始用的时候你就不管了。

　　传统的市场办法所能解决的问题，就是打各种各样的广告，它能解决的就是品牌认知以及用户拉新的问题，但是它没法很好的衡量最后有多少的用户激活，多少用户留存，以及多少用户给你产生了增长，就是它的这个比喻，以及它每一层下来之后，是多少用户从你新的市场营销办法进来之后，有多少人最后付费了，以及再分享出去了。

　　而 Growth  Hacking 这里，因为是用了技术的手段，用了程序的方法来解决，它每个渠道你进行拉新之后，你就可以埋上点了，同时对这个用户进行标记，这一批用户进来之后，他每个层级最后还剩多少，有多少的用户数留在这里，你都会有一个清晰的认识，这就是 Growth  Hacking 能给大家带来的最大好处，就是说它可以对用户的第一层进行分析，让你对每个用户的行为有一个精细的了解，通过每一层它的转化率是多少，然后发现你的 APP 问题是什么，通过那一块有的放矢的进行，它的关键就是这个。

　　我们应该做些什么

　　我们再看我们要用户增长的话，我们需要做一些什么？我们先看 Facebook 的 Growth 大概是什么样子？

　　Facebook  Growth 的一个特点，就是扎克伯格亲自说，要成立这么一个 Growth team，整个组最大的特点就是直接汇报给扎克伯格，老大是一个西班牙人哈维尔，下面的组是收集数据和做数据分析的这个组，也就是说是数据分析师，这个职业基本上以数据分析为主，写各种各样的 SQL 的语言，进行分析，建立各种各样的数据图表，然后把很多图表汇总在一起，每周大家开会就看一张表，有些抖动非常厉害的时候，他就会标记出来，大家开会分析到底是为什么。

　　比如说有一些伊斯兰教国家做一些斋戒还是什么的，大家不吃东西、不上网，类似这个，有些可能是因为你产品的问题，然后会及时查到原因。Infrastructure 组做架构，因为数据量非常非常大，所以要花点工夫的，比如说现在大家经常会讲到大数据的基础设施，也由这个组来进行。Growth Strategy 这个组由 Alex Schultz 来主导，如果你们说 Growth  Hacking，经常会搜到他讲的课，他这里所做的事情就是看各种各样的数据来制定增长的策略，也就是说它并不是一个技术的团队，他要自己去思考战略，然后去想怎么进行。

　　i18n 的话是因为我们自己做了一套系统来翻译整个 Facebook，Messenger 这块因为非常非常重要，所以当年就拉到了 Growth 下面来做，由 Paypal 的 CEO 来主导，就是戴维马克思。上个月颁了一个 2015 年最佳的 CEO 是扎克伯格，如果你们看那个照片或者是看那个视频，就是戴维上去帮扎克伯格来颁奖。

　　对于整个组你会看到它的职能是非常齐全的，而且是独立出来的，有些产品在里面自己开发，有些产品和其他的产品组，或者是工程师的组进行深度地合作。它之所以有这么大的影响力是因为由扎克自己来主导的，而且基本上整个数据驱动和增长的东西，在整个 Facebook 是非常的深入，这个文化会让每个人都会想这后面的数据到底是什么样的。我们看 Messenger 放到整个 Growth  Hacking 下面，对这个产品我们做了哪些事情，哪些 Growth  Hacking 的步骤，来实现整个 Messenger 的快速增长。　　

　　第一步就是我们要开始收集数据，展示这些数据，我们经常会展示的就是不管是整个 Facebook 主页面或者别的页面，经常会看日活或月活，根据产品的区别，Facebook 本身频次并不算高，以看月活为主，周活看的都比较少，而 Messenger 是一个频次天生就很高的东西，所以主要看日活。

　　用户的在线时长决定了很多东西，这个就不赘述了。用户的留存率，比如说 7 天的留存、次日的留存，还有 3、4 天的留存之类的。User  engagement 指的是 7 天里面登录 6 天的，这个我详细讲一下，就是因为 L6/7，外面可能不太知道，在 Facebook 看的非常非常重的指标，它指的是一个用户 7 天里面连续登陆 6 天的数量是多少，之所以这个重要的话，是因为日活本身并不能反映你用户的反转程度。

　　这个指标可以跟踪单个用户在你这个平台上的忠实程度，你通过这个指标再根据日活来看，就会看到你的用户健康的情况。对于某一个特定的功能，我们会有自己独特的指标，像这里的话，是 Likes/comments。

　　因为我们推荐算法经常变，变的话我们可以看平均的用户 Likes/comments 来看，你这个推荐算法到底做的怎么样。对创业公司或者你们其他公司在做这么一个 Dashboard 的话，你们的核心业务指标是什么？你们要自己开会决定这么一个指标，然后放在这个页面里面来。所以这个页面建立起来相当于是最基础的一种情况，现在有很多服务基本上建了，就相当于这个基本上是标配。　　

　　第二步要做的事情就是对你这个 Dashboard 进行分析，最简单的一种情况就是了解你这个产品的健康程度到底是怎么样的，到底有什么问题，或者看是不是活跃的比例太小了，以及是不是用户的留存度不够。你要做的一件事情就是做用户的访谈，或者是做一些找的机制，定期给他发邮件，跟他说有什么新的变化。

　　第二个要研究的就是怎么相应地监控，第三个是非常重要的，在国内可能被忽视的一点，就是你通过用户数据可以反向来推导一些功能的迭代。在 Facebook 当年就是通过数据的问题，反映出为什么有一些用户非常地活跃，有一些用户非常地不活跃，最后推断出他的好友越多，这个用户会越活跃，由此做了 PYMK (People You May Know) 这么一个功能，你可能会认识的人像这样的，以及后来即使 Facebook 改版了很多，这个功能依然还在。

　　同理我们还进行了其他的一些数据分析发现，如果一个用户信息越完整的话，它的活跃度也越高，所以当时在 Facebook 左边页面就加了一个小红点，就是说你的用户信息不够完善之类的。这些也用到现在各种创业公司和创业产品里面，比如说脉脉就做得比较好，你的资料完整程度是百分之多少之类的，我想你们用了很多其他的社交产品，经常会看到这一点。

　　这一点的话，现在基本上是 Growth  Hacking 或者吸引用户来用，或者是让用户保存在你这个平台上的一个标配，就是你的完整程度，你可以用小红点，或者百分比来提醒用户。第三步关于增长模型，在 Facebook 里面，经过自己大量的实践之后，总结出了三点：

• 1. 拉新
• 2. 用户留存
• 3. 用户再分享

　　拉新的话有很多很多办法，当年 Facebook 那个年代还比较土，就是发 Email，或者是导用户的通讯簿，现在的话有各种其他的，还有就是花钱地推，我想这在中国我觉得我们做的更好。留存的话，就是说你要时刻监控这个用户，你的 APP 留存率是多少，现在的话，基本上也是标配。

　　我想强调的一点就是留存永远是王道，而且留存的基础是产品满足用户核心的需求，在这一点方面的话，Growth  Hacking 并不能很好的帮助你，你要自己去分析你的用户画像到底是什么，用户的痛点到底是什么，你怎么解决用户的问题，这个才是它的内因。

　　而 Growth  Hacking 相当于外因，它可以用技术的方法，或者一定程度的方法来帮助你提高你的留存，但是本质上还是要你满足用户的核心需求。对于用户再分享，能够实现口口相传的话，是对你产品最好的一个 Growth 的办法，而用户的再分享，在技术方面能做的也就是说让分享的按钮尽可能简单。

　　你现在到了任何一个社交、电商、O2O 也好，到了产品详情页就会有一个很方便的按纽，你点了之后就分享到朋友圈，或者是分享到微博去。用知乎的话，你回答一个问题，他默认就是你要不要分享到你的微博上来。

　　第四步，想要特别强调，就是整个 Facebook 里面大量地应用了 Gatekeeper 和 AB 测试，Gatekeeper 指的是灰度发布，而 AB 测试就是 AB 测试。

　　给大家说一下 AB 测试是什么，我想大家应该都了解它的概念了吧，就是说在发布一个功能的时候，并不是说一下子全部发给所有的用户，只是一开始功能全部都写完了，代码已经铺叙出去以后，服务器有一个开关，甚至是已经放到你的 APP 里面，用户下了之后，这个功能开始是关着的，服务器通过一个开关来控制这个功能。

　　一开始的话就是开放给百分之多少的用户，比如说一开始只开放给你的员工，然后员工来内部的测试，接下来通过这个开关，控制到 1% 的用户，看这批用户到底是怎么一个情况，他对这批实验型的用户，看你数据增长的是好还是坏，然后来判断你这个功能到底是不是有问题，或者是不是达到你预期的目标，最后再开放到 5%、20%，80%，后全部开发。也就是说就是一步一步来，更重要的是采集用户数据的反馈，来看到底有没有什么问题。

　　AB 测试的重要性

　　这个东西之所以重要，是因为在这个 Facebook 所有的地方都在用，我们大量使用 AB 测试，很小的功能我们不浪费时间了，直接发了，还真的就是直接发，但是在非常大的，非常重要的一个功能改版的时候，我们会做大量地尝试，不管是在 Web 上面，LOGO 上面，而且这种 AB 测试最后决定好还是不好，下还是不下。

　　考虑你的公司，你公司整个战略是什么，最开始的话，我们觉得增长是最重要的，不在乎钱，所以赚钱我们都不考虑。后来的话，我们会在乎赚钱，有时候对用户的体验有点损伤，我们也把它上上去了。

　　比如说我们的主页就做了大量地尝试，后面我可以详细给大家讲一下我们当年所进行首页改版的时候，碰到各种问题。另外我们的移动 APP 一开始是抽屉式的，很早很早以前，大家用过很明显的九宫格，很多 APP 都是这样，再后来变成抽屉式，最新的这版大概在两三年前就改成下面这样的，有 5 个入口，这 5 个入口是什么？它的顺序怎样，我们当年也进行了大量的 AB 测试，通过 AB 测试我们选定了一组，对我们的用户增长，以及我们收入的增长，最最合理的一组，放在这里。

　　我能想象如果没有 AB 测试，如果公司盲目地前行，会造成多大的损失，同时这个开发，在整个界面的更新，以及它的重新设计，最后大概用了 3 个月的时间，但是我们 AB 测试大概花了 6 个月的时间来做。比如说这 5 个的顺序是怎样的，以及这 5 个放哪里，到底是放 4 个还是 5 个，以及它右上角为什么要放这个人形的标志，我们也是进行了大量地测算。

　　我举个例子，第二个这里看到的是 Requests (friends  Requests)，当年为什么放在这里，大家可以想想，经常大家想 friend  Requests 就是别人要加你好友，这个并不感觉到很重要，为什么不把它放在目录里面，当一个朋友加你的时候，就显示一个小红点就行了，显示一个小红点，用户去点之后，你就可以看到用户加你，我为什么把它放在第二个就是这个原因。

　　说一下 AB 测试当年在 Facebook 怎么用的，而且为什么重要。在 Facebook 强行规定，发布任何一个很大功能的时候，你开始要先计划，同时要做一个预期，计划就是你这个功能发布之后，大概周期是多久，你的预期就是对用户的数据大概有怎样的影响，一般来说是用户的活跃度上涨，或者是用户的数量上涨，但是可能有其他的影响。比如说用户的在线时长会下降一点点，因为你更加有效了，或者是对用户的耗电量会有影响，以及它流量的损耗。

　　到了最后，基本上开了百分之百一段时间之后，我们最后才把 Client  code 全部清洗掉，也就是说中间有很长一段时间，比如说两个月，这个 APP 里面会有好几个版本，的确是这样的。　　

　　我们给大家介绍一下当年我们 AB 测试是怎么做的，就是 Record 这个功能，这个功能是当年我觉得微信做的很不错，然后加上去的，最后 PM 和 RD 本身觉得这个功能还不错，就批准了，就把它正式地做到我们的产品里面，当时就给了我们配了 PM，还有一个设计师来做这么一个功能，结果发布出去的时候，开始把整个代码都写完了，APP 已经更新之后，放给用户之后，用户不是马上就可以打开，而是一开始我们在服务器端开了 1% 的用户之后，1% 的用户开始看到这个功能，然后我们马上去看这 1% 的用户数据。

　　我一开始预期的话，就是用户的活跃度会增长那么一点点，因为有一个新消息的形态，同时我还预期了，它的单个用户发的消息数量会增加一点点，因为你会感到这个用户的感情在里面，而且是比较有趣的一种交互方式，但是我同时会说它的耗电量会多一点点，同时对它的流量损耗会多一点点，但是对整体用户的活跃度没什么太大的影响，或者会增加一点。

　　最后数据跟我预期的差不多，所以很快就开发了 5% 的用户，一直到 90% 的用户，最后一个月的时间就发布给整个所有的用户。你的公司如果比较大的话，你的用户大概有几千万，这时候你就要注意一下了，这一步一步发出去是非常重要的，而且中国还有一个情景，就是说同质化竞争非常严重的情况下，比如是都有 A 和 B，两个对打的情况下，喜马拉雅和蜻蜓，还有之前的赶集和 58 一起打的时候，你就不能随便乱浪了，你的产品在出去的时候，就要时刻监控用户的反映是怎样的。所以 AB 测试在这种大公司的话，就显得尤为地重要。

　　挽救 Facebook 于水深火热的一个例子

　　我再说另外一个例子，这个例子几乎是挽救 Facebook 于水深火热的一个例子，当年我们的网站在 2009 年是这个样子，如果你现在打开，基本上也差不多。但是当年的话，毕竟我们公司要求发展非常快嘛，大概有 4、5 次想改版首页，比如说像改成瀑布流，因为很多产品经理都会有自己的雄心壮志，或者有些人要追求自己的 KPI 之后，经常会有一些提议嘛。还有人就会想，是不是做成扁平的风格，但是左边一个，右边一个，因为一条线显示下来，总归不是特别好的。

　　最大一次改版是在这个时候改成这个样子了，这个改版是非常出名的，是 2013 年的时候，当年有一个特别牛逼的 VP，然后带了一堆很厉害的人做这么一件事情。当年有一个非常厉害的设计师，在 Facebook 非常有话语权的，他就讲了好几个理论，首先照片是非常非常吸引眼球的，所有用户其实生活节奏越来越快之后，就是更加喜欢看照片，而不是读文字嘛，所以照片被争抢了。同时用户因为时间太碎片了，他没有那么多时间一直停在上面，所以把很多东西都集合在一起，发在左边，左边以图片的形式来显示，还讲了其他一些理论，整个页面变成扁平。如果你在电脑屏幕上看，你会觉得更漂亮。

　　然后就开始做，觉得还真的不错，整个团队是非常厉害的一个团队，大概 60 个人，做了 6 个月开发出来，一开始给所有员工来使用，员工这边数据基本上没有什么变化，但是员工的反映是不错的，觉得很漂亮。后来就把它开发出去了，一开始开发了 1% 的用户就发现了问题，这一批用户他的活跃度和在线时长都下降了，而且下降的比较厉害，将近 20%。当时我们就去查，第一个问题是因为什么？就是我们在数据埋点的时候，数据采集的时候没写好，因为大家都在忙于开发各种各样的功能，你在这个公司干过你就知道了，真的埋点的时候，可能大家没有这个时间和精力，或者大家觉得这个东西比较脏或者累，一下子就把它干完了，在员工那里数据采集不对，但是在用户那里好在是对的。

　　当时发出去之后，毕竟这么大的一个团队做了半年，他当时一直去游说，然后他们还讲了很多的理论，比如说一开始可能用户不适应我们这个界面，虽然它漂亮，我们要给用户一定的时间，同时我们再优化一下，扎克当年也是非常开放的，说那行吧，毕竟这么大一个团队，做了半年的东西，不可能轻易地让它这么消失。后来他们继续做优化，大概干了三个月，最后那个月快完的时候，用户开放到 12%，对这批用户的话，将近 18% 的用户活跃度下降，同时用户 18% 的在线时长也降下来了。因为我们的在线时长最后直接看的广告，你的广告显示少了，相当于我们对这批用户有将近 20% 的收入损失，最后数据实在是说不过去了，然后他也没法再坚持了。扎克伯格就把整个这个版本给回滚了，回滚到现在 Facebook 的页面了。如果你看了这个页面，再返看这个页面，你有时候会觉得这个页面感觉像 80 年代那个页面，或者像 hao123 一样嘛，这个页面就比较现代化一点。的确这个页面当时给人感觉也是这样，他也讲了很多东西，设计师其实是非常开放的，他觉得这东西必须要上，但是真正在数据方面看来，他数据很差，没办法你就给我下去，这个版本就停留在这里。

　　我们当时想做的一件事情是稳步地增长，同时不让收入掉下来，最后选了这个版本。如果你的公司是一个设计导向的，或者你不在乎亏欠，而想做一些逼格风的话，你可能保留这个也没有错。但是最后你的思想就是说，你有这么大一批用户，最后你到底保留哪个？你要做 AB 测试，做数据收集，从数据方面最后再来分析，你到底选哪个版本，它的特点是什么，所以保留 A 还是保留 B，而不只是拍脑袋，或者是看老大的眼色行事。

　　人人过了 6 个月之后，把我们这版抄过去了，当时我们都已经下线了，但是毕竟我们上了 20% 的用户，同时其他的媒体经常会报，然后人人 PM 盯的很紧，马上就上来一版几乎一模一样的，我们觉得数据太差回滚过去，但是人人那时候已经做完了，他就只能上了，上了之后他也没做其他的事情，一直到下一版。

　　最后这个大的 PM 就离开了公司，因为他耗了大概 60 个人，半年的时间。他写了一个博客，其中一句话就是 Everything  must  be  tested ，it's  feature  echolocation. echolocation 指的是回声探测仪，类似于雷达，或者声纳一样的东西。We  throw  out  an  idea，and  when  the  data  comes  back  we  look  at  the  numbers，就是我有任何想法，或者要做任何事情的时候，就把它开发出来之后，马上投到市场，然后做一个灰度发布，做一个 AB 测试，看用户的反映到底是怎样的，看用户的数据。Whatever  goes  up，that  what  we  do. 就是数据好的话，我们就做，我们就继续地保留。

　　他前面还说了 We  are  blind，指的是即使他承认像 Facebook 这样拥有 10 亿用户的航母，在这个产品的海洋里面，或者在竞争的海洋里面走的时候，他觉得我们是盲目的，就是没人知道你这个产品方向在哪里，不是扎克伯格特别牛逼，站在那里高瞻远瞩，可以看到我们产品方向是什么样的。不是这样的，我们就拥有 AB 测试的方法，最后来采集数据，看数据到底是怎么样的，数据好的话我们就保留，数据差的话我们就摒弃。

　　We  are  slaves  to  the  numbers，我们是数据的奴隶，其实表达的意思就是说我们必须敬畏数据，或者我们要做数据的采集，特别是在中国，有同质化竞争非常严重的情况下，这点显得尤为重要。AB 测试还在 Facebook 其他的地方做了很多事情，就是在导流方面，我们在这里经常会看到，我们采用很多方法给我们的 Messenger 进行导流。

　　这点在中国，特别是大公司引用的非常多，比如说 58 赶集他们要推瓜子二手车的话，经常会开始导流，或者你们有其他附属产品的话，收购公司的话，要导流的话经常会采用各种导流策略，这也是 Growth  Hacking 的。

　　而这个导流的话，到底用哪种我们也进行了大量的 AB 测试，然后用的一个最好的办法，开始给 Messenger 导流的时候，我们的 Facebook 主 APP 页面，你还可以看 Messenger，然后过了几个月之后，就完全不能看了，你必须要下媒体源，你可能觉得这个东西对于用户来说体验过于差，过于强势，但是所有这前面五个方案，我们做了大胆的预测，然后再看用户，一步一步把用户的导向拉过来，而且最强硬的这一端，我们一开始开放出来，看用户的反映到底是怎样，最后我们才决定是做这个事情的。

　　左边那个可能是你可以下，但是你也可以以后再说，但是所有一切的做了大量的 AB 测试。同时我们的广告，Facebook 最大的收入来源就是在广告，到底是 A 还是 B 方案，同时显示在什么位置，在 Facebook 自己本身的广告，同时在我们广告投放的界面，我们给用户提供一个 AB  test 的选项，让用户来选，最后是 17% 的转化率，那肯定是 A。

　　现在因为移动越来越多了嘛，Facebook 收入主要的来源是来自于 feed  ads，也就是说在信息流上面显示的广告，也就是现在大家经常看到的微信朋友圈这个广告，这个广告我们当时在做的话，其实在组里面是有很大的反对，说你直接在朋友圈里面填广告的话，让用户觉得会非常地不爽，所以开始我们也是加了 AB 测试的，一开始开放 1% 的用户，看这些用户的反映，同时我们也会调我们的广告，不要搞的太差。

　　后面证明的确是可行的话，就开放上 20%、50%、80%、90%，直到今天还没有开到 100% 的用户，我们开到 99.5%，我们始终保留 0.5%，这 0.5% 是永远性的保留下来了，我们内部叫 Hold  out  group，指的是这 0.5% 的用户它始终不显示任何的 feed  ads。这 0.5% 的用户是固定的，而且是永远不变的，给我们的作用就是说，我们时刻监控对于这 0.5% 的用户，它的活跃度，以及在线时长，以及它的变化和有广告的这些用户来比，看对用户体验的损失程度到底是怎样的。因为一方面我们要赚钱，但是另一方面我们有一个标签，来看一下。

　　我们 Q4 的收益是 56 亿美元，80% 是来自于移动，算到全年的话，将这 0.5% 的用户作为一个标签，或者作为采集的标准，Facebook 大概每年会损失将近 1 亿美元投资这么一件事情，但是它还是值得去做的。所有一切重要的，后面的思想就是说，必须有标准，必须数据启动，AB  test 在这块给了很大的很大的帮助。最后总结一下灰度发布和 AB 测试给人的一种作用：

• 作用一. Data  driven，事实说话。
• 作用二. 防止独裁造成的产品或者功能灾难。
• 作用三. 缓解服务器的压力。
• 作用四. 重大 bug 的最后一道防线。

　　最后对整个演讲总结一下：

　　第一、如果你初创公司的话 Growth  Hacking 并不是你的药，它只是一个从 1 到 N 的加成，而不是你 0 到 1 的变化，你的 0 到 1 的变化是你要满足市场的需要，或者满足用户的需求。

　　第二、讲了 4 点在 Facebook 做 Growth  Hacking 的具体操作办法。

　　第三、我的最重要的一点，特别是对大公司，有很大的用户量，做 AB 测试的话，是最为重要的一点，之前 Google 也用了很多 AB 测试，其实这个 AB 测试在整个硅谷的话，其他公司运用非常多，Google 平时不说，但是它里面有大量的 AB 测试。