>

第 26 期公开课 | 6 大要素,帮你量化、评估产品迭代效果

官世强 2018-09-04
1010


作者 | 吴继业

来源 | 本文根据吴继业在「GrowingIO 增长公开课第 26 期」上的分享内容整理编辑


量化、评估产品迭代效果的终极目的,是不断提高产品用户体验、促进用户增长。在系统介绍用户体验衡量方式之前,我以手机银行为例和大家交流一下。 

在智能手机出现之前,我们只能用Windows电脑的IE浏览器来访问电子银行,而且必须要插入 U 盾、下载安装安全控件,才能访问电子银行。这个过程中,你的 IE 浏览器还必须是老版本的,最新版本的 IE 浏览器因为安全问题经常不支持。所以,电子银行的客户满意度非常低,用户体验极差。

随着智能手机和移动互联网的普及,现在大部分银行都有手机银行,手机银行用户数量的年度增长率超 20%。现在用手机银行可以进行转账、余额查询、理财等操作,使用频次是以前的 10 倍及以上。

那么,手机银行应该注重哪些用户体验呢?我把它分为了三类,分别是「上手体验」、「核心功能」和「安全保障」。

以「上手体验」为例,登录过程是不是简单?是可以用手机号登录,还是只能用银行卡号登录?如果一定要用银行卡号登录的话,那就太麻烦了。再说说「核心功能」里面的转账,大额转账的话可不可以在手机上实现,还是要到营业厅排队?排队的体验是非常差的,现在很多手机银行可以通过人脸识别技术来验证身份,这就非常安全。

对于手机银行来说,「上手体验」、「核心功能」和「安全保障」,这里面的每一个细节都需要关注。做好这些,可以极大地提升产品用户体验和满意度。当然,这些也需要数据来衡量。



1.如何衡量用户体验 ?

以前,我们用 PULSE 模型来衡量用户体验。PULSE 是 Page view(页面浏览量)、Uptime(响应时间)、   Latency(延迟)、Seven days active user(7 天活跃用户数)和 Earning(收益)的英文首字母组合。

举个例子:响应时间,用户修改密码是不是能很快响应和生效;延迟,系统转账能否实时到账,如果迟迟不到账的话用户就会很担心。当然,这些都是很宏观的指标,我们还需要更加微观、具体的指标来衡量我们的用户体验,这就是我们下面的 HEART 模型。

HEART 模型是 5 个英文单词的首字母的组合,HEART  也是心脏的意思,蕴含着以用户为中心的思想。

Happiness 代表用户满意度,即用户的态度和满意度。我们常用 NPS 调研问卷来完成,问用户「你是否愿意把我们的产品推荐给朋友」,我们可以用这种方式来完成我们的调研。

Engagement 代表用户的活跃度和参与度,比如用户的使用频次、粘度、访问深度。「用户访问深度」我们可以用数据来监测,即用户在一个会话中浏览了多少个页面。

Adoption 是指用户接受产品各个版本、各个功能的情况。我们常用产品/版本/功能使用人数占比来衡量用户的接受程度。

以上面的手机银行为例,它里面有转账、理财、修改密码、查询余额、智能投顾等等功能。只有产品体验越来越好,用户才有可能接触更多的功能;用户使用的产品功能越多,说明他的体验越好,产品/版本/功能的 adoption 越强。

Retention 是指产品的留存,分析用户是不是持续地、反复地使用你的产品。

最后一个 T 是指 Task Success,衡量关键任务的完成状况。比如修改密码,我们希望用户尽可能简单地完成,产品的摩擦越小,转化率越高。我们可以通过转化漏斗来监测和分析这个动作。



2.产品迭代需要关注哪些要素 ?

前面介绍了衡量用户体验的两个模型,PULSE 模型和 HEART 模型。那么,在实际的产品迭代中我们需要注意什么呢?

第一,明确改版的先决条件。不是改版后马上就可以进行分析的,这里面有很多前提条件,需要观察一些时间,后面我会结合案例进行阐述。

第二,监测绝对指标和相对指标的趋势。绝对指标是指对绝对数量额的指标,比如用户量;相对指标更多是指转化率等比率指标。

第三,观察关键路径转化率。产品改版前后关键路径可能发生变化,需要重点观察各个路径的转化率。

第四,观察新功能使用占比。一种情况是出现了一个新功能,另一种是一个新功能替代了原来老功能:这都需要观察各个功能使用占比的变化趋势。

第五,观察产品新功能错误率。能不能复现 Bug 是一回事,量化 Bug 的影响范围和出现频率又是另外一回事。如果产品经理可以拿到 Bug 错误率,那你找工程师修复的时候就有理有据。

第六,观察功能留存变化趋势。功能改版是不是有助于提升这个功能的留存率?它对其他功能的留存率和整体用户留存率是否有影响?这都需要我们关注。



3.案例:某 O2O App 首页迭代分析

这是一个 O2O App 首页迭代的案例,左边是改版前,右边是改版后的界面。(界面和数据进行了脱敏处理)

第一处改动的地方,左边 12 个 icon 改成了右边 18 个 icon 按钮,icon 由圆形改成了正方形。(由于截图长度限制,无法显示完整下拉页面)

第二处改动的地方,左边是平铺式广告 banner,右边是轮播式广告 banner 。

第三处改动的地方,右边新增了一个简单的「千人千面」首页推荐。

3.1 评估前的数据检验

改版大概是 9 月初上线,因为 iOS 和安卓需要发版,发版后用户逐渐更新版本。所以,我们需要等待一段时间,等更新到最新版的数量到达一定水平后才能进行改版分析。

我们分别对 iOS 和安卓应用的版本进行检测,iOS 发版 3 天后就有 80% 的用户更新至最新版本,安卓也有 60%。无论是从数量还是比率的角度看,分析的样本量都符合改版分析的要求。

还要观测一下绝对的用户量趋势,看他们是不是处于一个稳定的水平,最好是在没有强烈市场活动的前提下进行产品改版。

举个例子,618 就要来了,很多平时都不来的用户会因为促销活动涌入你的产品,你的访问量会有 100%、200% 甚至更多的增长。这时候,外部活动和产品改版叠加在一起,你难分清楚到底是产品改版还是外部活动造成的相关指标提升。上图中,无论是 iOS 还是安卓用户数量都处于一个稳定的状态。

最后我们要关心一下新老用户比率的问题。上面这张图中蓝色是老用户,黄色是新用户,可以看到,iOS 和安卓的新用户比率都处于一个比较稳定的水平。

总结一下:无论是 iOS 还是安卓,新用户样本量符合要求、总体用户数量稳定、新用户比率稳定。排除了外部干扰后,我们就可以开始进行首页改版分析了。

那具体分析什么呢?

首先,我们把首页 icon 入口从 12 个增加到 16 个,还新增了推荐,那么我想分析一下「首页吸引力是否增长」。

其次,我新增加了这么多流量入口,那么「首页导流能力是否增强」。接下来,我们就一一分析。

3.2 评估:新版首页的吸引力增强了吗?

如何评价吸引力是否增强?我们可以通过下面这些指标来衡量,把这些指标扫一遍,看看改版效果。

  1. 页面停留时长

  2. 人均启动次数

  3. 次日留存

  4. 活跃天数

  5. 访问时长

  6. 跳出率

  7. ……

我们先分析一下人均启动次数,上图展示了 iOS 和安卓的人均启动次数,我们是 9 月初改版的,可以看到前后没有太大的变化。

再观察一下新登录用户的次日留存,改版前后也没有太大的变化。同时,留存是一个长期指标,也需要我们长期监测。在这里,目前不能说明改版对次日留存有提升。

以安卓为例,9月5日-6日期间,虽然首页平均停留时长略有增长,但是增幅太小。这个数据也无法显著证明改版提升了停留时长。

再分析一下「看完首页的用户比率」,通过上面这张图我们不难发现,新版本 3.7.0 看完首页的用户比率显著高于老版本 3.6.30 。这说明我们做的首页推荐功能是有效的,让更多的用户拉到页面底部看完了首页,提升了首页的吸引力。

3.3 评估:新版首页的导流能力增强了吗?

评估完新版首页的吸引力,我们再来看看新版首页的导流能力有何变化。前面我们说到,从 12 个 icon 按钮到 16 个 icon 按钮;那么,首页的导流转化效果如何?

我们以安卓为例,分析一下导航栏点击率如何。上图第一个表是 3.7 版本的导航栏点击率,第二个表是 3.6 版本的导航点击率。对比起来,你会发现,新版本的导航栏点击率有两段是提升的,有两段的下降的。

那么,我们新增的 icon 是增加了用户的点击兴趣还是分散点击了呢?上面这张图可以很好地回答这个问题。蓝色曲线是新版 16 个 icon 汇总的点击率,黄色曲线是旧版的点击率,不难发现,新版首页的点击率大幅度提升,导流能力是增强的。

前面我们提到,新版首页采用轮播式 banner 替换之前的平铺式广告 banner。但是,上图显示新版的 banner 点击率显著不如老版本。所以可以得出结论,新版本轮播式广告导流能力下降,我们建议回滚这个功能。

接下来是分析「推荐商品点击率」,这个和我们上面分析的结果是相呼应的。上面我们分析发现,新版本导流能力增强,新增加的推荐让更多的用户看完首页,自然就会带来更多的商店点击(上图蓝色曲线)。

改版之后,如何评估新功能的效果?新的功能使用度一开始可能会很靠后面,但是后来可能逐渐提升。

我建议使用面积百分比图来分析新功能的接受程度。如果上面绿色模块的面积在逐渐变大,那么可以说明改版后新功能的吸引力在逐渐变大,新功能受到了大家的喜欢和认可。

首页改版可能会对用户的关键转化路径产生影响,这在个案例中用户转化路径不变,但是各个转化节点的转化率有变化。尤其是在改版的第三步,新版转化率有原来的 14.7% 提升到 18.1%。如果改版前后的关键转化路径发生了变化,这个时候你就需要重新建一个漏斗进行分析。

任何一个新功能上线后,都可能存在 bug,网页端可能出现 404、500 各类报错。对于错误率,我们可以通过埋点的方式,或者看 Web log、Server log 分析失效的次数有多少。如果你能给工程师一张图表,告诉他新功能上线后错误率暴增 35%,这是一个很大的问题。这样你就可以和工程师沟通,让工程师更快的去修复 bug。

最后,我们要长期监测各个功能的留存率。评估一个产品/功能是否有价值,核心就是看产品的粘性;那评估一个产品的粘性,最核心的工具就是留存曲线。如果新功能留存曲线非常好,超过老功能的留存率,那么我们就可以把新功能留下来,推荐到更靠前的位置,让更多的人感受到产品的价值。



4.总结

1.利用 PULSE 和 HEART 模型衡量产品用户体验。

产品迭代的终极目标是不断提升用户体验和满意度,PULSE 和 HEART 模型提供了宏观和微观两个层面的衡量标准。

2.用数据分析支撑产品迭代

在产品迭代的过程中,要持续关注 6 大要素:改版前后比较,绝对指标和相对指标趋势,关键路径转化率,功能和其他主要功能的使用占比,错误率,功能留存。

3.小步快跑,快速迭代

在本次课程的 App 首页改版案例中,一个月迭代一次,速度比较快。我们看到首页推荐的效果很好,很多人看,这个功能要保留。首页的轮播式 banner 没人点,那这个功能就回滚到原来的平铺式广告。通过这种小幅度迅速地迭代,我们不断学习改进、不断迭代进步,促进用户增长。