数据分析｜相信你定的指标还是相信你的经验？

摘要：人们很容易陷在一堆指标当中（因为你可以一次抓取许多指标），然后觉得所有指标数据都要好看才行。

约数十年前，如果你的产品想要达到良好的用户体验，你只能祈祷你的直觉有效。但自从我们拥有数据分析的能力后，问题就解决了。我们不用在黑暗中摸索，问自己是否真的有人读了每隔一天寄送出去的广告邮件，以及多少人试用了新发布的产品功能。我们只要通过指标数字就可以得到答案。

但即便如此，部分问题还是没有得到解决。无论上班、下班，我常听到以下问题被大肆讨论：

• 我们这么做难道只是为了追求好看的指标数字？
• 我们要如何在一味提升指标数字与做些真正有意义的事之间取得平衡？
• 我个人最爱的问题是：你是否只是被数字追着跑，还是你真的在乎数字背后的核心理念－使用者体验的提升？

砰！真是一记当头棒喝！

想要探讨指标与用户体验之间的关系吗？看看以下我的经验分享，保证让你有所收获。

不要问：“到底相信指标还是相信经验？”这不是二选一的选择题

在制作电影时，尽管支出大笔宣传费跟请到大咖，不要因为票房反应不好而减少制作电影的必要投入。这就像在讨论饮食健康这样的话题时，不是吃不吃碳水化合物的问题，而是要如何吃得健康。相对的，拥有数据来度量用户行为代表你能更了解用户。除非你想摸黑做产品，否则知道更多的用户信息总归是一件好事。（译注：也就是做产品时，我们不该思考到底用不用指标，而是要思考该如何正确地使用指标。）

当然，使用指标数据的前提是，你必须能够过滤什么信息是重要的，什么不重要。而不是去争论知道更多的用户信息这件事是否不好，这个立论是有问题的。真正的问题并不是出在指标本身。

其次，如果你真的创造了有价值的产品，那么正向指标应该会同步上升。如果产品体验没有任何改变，你不能说你提供了更好的产品功能。相反地，当你的产品迭代了，如果用户使用的次数更少，这明显表示你的产品设计有问题。

指标存在价值的第三个原因在于，它能聚集所有团队成员一同围绕一个清楚、具体的目标前进，让整体团队的努力有方向可循。逻辑上来说，如果只告诉50个团队成员要一同创造一个超棒的用户体验，这是很难执行的。

当然，在你激情地对团队喊话后，可能会有人激动地回应你：“对！我们就是要这么干！”但当某个星期一，团队小组Ａ兴奋地跟你说：“你看！我们创造了一个超棒的用户体验！”一旁的小组Ｂ却泼了盆冷水：“什么啊，这根本没什么。”这时，到底谁才是对的？也就是说，你们该如何一致地清楚定义出什么才是一个真正的“超棒用户体验”？

解决这个问题的方法之一是通过决策层的高低去定夺。你可以指派一个人，或是一群决策高层来主观裁断产品品质的高低。如果你不偏好用职位层级去评判产品好坏，另一个方法就是定出一个可评量的指标，例如一个极致的用户体验要满足的条件是，必须让50%的用户在体验产品后的一个星期回访。这么一来，所有团队成员每天都会清楚知道他们要达到的目标是什么，以及他们距离目标还有多远。

所以总结来说，指标是有用处的。指标的数值高低和经验值并不完全相悖。你要做的只是不从表面去解读和使用数据而已。

指标常为许多错误背黑锅

指标会被错怪这事就好像你在吃甜甜圈时，因为自己蘸了太多果酱，还怪碳水化合物本身含有热量。同理，人们常将许多错误怪罪于指标。

这种事会发生，因为不是所有事物都适合用指标去解读。同时，这事发生的另一个原因是，单一指标无法反映事物的全貌。通常，你需要一组指标去对事物进行通盘的解读。总之，指标被误用的原因很多，但如果你错误地使用指标，最终你可能会搞砸用户体验。我们来观察一些例子：

案例一

以一个任意产品来说，假使最初的点击通过率是2%。当产品做了改变，指标上升至5%时，我们心想“真是太好了！”但问题来了，点击通过率其实并不足以告诉我们用户体验是否真的改善。因为假如我们将网站上所有的链接设定为“点击此处你将获得250元。”此时会发生什么事？想当然，此时的点击通过率一定是快速飙升！但最终人们会理解，这个网站其实并不会真的给出250元，所以用户会感觉受骗而相当火大。接着他们停止点击链接、卸载App，然后在下载平台上给予一星差评加咒骂。最后，你的创业就这么失败了，生活一蹋糊涂，一切玩儿完。

案例二

人们过去会花5分钟使用我的 App，但新功能发布后，使用时长缩短为3分钟。“不！发生什么事了？”你心想。然而，用户使用时长是否真的是一项重要的指标值得你去追踪指标数值的高低变化？这要视情况而定。

假使你是内容型 App，那么你确实应该在意这项指标，因为产品的核心就是要提供好的内容给用户阅读、观赏，和聆听。用户在产品上花的时间越多，越代表着他们认为你的 App 提供了有价值的内容。

相反地，如果你的 App 是工具类的，像是帮助人们签署电子文件的工具，那么你可以不必关注这项指标。你最好找其他的指标来监控产品性能，比如用户使用你的工具完成数字签章的次数。因为事实上，人们大概都希望能快速地完成文件的签署，不过用户对产品的期望会随着更多的产品使用目的而有所改变。

案例三

起初，在伊利诺伊州有较多人在使用我们做的猫咪表情包制作 App，但现在俄亥俄州有更多人在用。这有什么问题吗？用户增加这不是挺棒的！但不同地区间的用户消长现象无关我们是否关注并影响了任何一个指标。

有些现象无法轻易以指标精准度量

假使，我们能够读取用户的心理，理论上我们就能够为用户设计出完美的产品。不幸的是，我们并不都是漫威漫画中的凤凰女（会读心术），所以我们只能适当地依据数据推测用户需求。但截至目前为止，我们能够测量的数据还是有限，以下事项我们无法简单地通过观测用户行为察觉：

• 人们对于产品的喜爱、讨厌、漠视程度;
• 功能更迭后如何影响人们对产品的信赖程度;
• 在比较你家产品和你的竞品时，人们如何主观地用“上手程度”这样的模糊概念去评比两边产品的好坏;
• 用户最想要改变、增减或修正的产品功能;
• 随着时间更迭，人们会想要怎样使用你的产品。

以上问题或许可以通过定性研究或问卷调查获得答案，但没有一个方法是完美的（还记得英国的脱欧民调相互矛盾，预测性低的前例吗？）。即便你可以对品牌情感这类模糊概念得出一个具体的数值（比如品牌信任度），想知道一些特定的产品项目变更对产品造成了什么影响还是困难的（例如新设计的产品商标和产品外观是否改善了我的品牌识别？）。无法精确得出以上数值意味着，有些事是指标无法告诉我们的，观察以下案例：

1.了解在人类复杂的认知行为下，开发产品要付出的代价

（译注：指标数值无法说明用户是否真的喜欢你的产品）

每一次你的 App 开发了一个新功能，你所追踪的指标很有可能跟着上升（毕竟之前没有这项功能，现在有人使用了，并且人们似乎没有减少使用其他功能，所以总体来说数字变好看了）。然而，如果你持续增加产品功能，到了某个时间点，你就会发现整个产品变得零乱、臃肿。随后，某个竞争者突然顺势而入，以简洁的功能掳获使用者的心。

所以人类行为是矛盾且复杂的（译注：指标数值的上升并不足以说明用户真的喜欢并会选择你的产品），我们还没找到对人类行为进行准确衡量的方法。

2. 指标无法衡量品牌价值的影响力

当苹果和耐克推出新产品时，许多人倾向不加思索，直接购买，因为过去他们使用产品的体验很好。但当市场上出现一个叫梨子或赛克的仿冒品牌时，市场肯定不会对他们的新产品做出同样反应。

其实我们都懂这个现象背后的原因，但确实很难给出一个具体指标去衡量品牌的影响力有多大，然后每天进行追踪。同时，我们也很难知道公司日常做出的上千个决策如何影响了品牌价值，以及每个决策取舍的得失。

3. 投注未来的巨大回报

（译注：当下的指标数值无法反应未来的商机）

没有指标可以告诉你，你该对什么样的决策孤注一掷来赢得未来的市场。回想2008年智能手机刚兴起时，看看你网站上手机用户的登入数，你会发现流量很小。估计你当时相当肯定地判定，因为受众数量过小，你不该针对手机用户投入太多产品开发。

但现在我们已经明白，当年那些对手机市场有远见，并愿意冒险的开发者已经获得了巨大回报。也就是任何指标都是告诉你当下的状况，它们无法告诉你长远来看，你应该朝哪个方向冒险。所以老话一句，除了长远的策略规划外，要成功做出一件产品，你需要相信直觉，大胆冒险。

有效使用指标的经验法则

以下是我在一次次优化产品开发策略与使用指标对产品进行衡量的经验总结：

想评估市场接受度？查看留存率

不要只看使用产品的用户数量（因为数据可能会因为大力的推广活动而扭曲。）留存率其实才最能说明你的产品价值，因为它透露了用户使用产品后，是否会喜欢到再次回访。

想提升用户转化率？先理出产品转化漏斗

要让使用者转化成为长期用户，这中间存在着一连串的障碍。

首先，必须让用户认知到产品的存在。

第二步，必须让用户产生兴趣去试用。

第三步，必须转化用户行为（例如下载 App、填写表单、确认电子邮箱。）

第四步，必须让用户与产品进行足够的互动，然后了解产品能为他们生活带来的价值。

第五步，必须让用户记得回访产品。

在以上每一步骤中，你都会流失用户。如果你可以追踪并衡量每一步骤的流失率，那么你就可以开始重点针对问题进行改进，降低流失率。

去理出哪些指标是真正重要的，然后集中火力

人们很容易陷在一堆指标当中（因为你可以一次抓取许多指标），然后觉得所有指标数据都要好看才行。你要知道，大多数的指标其实都不重要，重要的只有几个。不要浪费时间、精力在改善不重要的指标上。

想定出最关键的指标？试试所谓的“魔法棒”技巧

问自己一个问题：“如果我有一根魔法棒，可以知道任何用户信息，我最想得到哪个用户信息来帮助我判断我的 App 是否成功？”即使你想知道的答案无法被测量（比如“用户是否认为我的 App 提出的推荐有价值？”），但这是帮助你理出关键指标的开始。

（虽然我们无法真的问每个用户他们是否觉得我们的 App 提出的推荐有价值，但假使觉得有，他们应该会倾向把更多的推荐收藏起来或分享出去，同时也应该会花更多时间在浏览推荐，出现种种相关的行为反应。）

不要在不理解指标的含义下追求指标

以下观念再怎么强调也不为过：你和你的团队所选择的指标会大大地影响你们的日常工作，所以一定要确保被选用的指标能够说服团队的每一个人。

不要只从字面含义选用指标，要问为什么选用这些指标来指导团队。理解这些指标被用在日常运营中到底合不合理，以及它们如何激励我们的日常工作目标。是否曾经发生过你们直觉认为某个产品决策是好的，却不见指标有任何动静？或相反地，指标上升，但产品功能事实上并没有任何提升？如果是的话，是否有另一个指标（或一组指标）更能追踪我们所关注的业务重心？

抱持质疑的眼光，用负面指标验证事实

如果数据看起来漂亮，问问你自己：“是否有其他数据可以反向验证事实没有看起来的美好？”这些就是所谓的负面指标，每一个正向指标都应该有对应的负面指标。（举例来说，不要只看点击通过率，还要看跳出率;不要只看产品销量，还要看销货退回与取消订单率等等反向数据。）在看数据时抱持怀疑的态度能帮助你更快地找出数据解读的误区与调整策略。不要产生先入为主的认知偏差，让指标仅仅被用来佐证你的直觉是对的。

通过定性研究去理解用户行为背后的原因

在使用定量资料来观察用户行为时，最好同时搭配定性研究，好得知用户的感受，像是展开可用性测试、访谈焦点团体，以及进行问卷调查，用这些方法来理解用户行为背后的原因。

现在，看完了文章，去实践你对指标操作的理解，为人们创造更好的产品体验吧！

原文地址：https://medium.com/@joulee/metrics-versus-experience-a9347d6b80butm_source=tuicool&utm_medium=referral

原文作者：Julie Zhuo

译者：神策数据