取消
搜索历史
热搜词
原创
活动
产业创新
转型理念
ENI专访
当前位置:首页 >文章发布 > 正文
如何设计更好的指标
来源:数据驱动智能  作者: 晓晓 2024-07-03 10:10:50
指标是一种强大的工具;它们可以帮助您衡量自己关心的事情。拥有远大的目标是件好事,但要知道自己是否取得了进步、激励团队并建立责任感,您需要能够用数字来表达它们。

\

指标是一种强大的工具;它们可以帮助您衡量自己关心的事情。拥有远大的目标是件好事,但要知道自己是否取得了进步、激励团队并建立责任感,您需要能够用数字来表达它们。

但说起来容易做起来难。有几十种指标似乎在衡量同一件事,而且每天都有新的流行指标出现。你应该使用哪些指标,又应该不惜一切代价避免哪些指标?

在过去十年中,我一直生活在指标之中,并发现有一些区分好指标和坏指标的一般原则:

原则 1:指标应该是你想要衡量的指标

通常,您无法直接测量您关心的确切事物。

假设我的目标是衡量我的新闻通讯帖子的质量;我该怎么做呢?“质量”是主观的,没有普遍接受的公式来评估它。因此,我必须为我的目标选择我实际上能够衡量的最佳(或最不坏)代理。在这个例子中,我可以使用打开率、喜欢等作为质量的代理。

图片

这与人们通常所说的指标“相关性”密切相关:如果改进指标,是否会为企业创造价值?如果没有,那为什么要衡量它?

例如,假设您在 Uber 工作,想了解您的供应方是否健康。您可能会认为平台上的司机数量或他们在应用程序上花费的在线时间是一个很好的衡量标准。

这些指标并不糟糕,但它们并不能真正告诉你你的供应方是否真的健康(即足以满足需求)。可能是需求超过了驱动力的增长,或者大部分需求增长发生在上午,但供应增长主要发生在下午。

更好的指标是将供给和需求结合起来;例如乘客打开应用程序而没有可用司机的次数。

原则 2:指标应易于计算和理解

人们喜欢花哨的指标;毕竟,你付钱给数据团队就是为了做复杂的分析,对吧?但复杂的指标很危险,原因如下:

它们很难理解。如果你不确切了解某个指标是如何计算的,你就不知道如何解释其变动或如何影响它。

他们强制进行集中分析。通常,数据科学是唯一能够计算复杂指标的团队。这剥夺了其他团队进行分散分析的能力。

它们容易出错。复杂的指标通常需要多个团队的输入;我已经记不清有多少次因为众多上游输入中的一个被破坏而发现错误了。更糟糕的是,由于公司中只有少数人可以计算这些指标,因此同行评审很少,错误往往在很长一段时间内都未被发现。

它们通常涉及预测。许多复杂的指标都依赖于预测(例如,根据过去的数据预测群组表现)。这些预测通常不准确,并且会随着新数据的输入而随时间而变化,从而造成混乱。

以 LTV:CAC 为例

除了它不是最适合其工作方式的指标之外,它也很危险,因为计算起来很复杂。分子 CAC 要求你按群组汇总营销和销售部门的各种成本,而分母 LTV 则是对各种因素的预测,包括留存率、追加销售等。

这些指标就是当你在两年后才意识到方法论上存在问题并且你一直在查看“错误”的数据。

原则 3:良好的(操作性)指标应具有响应性

如果您想持续管理业务以达到指标,则需要具有响应能力。如果指标滞后,即变化需要数周或数月才能影响指标,那么您将无法获得可让您持续改进的反馈循环。

您可能想通过预测变化的影响而不是等待它们出现在指标中来解决此问题,但这通常是不明智的(请参阅上面的原则2)。

当然,跟踪收入等滞后指标很重要(尤其是对于财务或领导层而言),但大多数团队应该花大部分时间关注领先指标。

原则 4:指标应该难以操纵

一旦你选定一个指标并要求人们负责改进该指标,他们就会找到最有效的方法来做到这一点。这通常会导致意想不到的结果。以下是一个例子:

Facebook 希望向用户展示相关内容,以增加他们在网站上停留的时间

由于“相关性”难以衡量,他们使用参与度指标作为代理(喜欢、评论等)。

出版商和创作者意识到算法的工作原理,并找到心理操纵的方法来增加参与度 ➡ Click Bait 和Rage Bait诞生

“当一项措施成为目标时,它就不再是一项好的措施。”

— 古德哈特定律

在上面的例子中,只要用户继续在平台上花费时间,Facebook 可能就不会介意质量下降。但在很多情况下,如果指标被大规模操纵,就会造成严重损害。

假设您提供推荐奖金,用户因推荐注册而获得奖励。最有可能会发生什么?人们将尝试创建数十个虚假账户来领取奖金。更好的推荐指标是要求在平台上达到最低交易金额(例如 25 美元)才能获得奖金。

因此,防止操纵的一种方法是设计指标来限制您预期的不良行为。另一种方法是将指标配对。这种方法是由安迪·格罗夫在他的《高产出管理》一书中介绍的:

“因此,由于指标指导一个人的活动,你应该警惕反应过度。你可以通过将指标配对来做到这一点,这样就可以同时衡量效果和反作用。”

— 安迪·格鲁夫,《高产出管理》

在实践中,情况会怎样?如果您只是因为希望客户立即获得帮助而以“第一时间响应”为标准激励客户支持代理,那么他们只会对每张新工单回复一条通用消息。但如果您将其与工单解决时间(或客户满意度)目标结合起来,则可以确保代理真正专注于更快地解决客户问题。

原则 5:好的指标不应设定任意的阈值

你会发现科技公司中的许多流行指标都与阈值相关。

例如:

至少有 5 个连接的用户数

视频观看次数 > 1,000

这是有道理的;通常,采取行动本身并不是一个很有价值的信号,你需要设置一个阈值来使指标有意义。观看大部分视频的人与只是点击视频的人有很大不同。

但是:阈值不应该是任意的。

不要因为“1,000 次观看”是个不错的整数就选择它;这个门槛应该以数据为基础。观看次数达到 1,000 次的视频之后的点击率会更高吗?还是会催生出更多后续内容?创作者留存率会更高吗?

例如,Twitch会测量观看直播时间至少为 5 分钟的用户数量。虽然数据显然影响了这一选择,但目前尚不清楚他们最终为何选择 5 分钟。

在 Uber,我们尝试让数据告诉我们阈值应该在哪里。例如,我们发现附近有很多其他餐厅的餐厅在 UberEats 上更可靠,因为更容易留住送餐员。我们根据我们在图表中看到的“肘部”设定了我们认为低密度餐厅的阈值:

图片

这种方法在许多业务领域都有效;例如,我们还发现,一旦乘客或司机在平台上达到一定数量的初次出行,他们就更有可能留下来。

您并不总是能找到像这样的“神奇”阈值,但您应该在确定任意值之前尝试识别一个阈值。

原则 6:良好的指标创造背景

没有上下文的绝对数字很少有用。你经常会看到这样的新闻公告:

“为客户处理了 10 亿行数据”,或者

“我们平台向创作者支付了 1 亿美元的收益”

这些数字什么都说明不了。要想让它们有意义,就必须把它们放在上下文中。平台上每个创作者的平均收入是多少?在什么时间范围内?换句话说,将绝对数字转化为比率可以增加背景信息。

图片

当然,上述例子中有些是故意的;公司不想让公众知道细节。但这个问题并不仅限于新闻稿和博客文章。

从绝对角度来看您的销售渠道可能会告诉您它是否随着时间的推移而增长;但要使其真正有意义,您必须将其与销售团队的规模或他们承担的配额联系起来。这为您提供了渠道覆盖率,即渠道与配额的比率,这是一个更有意义的指标。

创建这些类型的比率还可以使比较更具洞察力和公平性;例如,比较每个部门的收入将使大部门看起来更好,但比较每个员工的收入可以实际了解生产力。

原则 7:指标需要明确的所有者来控制该指标

如果您希望看到某个指标发生变化,您需要有一个人负责改进它。

即使多个团队的工作有助于提高指标,您仍然需要一个负责实现目标的“所有者”(否则您最终会陷入互相指责的境地)。

这里有三种潜在的问题场景:

没有主人。没有人执着于改进它,这个指标将继续沿着当前的轨迹发展。

多个所有者。所有权不明确会导致摩擦和缺乏责任感。例如,在 UberEats ,有时不清楚某些指标是归当地城市团队还是中央运营团队所有。在很短的一段时间里,我们花在开会讨论这个话题上的时间比实际执行的时间还多。

缺乏控制。任命一个无力(或感觉无力)改变指标的所有者是导致失败的另一个原因。这可能是因为所有者没有直接控制指标的手段、没有预算来这样做,或者缺乏其他团队的支持

原则 8:好的指标可以最大限度地减少噪音

只有当您能够解读指标的变化时,指标才具有可操作性。要获得清晰的读数,您需要尽可能多地消除“噪音”源。

例如:

假设您是一家小型 B2B SaaS 初创公司,您将网络流量视为漏斗顶部的领先指标。如果您只查看“原始”访问次数,那么您会受到来自您自己的员工、朋友和家人以及访问网站的现有客户的干扰,并且您可能会发现网络流量和漏斗下端指标之间的相关性很小。

如果可能的话,从报告中排除这些流量来源,将使您更好地了解潜在客户渠道的实际情况。

原则 9:某些指标应成为行业标准

对于某些指标,重要的是它们可以在公司之间进行比较。例如,如果您从事 B2B SaaS 业务,您的 CFO 会希望将您的净收入保留率 (NRR)、CAC 回报或 Magic Number 与竞争对手进行比较(您的投资者也会希望这样做)。

如果您以不符合市场标准的方式计算这些指标,您将无法通过基准测试获得任何见解,并会造成很多混乱。这并不是说您不应该编造指标;事实上,在我的职业生涯中,我自己也编造了一些指标(可能会写一篇单独的文章来介绍如何做到这一点)。

但大多数财务和效率指标的定义最好保持不变。

综上所述

综上所述,我想明确一点:对于任何用例来说,都没有完美的指标。每个指标都会有缺点,你需要选择“最不坏”的那个。

希望上述原则能够帮助您做到这一点。

免责声明:本文系网络转载,版权归原作者所有。本文所用图片、文字如涉及作品版权问题,请联系删除!本文内容为原作者观点,并不代表本网站观点。
编辑:刘婧
关键词: 数字化  数据科学  LTV  CAC 
活动 直播间  | CIO智行社

分享到微信 ×

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。