如何有效评估数据建模师的业绩?

今天就以案例的形式跟大家聊聊团队数据建模师OKR的设置经历,希望于大家有所启示。

Kpi, Indicators, Performance, Achievement, Analysis
2019年初,团队开始尝试引入OKR任务体系,灵感来源于这本书《OKR工作法》,所以引入OKR,首先是大数据能做的事很多,目标要达成一致就变得非常困难,其次大数据创新的速度加快,原来按年度考核的节奏就显得慢了,最后,很多互联网企业引入了OKR进行管理,自然有可取之处,也想学习一下。
OKR的核心是目标导向,而不是KPI导向,那么如何设置目标呢?
难度+具体是当前比较公认的判断好目标的方法,但目标导向其实是个很虚的东西,你还是需要通过KR等指标来诠释这个目标,但如果没具体实践过,就很难抓得住要点,OKR也很容易形同虚设。
今天就以案例的形式跟大家聊聊团队数据建模师OKR的设置经历,希望于大家有所启示。
1、好高骛远
有个智慧精选的短信产品,能实现广告的精准投放,为了提升投放的精准度,我们的建模师需要承担模型的优化工作。
第一季的OKR设置如下:
目标:提升智慧精选的转化率
KR1:月收入突破XXX万(起始XXX万)
KR2:月平均点击率XX%,复购率目标XX%
KR3:挖掘潜在客户XXX家,并提供至少XXX个场景解决方案和效果报告,形成教育行业的市场容量动态规划图,可视化展示市场潜力、已发展区域、推荐发展区域及触达场景案例。
我们把市场的目标也放到了建模师身上,希望建模师能够与市场共进退。现在回过头来想,还是too young,too simple。很多KR完全超出了建模师的能力圈,这些KR的设置毫无意义,变成了管理者的自嗨。
2、不求甚解
我们意识到了这个问题,然后进行了KR的精简。
第二季的OKR设置如下:
KR:月平均点击率X%(起始Y%, 点击率=所有营销类需求的点击用户/所有营销类需求的发送用户(剔除宣传类需求))
但对于一个投放产品来讲,其上承载的业务千差万别,比如我们的投放横跨了招聘、零售、教育、房地产等等各个行业,而每个行业的目标用户都不太一样,给建模师设置一个包罗万象的月平均点击率KR就显得有点托大。
虽然说创新要摸着石头过河,但河太宽了容易淹死。
3、KPI陷阱
这次我们分析了所有行业的业务量情况,选择教育行业为切入点进行模型提升。
第三季的OKR设置如下:
KR:教育行业月平均点击率X%(起始Y%)
如果你是团队的TL,你觉得这个OKR设置的怎么样?
业务的最终目的是转化,但我们发现在短信这种场景,点击率不是一个很好的评估效果指标,点击率和转化率也不是一回事,而很多讨巧的方法能让点击率提升,比如找到短信点击偏好的用户,但这些用户转化其实不高。
这凸显了OKR和KPI的区别。
4、数值诱惑
我们对于投放业务进行了分析,发现短信中一般都留有商家的电话号码,因此如果在投放后用户跟商家通话率很高,则更能反映模型的实际效果。注意这不是线上渠道,暂时还无法形成投放和效果的闭环。
第四季的OKR设置如下:
KR:教育行业月平均点击率不低于X%,平均通话率X%(三季度点击率X%,通话率Y%)
但我们发现虽然通话率是很好的指标,但通话率的提升到底要设置多少才合适呢?在业务类型多样、变动非常频繁的情况下,参考上季度的通话率就缺乏说服力,一个季度后,建模师说通话率从0.20%上升到了0.25%,你说到底是业务的波动还是模型的贡献?
我们还需要继续改进。
5、囿于训练
吸取了前面的教训,我们终于祭出了评估的大法,AB测试,这在互联网企业屡试不爽。
第五季的OKR设置如下:
KR:针对教育行业通话率指标,AB测试的效果提升在2倍以上
其实这个目标对建模师已经有了很好的指导意义,但还是不够的,因为我们的目标是业务转化,而不是让建模师拿着历史数据进行AB测试的自嗨。
6、更进一步
模型从训练完成到发布到生产环境再到可用其实有不少的路要走,我们更强调的是让模型在生产中发挥出规模化价值,而不是昙花一现。
第六季的OKR设置如下:
KR:在教育行业的投放中通话率AB测试的效果提升在2倍以上,并且覆盖80%的投放工单
这是团队通过6次迭代后达到的OKR目标设置水平。
我们发现,别人家的方法要为你所用,总是要经历不停探索和修正的过程。很多时候,我们是坚持不下来的,要么流于形式,要么说这个方法华而不实。
但笔者还是有个坚定的信念:OKR的本质是就要你体现出差异化的增量贡献,否则跟南谷先生就没什么区别。
希望于你有所启示。

本文为专栏文章,来自:与数据同行,内容观点不代表本站立场,如若转载请联系专栏作者,本文链接:https://www.afenxi.com/91047.html 。

(0)
与数据同行的头像与数据同行专栏
上一篇 2021-05-13 01:35
下一篇 2021-05-26 23:43

相关文章

  • 整天看用户埋点数据,知道数据是咋来的吗?

    摘要:我们平时看到的报表复杂而多样,能够通过多种纬度的数据评估用户的使用习惯和对应功能的价值。然而这些报表是如何产生的呢今天咱们就看看上报数据一步一步变成报表的大致流程。 所有上报的数据都是为了记录一次事件的发生或者描述一个状态,具体的上报数据可以设计为KEY-VALUE的形式或者数据组合的形式。KEY-VALUE的形式主要用来统计简单的计数类上报,如按钮点…

    2016-02-21
    0
  • 数据挖掘系列篇:在线机器学习FTRL算法介绍

    最近几个同事在做推荐平台的项目,都问到怎么实现FTRL算法,要求协助帮忙实现FTRL的算法模块。今天也是有空,赶紧来做个整理。明天还要去上海参加天善智能组织的FLY BI大数据分享会。有兴趣参加线下活动的可以多关注下微博和微信的信息。没事可以多参加分享分享。现在特别是像做在线学习和CTR这块,应用LR是最广泛的。但是批量处理超大规模的数据集和在线数据流时就遇…

    2015-12-25
    0
  • 一篇文章告诉你机器学习的发展史

    摘要:最近,我们听到了关于机器学习的很多新闻,这部分是由不断增长的需求和缺少数据科学家们所激发的。但像许多创新一样,机器学习并不是简单出现的 ,它至少发展了二十年。在这篇文章中,我们简要地回顾一下这段历史。 在成功地推出Unica系列营销自动化软件之前,这家公司的主要业务是通过特别关注神经网络进而进行预测分析。1995年,Unica介绍了Pattern Re…

    2016-04-04
    0
  • 如何成为一名卓越的数据科学家——开篇七剑

    如何成为一名卓越的数据科学家?

    2017-01-25
    0
  • QQ圈子:从哪里来,到哪里去

    QQ圈子,将是一个崭新的开始!

    2012-03-27
    0
关注我们
关注我们
分享本页
返回顶部