取消
搜索历史
热搜词
原创
活动
产业创新
转型理念
ENI专访
当前位置:首页 >文章发布 > 正文
6个月vs6年,为什么有人一直停在取数岗?
来源:大鱼的数据人生  作者: 讨厌的大鱼先生 2024-11-15 16:25:21
重新设计数据模型,采用流式处理架构统一数据口径,建立指标字典开发数据质量监控系统建立数据治理制度。

序:一条深夜的微信

2023年12月的最后一个工作日,凌晨两点,我收到了老王的微信:"老师,晋升结果出来了,我又没过..."

消息框上方显示着他正在输入,几分钟后又跳出一句:"同期的小张都技术主管了,连刚来6个月的小吴现在都能独当一面。我实在想不明白,为什么会这样?"

这是他第三次在高级数据分析师的评选中失利。作为他的前导师,我很清楚这对一个做了6年取数工作的人意味着什么。

看着这些文字,我的思绪不由得回到了2017年的夏天,回到了老王和小张初入职场的那个时节。是的,他们都从取数工作起步,但最终却走出了完全不同的道路。这其中的原因,也许要从他们的故事说起。

第一章:相同的起点

2017年7月,老王和小张作为应届生加入了我们的数据团队。他们都来自985高校的计算机专业,基础扎实,对数据充满热情。老王性格沉稳,做事认真;小张话不多,但眼神中总带着好奇。

还记得他们接到的第一个取数需求。那是一个炎热的下午,市场部的李经理火急火燎地跑来:"最近几个渠道的推广效果不太好,老板要求三点前看到近三个月的用户增长分析。"

老王立刻打开电脑,开始着手取数。他的处理方式很直接:先统计每日新增用户数,再按渠道分组,最后导出Excel做成图表。前后不到20分钟,一份整齐的报表就发了出去。

而小张却皱着眉头问了一连串问题:"最近是指什么时间段?不同渠道的预算投入是多少?" "新增用户要看注册量,还是要考虑活跃度?" "以前做过类似分析吗?之前发现过什么问题?"

李经理愣了一下:"这些...我得问问市场总监。"

"要不要我跟你一起去聊聊?"小张主动提议,"可能现场了解更清楚一些。"

一个小时后,小张不仅带回了详细的分析需求,还了解到了市场部最近遇到的困境:获客成本居高不下,用户质量参差不齐。他花了整整一下午,不仅完成了基础的数据统计,还附上了一份深度分析:

不同渠道的获客成本对比

用户注册到活跃的转化漏斗

高质量用户的行为特征

针对性的渠道优化建议

"你们看这里,"小张指着他画的一张转化漏斗,"投入最大的渠道A,用户注册量确实最高,但转化率最低。而预算只有A十分之一的渠道C,虽然用户量少,但质量明显更好。"

这个发现直接影响了市场部门后续的投放策略。

当天晚上,我看到老王还在对着市场部门的表扬邮件发呆。"其实数据都是一样的,"他小声嘀咕,"为什么他就能分析得这么深?"

这个微小的差异,预示着他们未来道路的分岔。

第二章:习惯养成的岔路口

接下来的日子里,老王和小张渐渐形成了截然不同的工作方式。

老王在显示器边上贴满了便签,记录着各种常用的SQL语句。他还专门做了一个Excel文件,按照业务类型分门别类地整理取数模板。"销售分析用A类模板,用户分析用B类模板,产品分析用C类模板..."他时常得意地跟新同事分享自己的"效率秘诀"。

每天早上,老王第一件事就是检查邮件,看有没有新的取数需求。收到需求后,他会迅速判断用哪个模板,然后快速完成取数。中午之前,他通常已经处理完一半的需求。"我现在可以做到平均15分钟搞定一个常规需求,"他在季度述职会上这样汇报。

而小张的工位却总是空的。

"小张呢?产品部门找他取数。"有一天我问他的邻座。"哦,他去产品部门了,说是要旁听他们的周会。"

这已经成了小张的习惯。每周二上午是产品部的例会,周四下午是运营部的复盘会,他总是带着笔记本准时出现。久而久之,业务部门的同事见到他,打招呼的方式从"帮我取个数据"变成了"来,给你看个有意思的现象"。

有一次,我在茶水间遇到小张,他正在跟产品经理小李热烈讨论。

"你看这个数据很奇怪,"小李指着手机屏幕,"新功能上线后,使用量确实上来了,但用户的停留时间反而变短了。"

"让我想想,"小张若有所思,"会不会是交互设计的问题?用户完成操作的路径变了。要不我们做个路径分析,看看用户在哪些环节流失的?"

"对对对!就是要这种分析。"小李一拍大腿,"以前都是我们说要什么数据,你们就取什么数据。还是你懂我们要做什么。"

这种场景每天都在上演。慢慢地,大家发现找小张和找老王取数感觉完全不一样:找老王是"我要这个数据",得到的是一份标准的Excel;找小张是"我遇到这个问题",得到的常常是意料之外的洞察。

第三章:双11考验

2018年的双11成为了分水岭。这是公司第一次全渠道备战双11,压力前所未有。

战役打响前一周,技术负责人在预案会上说:"今年的交易量预计是去年的5倍,我们要做好两手准备。数据组的同学要特别注意,可能会出现任何意外情况。"

老王回去就开始加班加点准备。他把去年所有的取数SQL都重新过了一遍,想象各种可能的场景,准备好对应的方案。最后整理出一份长达50页的"双11应急手册",在组里分享时获得了不少赞赏。

小张的准备方式却很不一样。他找到了业务运维的同事,了解了整个交易链路;又约了DBA讨论数据库扩容方案;还自学了一些监控工具的使用。

"你管这些干嘛?"老王不解地问,"我们不就是负责取数吗?"

"我在想如果真出了问题,光知道SQL可能不够。"小张解释道,"至少得知道数据是怎么流转的,监控怎么看吧?"

11月11日晚上11点58分,意外果然发生了。交易大屏上的数据突然卡住了,几个关键指标完全对不上。运营的、技术的、业务的,所有人都慌了。

老王立刻翻开他的应急手册,按照预案一条条排查。但半个小时过去了,问题依然没有着落。

"会不会是数据延迟了?"老王尝试解释,"要不我们等等看?"

就在这时,小张的声音突然响起:"我在监控里发现一个问题。"他快速切换着监控面板,"你们看,负载突然升高,消息队列堆积严重。Order库的连接数也到达上限了..."

接下来,他用极其简洁的语言向技术负责人描述了问题的关键点。几分钟后,DBA介入处理,数据很快恢复了正常。

事后复盘会上,技术负责人专门表扬了小张:"关键时刻,还是得看懂本质。光有SQL不行,得了解整个数据链路。"

老王坐在角落里,看着自己厚厚的应急手册,第一次对自己的工作方式产生了动摇。

第四章:架构重构的转折点

2019年初,公司迎来了一个重大挑战。原本负责数据建模的架构师离职了,留下了一个烂摊子:数据延迟严重,指标口径前后矛盾,业务部门天天投诉。

"我们需要一次彻底的数据治理。"CTO在紧急会议上说,"先找几个熟悉数据的人,组个专项小组。"

老王和小张作为最早接触数据的人,自然被抽调进了这个小组。此时的老王已经是公司出了名的"SQL专家",而小张则因为经常参与业务讨论,被誉为"最懂业务的数据人"。

面对这个烂摊子,老王的第一反应是翻出过去两年的取数记录。"我们把所有历史SQL都检查一遍,肯定能找出问题。"他连续加班一周,对比了上千个SQL语句,列出了一份长达30页的"数据不一致清单"。

但问题在于,即使发现了不一致,也没人能说清楚哪个口径才是对的。

而小张采取了完全不同的方法。

第一周,他什么SQL都没写,而是跑遍了所有业务部门,和每个数据负责人聊了一遍。他随身带着一个笔记本,记录着各种细节:"订单状态有12种,但实际业务上只用到8种..." "用户标签有137个,一半都是历史遗留,没人维护..." "前后端的时间戳格式不统一,经常导致误差..."

第二周,他在会议室的白板上画了一张巨大的图。这张图上密密麻麻地标注着数据的流转路径:从用户点击,到日志采集,到清洗入库,到指标计算,每个环节都清清楚楚。

"你们看,"他指着图上的某个分叉,"问题主要出在这里。我们的数据模型是两年前设计的,那时候的业务很简单。但现在我们有了8个不同的支付渠道,3种会员体系,订单状态的处理逻辑完全不一样了。"

他停顿了一下,继续说:"更要命的是,实时计算和离线计算用的是两套逻辑。比如退款这个场景,实时系统会即时更新订单状态,但离线计算用的是T+1的快照,统计时口径就对不上了。"

会议室里一片寂静。所有人都盯着那张图,第一次如此清晰地看到了问题的本质。

"那怎么办?"CTO问。

小张早有准备:"我有个初步的方案。"他翻开笔记本,详细讲解了他的想法:

重新设计数据模型,采用流式处理架构

统一数据口径,建立指标字典

开发数据质量监控系统

建立数据治理制度

"这个改造可能需要3-6个月,"他补充道,"但如果不彻底解决,问题只会越来越多。"

就这样,一个庞大的数据重构项目启动了。小张被任命为技术负责人,老王则负责具体的数据迁移工作。

在接下来的半年里,老王清晰地看到了差距:

当他还在研究如何写出更高效的SQL时,小张已经在设计新一代数据架构

当他为如何处理历史数据发愁时,小张已经在规划未来三年的技术路线

当他还在跟具体字段打交道时,小张已经在建立起一整套数据治理体系

这个项目最终取得了成功,但对老王来说,打击是巨大的。他终于意识到,自己这些年其实一直在原地打转。

第五章:两种不同的带教方式

2023年初,公司迎来了新一批校招生。这时的小张已经是技术团队的负责人,而老王依然是高级数据开发工程师。他们都被分配了带教任务。

老王负责带的是95后的小周。第一天,他就给小周发了一大堆文档:"这是我这些年整理的SQL模板和取数经验,你先背熟,有问题随时问我。"

他的培养计划很简单:第一周:熟悉工具、学习SQL 第二周:练习常见取数场景 第三周:独立完成简单需求 一个月后:可以处理80%的常规取数

小周确实按部就班地学习着,但每次遇到新场景,他总是手足无措。"这个需求用哪个模板啊?"、"这个数据在哪张表里?"成了他最常问的问题。

而小张带的实习生小吴,经历了完全不同的培养过程。

第一天,小张就带着小吴去喝咖啡:"先别急着学技术,咱们聊聊你对数据分析的理解。"

在交谈中,小张发现小吴虽然技术基础不错,但对业务理解几乎为零。他立即调整了培养计划:

第一周,带着小吴走访各个业务部门。"今天上午我们去产品部,下午去运营部,明天..." "为什么要这么安排?"小吴问。"因为数据是业务的影子,不了解业务,再厉害的技术也是空中楼阁。"

第二周,让小吴画数据地图。"把你见到的每个业务场景,对应的数据存储,都画出来。" "这么多内容,要画多久?" "不急,这会是你最重要的学习资产。"

第三周,才开始真正的取数训练。但方式也很特别:"每个需求,你都要先问三个问题:为什么要这个数据?准确的定义是什么?要用来做什么决策?" "问这么多,业务会不会觉得我太啰嗦?" "恰恰相反,这样会让他们觉得你真正在帮他们思考问题。"

一个月后,两个新人的差距开始显现:小周可以熟练完成各种取数需求,但经常被业务打回来:"这个口径不对"、"这不是我想要的维度"... 而小吴虽然写SQL的速度还不如小周快,但他提供的分析常常得到业务部门的好评:"这些洞察真的帮我们发现了问题"、"思路比数据更有价值"...

有一次,产品部门需要分析一个新功能的表现。小周立刻使用了"产品分析模板",生成了一份标准报表:DAU、使用时长、点击率... 小吴则先约了产品经理聊了半小时,然后设计了一个全新的分析方案,不仅包含常规指标,还结合了用户反馈、渠道分布、转化路径等多个维度。

"这就是差距。"我在晨会上说,"一个是完成任务,一个是解决问题;一个是数据工具,一个是业务伙伴。"

第六章:命运的分岔

时间来到2023年年底,三次晋升评审的失败让老王终于坐不住了。

"我哪里做得不够好?"他在午夜找我聊天,"我的SQL熟练度在团队是最高的,响应速度也是最快的,每个季度处理的需求量都是最多的..."

我沉默了一会,反问他:"这些年,你见证了多少个业务决策的制定?参与了多少个问题的解决?推动了多少个改进的落地?"

他愣住了。

我继续说:"你还记得当年你和小张刚来时的第一个需求吗?他问的那些问题,你现在能问出来吗?"

老王低下了头。是的,六年过去了,他确实变得更"专业"了 - SQL写得更快、模板更全面、经验更丰富。但他始终没有跳出"取数"这个框框。

而小张早已经不再局限于"取数",他在用数据解决实际的业务问题,在建设影响未来的数据基础设施,在培养新一代的数据人才。

"其实从第一天起,你们就选择了不同的道路。"我说,"你选择了精进技能,他选择了解决问题;你专注于'如何取数',他思考'为什么取数';你把数据当作工具,他把数据当作桥梁。"

终章:新的起点

第二天一早,老王破天荒地主动约了产品部门开会。"我想了解下你们现在遇到的主要问题..."他的声音有些不自然。产品经理惊讶地看了他一眼:"哦?以前都是我们找你要数据的..."

这是一个新的开始。

也许,取数工作本身并不能决定一个人的成长上限。关键在于,你是把它当作一个终点,还是一个起点;你是满足于完成任务,还是执着于解决问题;你是止步于数据本身,还是追求数据背后的价值。

正如小张经常对团队说的:"数据分析不是一个技术岗位,而是一个业务岗位;不是一个工具人,而是一个思考者;不是一个执行者,而是一个创造者。"

免责声明:本文系网络转载,版权归原作者所有。本文所用图片、文字如涉及作品版权问题,请联系删除!本文内容为原作者观点,并不代表本网站观点。
编辑:刘婧
活动 直播间  | CIO智行社

分享到微信 ×

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。