目前,我正在体系化更新数据资源管理/数据治理/数据中台系列文章。
今天的文章,我们继续聊一聊:主数据管理。
前段时间,写了一篇关于主数据管理系统和数据中台差异的文章(点击查看),有个读者,也是同行,阅读完后私信我说,自己企业已经从数据中台转型了,砍掉了数据中台产品,全力做主数据管理平台了。
大家都知道市面上做数据中台的厂商,没有 100 家,也有 50 家,可以说是鱼龙混杂。
前几年数据中台火的时候,大大小小的企业,认为所谓的数据中台,不就是通过开源组件拼装的软件吗,有啥难的?居然卖几百万。
于是,都想凑过来想要分一杯羹,纷纷入局。
随着数据中台近几年的热度持续下降,市面上的数据中台厂商也进行了一轮大面积的清洗。
很多中小型企业,纷纷转型或者直接倒闭了。
据我所知,包含数澜科技、袋鼠云和奇点云,原来这些头部独立第三方数据中台厂商,由于缺少外部输血,市场预冷,加上自身造血能力不足等因素,这两年都进行大大小小规模的裁员。
数据中台市场会一直存在,但,竞争将会越来越集中,也会越来越激烈,不过对于甲方来说,也许是一件好事,至少选择的成本更低,服务也更能得到保障。
有人说中国的 ToB 软件市场走过了最艰苦的 10 年,也许还要再走 10 年....
行业从业者流下了心碎的眼泪。
扯远了,今天的文章,我们聊一聊,开头的同行为啥转行了,不搞数据中台而是去专注搞主数据管理平台,两者有何差异?转行背后的思考是什么?企业是更需要主数据管理还是数据中台?
01、主数据管理系统属于数据中台吗?
这是一个很经典的问题,也非常具有迷惑性。
首先,先说一下答案,主数据管理系统不属于数据中台,严格意义上来说,主数据管理系统更偏向于业务中台的范畴。
当然,即使你没有业务中台,依然可以单独构建主数据管理平台。
什么是主数据管理平台?
主数据管理系统(MDM,Master Data Management)的核心职责是管理企业的核心业务对象(如客户、商品、供应商等)的基础数据,确保数据的统一性、准确性和完整性。
主要功能包括主数据建模、主数据标准定义、数据清洗与匹配、版本控制和分发等。
具体见下方架构图:
主数据管理系统架构 来源于亿信华辰
那么,考题来了:订单流水数据属不属于主数据?
答案是:不属于。
判断是不是主数据,需要从三个维度出发来判断,分别是核心、稳定、可复用。
核心性:主数据通常描述企业最关键的业务对象,如客户、产品、供应商、员工等。
稳定性:主数据的变动频率较低,更新通常是通过治理流程完成的,不像交易数据或日志数据那样频繁变化。
复用性:主数据为不同场景提供服务,具有高复用价值。例如,一个“商品目录”可能用于电商、仓储、财务对账等多个业务。
而订单流水数据是典型的交易数据,不属于主数据范畴。
所谓的交易数据,是指描述企业活动、事件或操作的数据,例如订单、发票、支付记录等。
这些数据的特性是:
频繁更新:交易数据随业务活动的发生而持续生成和变更。
高时效性:订单流水数据通常反映的是业务活动的实时状态,比如订单提交、支付完成等。
不具备复用性:订单流水数据通常是一次性的,很少被跨业务复用。
通常订单流水数据包括订单号、时间戳、商品明细、金额等信息。
这些数据有以下特点:
动态变化:例如订单状态从“待支付”变为“已支付”,然后到“已完成”。
非共享性:订单流水数据通常针对特定业务或用户,主要用于分析和运营。
不稳定性:订单流水是典型的高频交易数据,数据量庞大且生命周期短。
因此,并不是我们通常认为很重要的数据,就是主数据,这是一个很普遍的误解。
那么,主数据管理系统和数据中台是什么关系呢?
属于典型的上下游关系,主数据管理系统为数据中台提供高质量的数据输入,数据中台以主数据为基础,支持跨业务的数据加工、治理和服务化。
更加详细的差异对比如下:
市面上不少企业误以为主数据管理系统属于数据中台,甚至认为数据中台可以替代主数据管理。
这种认知可能带来一些落地的麻烦,核心问题是:
1.数据中台无法完成主数据治理:中台擅长的是消费整合数据,缺乏深入的校验、去重、数据版本控制(非开发脚本版本控制)、主数据变更版本控制等功能,强行扩展会导致中台性能下降。
2.管理成本增加:如果没有专门的主数据管理系统,主数据的混乱问题将反复出现,数据质量低下会影响后续业务决策。
简单来说,主数据管理系统是数据中台高效运转的“地基”,而数据中台则是让主数据创造价值的“桥梁”。
企业在设计数据架构时,应明确两者的角色,做到分工明确,各司其职,才能实现数据价值的最大化。
02、为什么企业更需要主数据管理平台
很多企业处于数字化转型的早期或初期,其实,并不适合大跃进式的搞各类数据工具或平台。
比如直接上百万立项一个数据中台项目,而自己内部还没有想清楚如何使用数据。
而主数据管理系统,则是一个更偏向业务视角的“数据管理”平台。
即使企业没有人说得清楚内部数据如何使用,依然可以清晰的判断,内部的主数据是否准确,以及主数据混乱给企业管理和经营带来哪些问题。
而这则是企业最直接的业务数据痛点。
相比于使用数据中台如何给企业业务“各种赋能”(这个词现在说的也比较少了),把主数据搞规范、搞准确,更适合作为企业数字化转型的第一站,也更易于做出结果,给企业自身增加信心。
这样说可能还是比较抽象,主数据管理平台到底有什么价值?能够解决什么问题?
可以从以下维度进行说明:
1.专注核心数据,解决基础问题
主数据是企业运行的基石,覆盖客户、供应商、商品等核心实体信息。这些数据需要确保一致性、准确性和唯一性。
主数据管理平台提供从数据模型到全生命周期治理的完整方案,专注于核心数据质量提升。
案例:某零售企业在不同系统中存在多个“同一客户”信息记录,导致营销活动重复或失效。通过主数据管理平台,统一客户视图,避免了资源浪费。
2. 应对多系统协作与数据孤岛
企业往往拥有多个业务系统,如ERP、CRM、供应链管理系统,这些系统共享的核心数据容易形成孤岛。
主数据管理平台可以集中治理核心实体数据,实现跨系统的准确同步,避免重复数据和冲突。
案例:某制造企业采用主数据管理平台后,将ERP和CRM中的供应商数据整合,统一了采购流程,提高了供应链效率。
3. 支撑复杂业务需求,提升数据可信度
主数据是企业运营和分析的基础数据,其质量直接决定了后续数据开发、分析的可信度。
主数据管理平台提供数据标准化和一致性,确保所有业务部门使用同一版本的事实数据,从根本上提升数据驱动的效果。
案例:一家电商企业利用MDM提升商品主数据质量后,不仅降低了订单处理时间,还减少了物流纠纷。
03、为啥有的企业说数据中台可以做主数据治理
上面已经解释了数据中台和主数据管理的差异,以及为什么处于数字化转型初期的企业,应该优先构建主数据管理系统。
那么,该采购单独的主数据管理系统呢?还是直接采购一个数据中台,用数据中台来做主数据管理呢?
我们先来看一下常见的数据中台的架构图:
图片来源于网易数帆
可以看出,数据中台也有标准管理、数据同步、数据服务模块。
那么,是不是可以直接用数据中台来做主数据管理系统用呢?
理论上是可以的,只是有些错位。
毕竟主数据管理系统处理的是相对有限、形态稳定的企业核心数据,而数据中台则是面向企业大数据加工治理及开放应用场景的工具,这就导致,用起来很别扭,有种“杀鸡用牛刀”的感觉。
另一方面,很多数据中台底层通常是用 HDFS 作为存储,这就导致历史数据的更新非常麻烦,通常要删除历史数据重新写入,这可能会导致主数据服务不稳定的问题,导致主数据服务中断的风险。
市面上有不少企业,想要一步到位,直接采购一个数据中台,既承载主数据管理的场景,又承载内部数据加工、治理、资产管理及开放服务的场景。
这并不是一个单纯对错的问题。
商业本身确实比较复杂,如果预算有限这么做未尝不可,只是后续一些“主数据管理”的需求,通常数据中台厂商是不会接的,会比较难受。
04、结语
主数据管理系统与数据中台是企业数据治理体系中不可或缺的两个部分,但它们的职责并不重叠。
简单来说,主数据管理系统是数据中台高效运转的“地基”,而数据中台则是让主数据创造价值的“桥梁”。
企业在设计数据架构时,应明确两者的角色,做到分工明确,各司其职,才能实现数据价值的最大化。