不懂“数据服务”,聊什么“数据中台”
创始人
2024-02-14 03:49:24
0

阿里推出“数据中台”时,点明其两个核心概念,一个是One Data,一个是One Service。

阿里One data 数据中台建设过程

很多人都只注意到了One Data,元数据中心、指标字典、数据模型设计等等都属于One Data理念下数据中台架构的重要部分。

但其实One Service——数据服务也是数据中台的核心,目前市面上的数据中台没有好用的产品很大的原因就是数据服务没做好。

数据服务平台架构

反而国内外专门做数据服务的产品好评不断,今天展开介绍数据服务是如何提高企业数据开发效、降低数据开发成本、让企业快速挖掘数据价值的。

01

屏蔽中间存储,提高数据开发效率

数据平台加工好的数据,通常会以Hive表的形式存储在HDFS 上。

如果想直接通过数据报表或者数据产品前端展现,为了保证查询的速度,会把数据导出到一个中间存储上:

数据量少的可以用MySQL , Oracle 等数据库,具有部署维护方便、数据量小、查询性能强等优势。例如,数据量小于500W条记录,建议使用数据库作为中间存储;
涉及大数据量、多维度查询的可以用GreenPlum,它在海量数据的在线分析处理场景中有优异的性能表现。例如,数据量超过 500W 记录,要进行多个条件的过滤查询;
涉及大数据量的单Key查询,可以用HBase。在大数据量下,HBase拥有不错的读写性能。例如,超过500W记录,根据Key查询Value的场景。
由于不同的中间存储,涉及的访问API也不一样,因此对数据应用开发,每个数据应用都要根据不同的中间存储,开发对应的代码。

如果涉及多个中间存储,还需要开发多套代码,数据接入效率很低。

以数据API作为数据服务的主要方式

此时,数据服务为数据开发屏蔽了不同的中间存储,通过使用统一的API接口访问数据,可以大幅度提高数据应用的研发效率。

02

完成数据接口复用,降低数据开发成本

如下图所示,当我们开发“数据应用-经营分析”时,数据开发会基于a表加工c表,然后数据应用开发会把a和b的数据导出到“数据应用-经营分析的数据库db1”中,然后开发经营分析的服务端代码,通过接口1对web提供服务。

当我们又接到任务开发“数据应用-毛利分析”时,我们同样需要用到b表的数据,虽然b的数据已经存在于db1中,但db1是“数据应用-经营分析”的数据库,无法共享给“数据应用-毛利分析”。

同时,经营分析的服务端接口也无法直接给毛利分析用,因为接口归属在经营分析应用中,已经根据应用需求高度定制化。

以上,我们看到这样的现象:即使数据重复,不同数据应用之间,在中间存储和服务端接口上,也是无法复用的。

这种烟囱式的开发模式,导致了数据应用的研发效率非常低。

此时,数据服务使得暴露的不再是数据,而是接口,接口不再归属于某个数据应用,而是在统一的数据服务上。

这就使接口可以在不同的数据应用之间共享,同时因为数据服务具备限流的功能,使接口背后的数据共享成为可能,解决了不同应用共享数据相互影响的问题。

03

建立从数据到应用全链路血缘

传统的数据项目中,由于数据平台通过导出/导入或数据复制的方式为数据应用提供数据,数据一旦进入到下游系统中,数据平台就无法监控其使用情况了。

即使用了元数据中心,也无法实现数据全链路血缘分析。

想象一个真实的场景:某技术人员突然接到了一堆电话报警:有大量的任务出现异常。经过紧张的定位后,他确认问题来源于业务系统的源数据库:因为一次数据库的表结构变更,导致数据中台的原始数据清洗出现异常,从而影响了下游的多个任务。

这时,摆在他面前的是一堆需要恢复重跑的任务。可是队列资源有限,到底先恢复哪一个呢?哪个任务最终会影响到老板第二天要看的报表?

虽然数据血缘建立了表与表之间的链路关系,但是在表的末端,我们却不知道这个表被哪些应用访问,所以应用到表的链路关系是割裂的。

当某个任务异常时,我们无法快速判断出这个任务影响了哪些数据应用,也无法根据影响范围决定恢复的优先级,最终可能导致重要的报表没有恢复,不重要的报表却被优先恢复了。

麦聪软件,全球领先的DaaS厂商,轻量级数据中台领导者。 目前,麦聪DaaS平台在世界500强集团中已有30多家选用,两年内帮助超400家加速企业数字化转型。麦聪DaaS平台核心功能包含,统一数据管理和统一数据服务两大模块,具备数据集成、数据开发、数据质量、数据服务相关功能,欢迎大家带着企业数字化问题与我们一起讨论。

API调用分析

此时,数据服务打通了数据和应用的访问链路,建立了从数据应用到数据中台数据的全链路数据血缘关系,这就相当于我们在迷宫中拿到了一个地图,当任何一个任务出现问题,我们都可以顺着地图,找到这个故障影响了哪些应用,从而针对重要应用加速恢复速度。

相关内容

热门资讯

中国中冶相关公司新增一项216... (转自:快查一企业中标了)快查APP显示,中国中冶相关公司上海宝冶集团有限公司于2025年5月14日...
北京门头沟 检查烧烤类食品安全   近日,北京市门头沟区市场监管局开展烧烤类食品市场安全检查工作。执法人员深入烧烤摊位和食材批发商户...
国泰中证全指证券公司ETF联接... 国泰中证全指证券公司交易型开放式指数证券投资基金发起式联接基金(简称:国泰中证全指证券公司ETF联接...
副中心一季度实现“开门红”   本报讯(记者 陈强 通讯员 陈施君)年初,北京城市副中心所在地通州区启动科技创新资源倍增工程,立...
消保委建议商家优化售后服务   本报上海讯(记者刘浩)近日,消费者高女士为宠物猫购买了新猫粮,拆开后猫却拒食,高女士申请退货退款...
东财中证证券30ETF发起式联... 西藏东财中证证券公司30交易型开放式指数证券投资基金发起式联接基金(简称:东财中证证券30ETF发起...
方正富邦中证保险A净值上涨4.... 方正富邦中证保险主题指数型证券投资基金(简称:方正富邦中证保险A,代码167301)公布5月14日最...
北京金一文化发展股份有限公司关... 证券代码:002721 证券简称:ST金一 公告编号:2025-027北京金一文化发展股份有限公司关...
富国中证全指证券公司指数C净值... 富国中证全指证券公司指数型证券投资基金(简称:富国中证全指证券公司指数C,代码013276)公布5月...
华北黄淮将遇高温“烤”验   连日来,我国华北南部、黄淮地区出现35℃以上高温天气。中央气象台预报,16日起,黄淮中西部、华北...
“防撞神器”真能助你成为开车“... 图一:护航实业在视频中宣称“汽车防撞领域创造者”。图二:护航实业的网站首页信息。■本报记者 吴博峰 ...
大众公用相关公司新增一项502... (转自:快查一企业中标了)快查APP显示,大众公用相关公司上海大众燃气有限公司于2025年5月14日...
华富中证证券公司先锋策略ETF... 华富中证证券公司先锋策略交易型开放式指数证券投资基金(简称:华富中证证券公司先锋策略ETF,代码51...
鹏华券商C净值上涨3.33% 鹏华中证全指证券公司指数型证券投资基金(LOF)(简称:鹏华券商C,代码012044)公布5月14日...
易方达中证全指证券公司指数(L... 易方达中证全指证券公司指数证券投资基金(LOF)(简称:易方达中证全指证券公司指数(LOF)C,代码...
“消费查”为线下无理由退货提供...   “消费查”堪称市场上的“无理由退货导航”,可为消费者指引消费方向。消费者通过微信搜索“消费查”或...
阿斯巴甜会伤害心血管?无糖快乐... ■本报记者 李建  可乐是很多人青睐的情绪疗愈饮品。而在控糖的潮流下,无糖版可乐成为了消费者新选择。...
市场监管总局指导行业协会防控肉... 本报讯 近日,市场监管总局指导中国肉类协会向国内肉类产品经营企业发布风险防控提示,推动肉类产品行业加...
华安中证全指证券公司ETF联接... 华安中证全指证券公司交易型开放式指数证券投资基金联接基金(简称:华安中证全指证券公司ETF联接C,代...
“你点我检”走进养老机构   本报沈阳讯(记者王文郁)5月13日,辽宁省沈阳市市场监管局在法库县开展“物资捐赠+科普互动+现场...