广告业务存储神器:华为云GaussDB(for Redis)
创始人
2024-02-14 22:25:32
0

摘要:高性能、大容量、低成本、强稳定性,广告业务需要的Ta都有

一、从需求场景说起,什么是RTA广告业务?

在互联网时代,媒体平台逐渐成为广告业务的主体,而作为广告主的企业往往每年需花费数亿甚至数十亿广告费,却依然难以准确触达目标用户,这就造成大量资金浪费。在这样的需求场景下,RTA广告业务模式逐渐流行起来。

RTA 即Realtime API的简称,是一套接口服务,用于满足广告主实时个性化的投放需求,在竞价中减少资金浪费。简单来说,RTA大体流程如下:

1. 媒体在将广告曝光给用户前,先通过RTA接口询问广告主是否参与本次竞价;

2. 广告主结合自己的__画像数据(一般是百GB~数TB的key-value数据)__进行决策,快速响应媒体侧,表明是否要参与本次曝光竞价,以及具体的曝光策略;

3. 媒体平台根据价高者得原则,进行精准目标广告投放。

RTA广告业务流程图

RTA让广告投放变得更精准,更省钱,还可以满足许多不同的投放需求,例如获取新用户、召回流失用户等。

二、聊聊RTA中的数据存储选型

对广告主来说,RTA业务价值明显,但媒体侧可是设置了不小的技术门槛,一般要求RTA系统高峰承载20w+ QPS,50到100ms快速响应。当不达标时,媒体侧会有降级和清退机制,例如暂时关闭广告主的RTA接入通道。

因此,RTA业务的首要需求是使用靠谱的画像数据库:

1. 毫秒级响应,支持数十万级QPS

2. 稳定性高,关键时刻不能掉链子

3. 支持百GB~数TB的画像存储,且成本可控

根据经验,很多公司会使用开源Redis集群来做这件事,但其实__开源Redis并不太适合这类大数据场景:__

一方面,虽然开源Redis并发性能和响应都很优秀,但终究只是缓存,无法提供数据库级的稳定性保障,丢数据、fork抖动、分片不均OOM、扩容耗时久等等,都是很常见的问题。

另一方面,由于开源Redis中存放的数据无法突破内存限制,上百GB的数据存储价格非常昂贵,例如512GB规格的开源Redis接近5w/月。

在这类大数据业务场景下,我们推荐使用华为云数据库GaussDB(for Redis)做画像数据存储。

三、大数据业务存储神器:华为云数据库GaussDB(for Redis)

GaussDB(for Redis)是华为云企业级存算分离Redis数据库,使用上与开源Redis别无二致,并且能够兼顾缓存与存储两类典型场景:

1. 内存+分布式存储池(Nvme SSD),提供毫秒级响应速度,并实现了大幅降本

2. 命令兼容度>98%,业务零改造平迁

3. 容量最大支持36TB,高压缩比,且保障数据库级别可靠存储

4. 算力用多少买多少,支持水平扩展到千万级QPS

5. 无感热扩容,128GB到512GB也只需一秒

6. 支持多DB租户访问权限隔离(增强版ACL)

RTA广告业务对画像存储的核心需求是:响应快、稳定性高、大容量且不贵,GaussDB(for Redis)充分满足这类大数据业务需求。

  • 超低时延,性能满足媒体侧要求

根据现网的案例经验,在数十万QPS流量下,GaussDB(for Redis)可稳定保持平均时延1ms,p99时延2ms。

媒体侧一般对广告主端到端响应要求在50~100ms,这其中包括了业务及网络链路的耗时,GaussDB(for Redis)可以很好地满足响应要求,并给业务链路留有充足的余量。

为什么GaussDB(for Redis)在存算分离的架构下还能提供低时延访问?

1. 自动冷热分离,计算层的内存资源会被用来充分加速热数据

2. 存储池是基于高性能Nvme SSD和RDMA网络所构建,响应速度其实也很快

实际上,响应快速并非内存的专利,Nvme SSD同样有优秀的时延表现,下图是市面上某款Nvme SSD的性能指标:

  • 作为存算分离的数据库,稳定性远超缓存Redis

开源Redis的稳定性问题存在已久,单线程、fork机制、Gossip协议……这些都是让开源Redis稳定性不够好的原因。在小数据量缓存场景问题不一定经常出现,但在百GB的大数据存储场景下很容易成为打破系统稳定的隐患。

GaussDB(for Redis)存算分离架构对稳定性的提升是巨大的。在扩容场景,只需调整存储池配合,即可1秒完成扩容,业务0感知。由于数据全部存储在分布式存储池中,当计算节点发生故障,数据依然可见,业务只感知秒级抖动。同时,也不会发生分片数据不均OOM问题。

  • 存储百GB画像数据,比缓存Redis成本节省 50%以上

GaussDB(for Redis)在这类场景下能够帮助企业实现有效降本,原因是:

1. 内存+分布式存储池(Nvme SSD)

开源Redis技术上无法突破内存限制,因此成本会随着每涨1GB而线性增长,大数据业务中很容易带来成本痛点。

GaussDB(for Redis)分布式存储池采用的高性能Nvme SSD硬件成本虽然比普通SSD高,但是跟内存相比还是比较高性价比的。另外还支持根据实际所需QPS购买计算节点,避免不必要的算力成本浪费。

2. 高压缩比

很多画像类业务使用protobuf格式,GaussDB(for Redis)采用了逻辑数据+块数据双重压缩机制,对于protobuf的压缩比效果很好。根据现网案例经验,500GB的protobuf数据写入GaussDB(for Redis)后,实际占用的存储空间可压缩到160G,压缩率30%。

四、总结

RTA广告竞价业务近年来发展潜力巨大,一方面要满足媒体侧的性能指标要求,另一方面又要承担企业降本重任。在这类典型大数据业务中,往往需要一款能够兼顾性能与存储降本需求的KV数据库来做画像存储,华为云数据库GaussDB(for Redis)无论从性能、稳定性,还是大容量、低成本,都充分满足这类场景的需求,是其最佳存储选型。

作者:秃头也爱科技
链接:https://juejin.cn/post/7169577748220870663
来源:稀土掘金
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

相关内容

热门资讯

李光洁32天走7500公里吃8... 李光洁32天走7500公里吃8城,《拿一座城市下酒》这部纪录片怎么样?我觉得这部纪录片非常好,观看的...
每我世如你果只没界喜就欢的生一... 每我世如你果只没界喜就欢的生一爱有你过在想会。把这22个字组成一句话。我想过,如果在每一生只喜欢你,...
调查校园里的植物和动物说说有哪... 调查校园里的植物和动物说说有哪些动植物?可以分成几类?兰花,梅花可人丌··植物:乔木(杨树、柳树、银...
血脂高的原因? 血脂高的原因?血脂高的原因高血脂的诱因包括原发性和继发性两种:原发性高血脂症的病因:1、遗传因素。2...
为什么孩子总是重复看同一集动画... 为什么孩子总是重复看同一集动画片?是在传递这3个信号 小孩子爱看动画片是非常普遍的,动画片带给他们动...
终极三国里 49集刘备为什么这... 终极三国里 49集刘备为什么这么做?有没有官方回答?下集自己看吧 现在不会有官方回答的哟第一:可能真...
西式糕点制作大全的内容简介 西式糕点制作大全的内容简介《西式糕点制作大全》主要介绍了制作甜点的基本知识,例如各种制作工具,制作点...
逻辑思维又是什么?就是推理吗,... 逻辑思维又是什么?就是推理吗,怎么培养!?逻辑思维是一种严格分析思维。不一定是推理。推理是逻辑思维的...
囊萤夜读有一句俗语就是出自这个... 囊萤夜读有一句俗语就是出自这个故事你知道是什么吗?囊萤映雪 ( náng yíng yìng xuě...
什么是不伦恋情? 什么是不伦恋情?什么是不伦恋情.,?男跟女年龄相差很大?还是?男的比女的小?还是老夫少妻?是近亲谈恋...
有书名带晨星的嘛? 有书名带晨星的嘛?有书名带晨星的嘛?晨星传这本书。漫画书晨星物语
如果有些事情说不出口怎么办? 如果有些事情说不出口怎么办?烦恼皆是因为自己过分的执着 即使你在这样子下去 更不就不会有好的结果 为...
有哪些类似于《非自然死亡》题材... 有哪些类似于《非自然死亡》题材的日剧推荐?非自然死亡的题材电影确实不多,电视剧的话也不好找啊。不喜欢...
素书全集的内容简介 素书全集的内容简介 本书采用了《素书》的权威原著,参照《四库全书》并加上了宋代宰相张商英的注和清代王...
【世纪花园】小区对口的学校有重... 【世纪花园】小区对口的学校有重点小学和初中吗?世纪花园东区里有未来强者幼儿园,小区南边有个华兴小区,...
东南大学现有的专业中有哪些是属... 东南大学现有的专业中有哪些是属于老东南的1928年学校改名为国立中央大学,设理、工、医、农、文、法、...
一个男人一有钱就请朋友吃饭,没... 一个男人一有钱就请朋友吃饭,没钱就又说,买东西还赊账,商店里的老板都找上门来了?像陵念前这种男人的话...
坟上栽什么草好? 坟上栽什么草好?坟地种什么草好耐旱坟上栽野蕨草、扎根不深、浅根植物、可以固土、南方雨水多、不会造成坟...
关于国富潜力基金 关于国富潜力基金我9月24日上午买的国富基金,申购价格是9月24日开盘的价格吗?还是9月28日开盘的...
我是一个高中生。想学武术。在学... 我是一个高中生。想学武术。在学校没什么时间。是练散打还是跆拳道好。我是一个高中生。想学武术。在学校没...