联系我们:19113907061
联系我们
产品咨询关闭
捷云信通资深阿里云代理服务商

Flink+Hologres搭建实时数仓,一体化的实时数仓联合解决方案

作者:litecc
发布时间:2024-07-23 13:26
阅读量:

本方案将Hologres与Flink深度集成,提供一体化的实时数仓联合解决方案,实现了数仓分层之间实时数据的高效流动,解决实时数仓分层问题。本方案能够支撑实时推荐、实时风控等多种实时数仓应用场景,满足企业的实时分析需求,具有中间层数据可查、支持数仓分层复用和架构简单等优势。


方案介绍

Flink+Hologres搭建实时数仓

通过Flink将数据源写入Hologres,形成ODS层。Flink订阅ODS层的Binlog进行加工,形成DWD层再次写入Hologres。Flink订阅DWD层的Binlog,通过计算形成DWS层,再次写入Hologres。最后由Hologres对外提供应用查询。

Flink+Hologres搭建实时数仓

l  解决问题:中间层不易查

Hologres的每一层数据都支持高效更新与修正、写入即可查,解决了传统实时数仓解决方案的中间层数据不易查、不易更新、不易修正的问题。

l  解决问题:数据不可复用

Hologres的每一层数据都可单独对外提供服务,使得数据可以高效复用,真正实现数仓分层复用的目标。

l  解决问题:链路复杂,架构冗余

实时ETL链路均基于Flink SQL实现;ODS层、DWD层和DWS层的数据统一存储在Hologres中,可以降低架构复杂度,提高数据处理效率。

 

方案优势

l  高性能

Hologres与Flink原生深度集成,通过内置连接器,支持源表、结果表、维度表多种场景,支持宽表Merge、局部更新等操作,支持海量数据高性能的实时写入与更新,数据写入即可查询。

l  高可用

Hologres提供了主从多实例部署方式或计算组实例实现资源强隔离,写入、读取、分析等作业之间互不干扰,从而保证Flink对Hologres Binlog的数据拉取不影响线上服务。

l  低运维

全链路通过Flink和Hologres完成,实时ETL链路通过Flink SQL实现,数据统一存储在Hologres,Hologres提供对外提供在线服务和OLAP查询,每层数据可复用、可查,只需一套系统就能满足业务需求,降低运维压力和运维成本。


分享:
云服务在线资讯 阿里云产品在线资讯 在线咨询
云产品在线留言 企业上云在线留言 客户留言
优惠上云电话咨询 阿里云产品电话咨询 电话联系
19113907061
返回页面顶部 返回页面顶部 回到顶部
关闭阿里云产品留言窗口
云产品订购折扣咨询
  • *

  • *

  • *

  • *验证码

  • 我已阅读并同意《使用服务协议》《隐私政策声明》