大数据同步工具之FlinkCDC/Canal/Debezium对比 大数据

大数据同步工具之FlinkCDC/Canal/Debezium对比

前言 数据准实时复制(CDC)是目前行内实时数据需求大量使用的技术,随着国产化的需求,我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发,逐步实现对商业产品的替代。本文把市面上常见的几种开源产品,Canal、Debezium、Flink CDC 从原理和适用做了对比,供大家参考。 Debezium Debezium is an open source distributed pl...
阅读全文
增量数据同步工具Debezium介绍 大数据

增量数据同步工具Debezium介绍

Debezium能做什么 RedHat开源的Debezium是一个将多种数据源实时变更数据捕获,形成数据流输出的开源工具。 它是一种CDC(Change Data Capture)工具,工作原理类似大家所熟知的Canal, DataBus, Maxwell等,是通过抽取数据库日志来获取变更的。 官方介绍为: Debezium is an open source distributed pl...
阅读全文
基于 Flink CDC 实现海量数据的实时同步和转换 大数据

基于 Flink CDC 实现海量数据的实时同步和转换

一、Flink CDC 技术 CDC 是 Change Data Capture 的缩写,是一种捕获变更数据的技术,CDC 技术很早就存在,发展至今,业界的 CDC 技术方案众多,从原理上可以分为两大类: 一类是基于查询的 CDC 技术 ,比如 DataX。随着当下场景对实时性要求越来越高,此类技术的缺陷也逐渐凸显。离线调度和批处理的模式导致延迟较高;基于离线调度做切片,因而无法...
阅读全文
Loading...