Canal-Harries Blog™ | 追心中的海，逐世界的梦

介绍一个 SpringBoot 集成各种场景的项目

能用365块大洋去解决的事，千万不要用时间

南瓜手机(pumpkin phone）

Java获取gravatar头像链接

读《洛克菲洛写给儿子的38封信》有感

List数组使用stream根据时间进行排序实现

mysql ibdata1文件过大解决

用PMML实现机器学习模型的跨平台上线

Spring Boot集成canal快速入门demo

1.什么是canal？ canal 是阿里开源的一款 MySQL 数据库增量日志解析工具，提供增量数据订阅和消费。工作原理 MySQL主备复制原理 MySQL master 将数据变更写入二进制日志（binary log）, 日志中的记录叫做二进制日志事件（binary log events，可以通过 show binlog events 进行查看） ...

2024-07-26 浏览(44) 评论(0)

阅读全文

大数据同步工具之FlinkCDC/Canal/Debezium对比

前言数据准实时复制（CDC）是目前行内实时数据需求大量使用的技术，随着国产化的需求，我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商业产品的替代。本文把市面上常见的几种开源产品，Canal、Debezium、Flink CDC 从原理和适用做了对比，供大家参考。 Debezium Debezium is an open source distributed pl...

2023-04-12 浏览(1,284) 评论(0)

阅读全文

基于 Flink CDC 实现海量数据的实时同步和转换

一、Flink CDC 技术 CDC 是 Change Data Capture 的缩写，是一种捕获变更数据的技术，CDC 技术很早就存在，发展至今，业界的 CDC 技术方案众多，从原理上可以分为两大类：一类是基于查询的 CDC 技术，比如 DataX。随着当下场景对实时性要求越来越高，此类技术的缺陷也逐渐凸显。离线调度和批处理的模式导致延迟较高；基于离线调度做切片，因而无法...

2023-04-06 浏览(974) 评论(0)

阅读全文