转载

发表于 2016年03月08日
浏览 (626)
评论 (0)

yugong —— 阿里巴巴最新开源的去 IOE 神器

yugong 是阿里巴巴推出的去Oracle数据迁移同步工具(全量+增量,目标支持MySQL/DRDS)

08年左右，阿里巴巴开始尝试MySQL的相关研究，并开发了基于MySQL分库分表技术的相关产品，Cobar/TDDL(目前为阿里云DRDS产品)，解决了单机Oracle无法满足的扩展性问题，当时也掀起一股去IOE项目的浪潮，愚公这项目因此而诞生，其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上，完成去IOE的第一步.

整个数据迁移过程，分为两部分：

全量迁移
增量迁移

yugong —— 阿里巴巴最新开源的去 IOE 神器

过程描述：

增量数据收集 (创建oracle表的增量物化视图)
进行全量复制
进行增量复制 (可并行进行数据校验)
原库停写，切到新库

架构

yugong —— 阿里巴巴最新开源的去 IOE 神器

说明:

一个Jvm Container对应多个instance，每个instance对应于一张表的迁移任务
instance分为三部分

a. extractor (从源数据库上提取数据，可分为全量/增量实现)

b. translator (将源库上的数据按照目标库的需求进行自定义转化)

c. applier (将数据更新到目标库，可分为全量/增量/对比的实现)

原文 http://www.oschina.net/p/yugong?fromerr=RcDDO5Xu

正文到此结束

所属分类：编程技术

本文标签： 产品阿里云数据库 App 神器 Oracle CTO http 需求 DDL 数据 src 云 UI 同步 mysql sql 开源阿里巴巴开发
版权声明： 本文为互联网转载文章，出处已在文章中说明(部分除外)。如果侵权，请联系本站长删除，谢谢。
本文海报： 生成海报一生成海报二

热门推荐

openfire数据库安装指南

浏览(12,885) 评论(0)
Caffe 深度学习框架上手教程

浏览(9,962) 评论(0)
ReactiveCocoa入门教程：第一部分

浏览(10,816) 评论(0)
开源HIDS-OSSEC使用实例:监测CC攻击

浏览(10,695) 评论(0)
Decorators in ES7

浏览(15,179) 评论(4)
用Electron（Atom编辑器的兄弟项目）开发桌面应用

浏览(28,121) 评论(0)
Windows下JetBrains CLion中文输出乱码的解决方法

浏览(11,622) 评论(1)
同步-@synchronized, NSLock, pthread, OSSpinLock性能比较

浏览(10,665) 评论(0)
Seaweedfs之Volume读请求重定向

浏览(24,923) 评论(3)
HTML、CSS及JavaScript ：有Promise，不会搞大肚子

浏览(12,790) 评论(0)

相关文章

阿里云首购8折

Loading...

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

[HBLOG]公众号

HBLOG

HBLOG