转载

mongo同步-spring batch(8)的mongo读写组件使用

tags: springbatch mongodb

1.引言

之前对Spring Batch的通过实例的方式进行了介绍，有兴趣的可见以下文章：

数据批处理神器-Spring Batch(1)简介及使用场景
快速了解组件-spring batch(2)之helloworld
快速使用组件-spring batch(3)读文件数据到数据库
决战数据库-spring batch(4)数据库到数据库
便捷的数据读写-spring batch(5)结合beetlSql进行数据读写
增量同步-spring batch(6)动态参数绑定与增量同步
调度与监控-spring batch(7)结合xxl-job进行批处理

除了文件及关系型数据库的数据同步，Spring Batch的读组件( ItemReader )，处理组件( ItemProcessor )，写组件( ItemWriter )支持丰富的数据类型，其中 MongoItemReader 及 MongoItemWriter 是针对mongo的读写组件，用户可以直接使用，进行 Mongodb 的数据读写操作。一种比较常用的情景是从关系型数据库（如 mysql ）把数据同步到 mongodb 中，下面通过实例对 mysql 到 mongodb 的数据同步进行讲解。本文主要讲解有关 Mongodb 的操作，对于 SpringBatch 使用 beetlsql 进行关系数据库数据读取的操作请见文章《便捷的数据读写-spring batch(5)结合beetlSql进行数据读写》。本文的示例代码见github示例仓库。

2.开发环境

JDK: jdk1.8
Spring Boot: 2.1.4.RELEASE
Spring Batch:4.1.2.RELEASE
开发IDE: IDEA
构建工具Maven: 3.3.9
日志组件logback:1.2.3
lombok:1.18.6
MySQL: 5.6.26
Mongodb:4.0.10

3.开发流程

3.1 示例数据库及目标数据库

本示例的流程如下所示：

mongo同步-spring batch(8)的mongo读写组件使用

示例工程中的 sql 目录有相应的关系数据库脚本， mytest.sql 脚本创建一个 test_user 表，并有相应的测试数据。 mongodb 的安装可见官方文档，建立相应的存放数据的 Collection ，本示例为 mytest 。

3.2 添加 maven 依赖及配置 mongodb 连接地址

由于需要使用 mongodb 的操作，因此需要添加它的依赖。如下所示：

添加依赖后， mongodb 的连接地址需配置在配置文件中，若有用户名密码，则同样需要配置。如下：

3.3 编写 mongodb 的读写组件

按示例，共三个组件，需要的是一个读 mysql 数据库的组件，一个 mysql 数据库实体转化为 mongodb 的处理组件，一个写入 mongodb 的写组件，代码结构如下图所示：

mongo同步-spring batch(8)的mongo读写组件使用

其中 ItemReader 组件和 ItemProcessor 组件无须多讲，可参考之前的文章，这里主要讲一下 mongodb 的 ItemWriter ，此写入组件通过继承 MongoItemWriter ，编写自己的逻辑即可，而 SpringBatch 提供的 mongodb 写操作，是在初始化 ItemWriter 时，通过 MongoOperations 引入的，因此， MongoBatchConfig 文件中，添加以下代码：

其中， MongoOperations 是在初始化时注入，在自定义的 UserItemWriter 中，设置 template 及 collection 即可。若逻辑简单，不写自定义的ItemWriter，也可以直接使用 MongoItemWriterBuilder ，直接构建 MongoItemWriter ,如下所示：

以上是写组件的构建，同理，对于 mongodb 的读组件，构建方式类似，只是需要注意一下动态参数的配置，如下示例代码是查询数据，并返回 map ，参数是在构建任务时动态传入的。