百万数据的对账优化

写在前面

最近线上的对账程序一直不稳定,经常出现对账时间超长,影响结算跑批任务,导致后续业务受影响。

原来的流程

1528443001(1)

系统订单量不大的情况下可以这样子处理没有什么异常问题,随着系统订单的增长,对账时间不断增长,远远超过我们能忍的极限,比如说:到早上还没有对帐完,影响第二天出结算单的时间,不能做到财务T+1结算。极大的阻碍了业务的正常发展。

优化后的流程

优化思路大概分为以下几步:

  • 将系统之前的串行对账改成并行对账
  • 查询订单数据改成分布查询,不能一次加载几百万数据
  • 对账结果分多线程批量写入

1528445794(1)

需要注意的地方:

  • 线程之间通信的问题,可以采用共享变量方式将对账结果存入ConcurrentHashMap
  • 线程数的大小需要控制好,不能超出机器本身的负载能力,
  • 每次对完账之后记得清除集合数据,防止内存溢出
本站部分文章源于互联网,本着传播知识、有益学习和研究的目的进行的转载,为网友免费提供。如有著作权人或出版方提出异议,本站将立即删除。如果您对文章转载有任何疑问请告之我们,以便我们及时纠正。

PS:推荐一个微信公众号: askHarries 或者qq群:474807195,里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发、高性能、分布式、微服务架构的原理,JVM性能优化这些成为架构师必备的知识体系。还能领取免费的学习资源,目前受益良多

转载请注明原文出处:Harries Blog™ » 百万数据的对账优化

赞 (1)
分享到:更多 ()

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址