原创

发表于 2018年06月08日
浏览 (2,044)
评论 (0)

百万数据的对账优化

写在前面

最近线上的对账程序一直不稳定，经常出现对账时间超长，影响结算跑批任务，导致后续业务受影响。

原来的流程

1528443001(1)

系统订单量不大的情况下可以这样子处理没有什么异常问题，随着系统订单的增长，对账时间不断增长，远远超过我们能忍的极限，比如说：到早上还没有对帐完，影响第二天出结算单的时间，不能做到财务T+1结算。极大的阻碍了业务的正常发展。

优化后的流程

优化思路大概分为以下几步：

将系统之前的串行对账改成并行对账
查询订单数据改成分布查询，不能一次加载几百万数据
对账结果分多线程批量写入

1528445794(1)

需要注意的地方：

线程之间通信的问题，可以采用共享变量方式将对账结果存入ConcurrentHashMap
线程数的大小需要控制好，不能超出机器本身的负载能力，
每次对完账之后记得清除集合数据，防止内存溢出

正文到此结束

所属分类：博主自留地默认分类

本文标签： 对账
版权声明： 本文由HARRIES原创发布，转载请遵循《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权
本文海报： 生成海报一生成海报二

热门推荐

openfire数据库安装指南

浏览(12,911) 评论(0)
Caffe 深度学习框架上手教程

浏览(9,970) 评论(0)
ReactiveCocoa入门教程：第一部分

浏览(10,823) 评论(0)
开源HIDS-OSSEC使用实例:监测CC攻击

浏览(10,704) 评论(0)
Decorators in ES7

浏览(15,193) 评论(4)
用Electron（Atom编辑器的兄弟项目）开发桌面应用

浏览(28,137) 评论(0)
Windows下JetBrains CLion中文输出乱码的解决方法

浏览(11,630) 评论(1)
同步-@synchronized, NSLock, pthread, OSSpinLock性能比较

浏览(10,676) 评论(0)
Seaweedfs之Volume读请求重定向

浏览(24,939) 评论(3)
HTML、CSS及JavaScript ：有Promise，不会搞大肚子

浏览(12,805) 评论(0)

相关文章

阿里云首购8折

Loading...

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

[HBLOG]公众号

HBLOG

HBLOG