京东智联云对象存储高可用架构设计思考 软件架构

京东智联云对象存储高可用架构设计思考

在刚刚过去的618大促中,京东视频抛弃了私有存储, 将京东智联云对象存储作为京东视频的唯一存储。 在整个618过程中,京东智联云对象存储提供了稳定的服务,助力618完美落幕。 618大促作为京东集团最重要的活动,对所有服务的可用性有极高的要求,京东视频作为京东的一级系统,对存储的故障更是零容忍,那么如何保障系统的高可用呢?下面我们就一起来探讨下京东智联云对象存储在高可用架构设计上的一...
阅读全文
民生银行日接入量15T的ELK日志平台(Apollo+ES源码改造) Java

民生银行日接入量15T的ELK日志平台(Apollo+ES源码改造)

作者介绍 中国民生银行大数据基础平台运维组团队:赵蒙、詹玉林、文乔、黄鹏程、焦媛、武文齐、孙玺 , 民生银行大数据基础平台运维组团队是一个热衷技术的年轻团队, 采用先进的技术架构及成熟的开源产品建设了民生银行一系列大数据基础平台,如天眼实时日志平台,实现了秒级延时的海量日志实时接入;大数据平台计算和非计算集群,支持非结构化数据的对象存储,同时支持机器学习和数据挖掘;Kafka 平台,实现了...
阅读全文
sharding-JDBC源码分析(三)SQL路由 Java

sharding-JDBC源码分析(三)SQL路由

SQL router 分库分表中重要的一个模块就是数据切分,将数据根据一定的规则分布在多个DB中,那么这个过程中涉及到了路由,即根据SQL中分片键通过规则(分片算法)计算出某个DB节点,这个过程称为SQL路由。 The source code sharding-JDBC路由入口统一在 shardingStatement 和 ShardingPreparedStatemen...
阅读全文
SpringBoot结合Sharding-JDBC实现分库分表 Java

SpringBoot结合Sharding-JDBC实现分库分表

前言: 今天来聊下 SpringBoot 集成 Sharding-JDBC 实现分库分表;为此写了一个小 Demo ,这个Demo是基于SpringBoot,并集成了 Mybatis、Redis、Swagger(生成在线的接口文档 )、PageHelper(分页工具) 等,当然绝对也集成了 Sharding-JDBC ;以及设计了 RestFul 风格的接口...
阅读全文
SpringBoot 整合 MyCat 实现读写分离 Java

SpringBoot 整合 MyCat 实现读写分离

:hand:点击“ 面试交流 ”加入交流群 :hand: “置顶公众号”,每天推送面试专题 作者:颜不喜 https://urlify.cn/iMfqEj MyCat一个彻底开源的,面向企业应用开发的大数据库集群。基于阿里开源的Cobar产品而研发。能满足数据库数据大量存储;提高了查询性能。文章介绍如何实现MyCat连接MySQL实现主从分离,...
阅读全文
分布式 | DBLE 新全局表检查实现浅析 编程技术

分布式 | DBLE 新全局表检查实现浅析

作者:孙正方 爱可生 DBLE 核心研发成员,拥有丰富的分布式数据库中间件开发、咨询以及调优经验,擅长数据库中间件问题排查和处理,对线上中间件部分排错有深入的实践与认知。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 背景 在 dble 2.19.11.0 之前的版本中,继承于 Mycat 的实现, 全局表检查 是一个 s...
阅读全文
手把手带你用数据库中间件Mycat+SpringBoot完成分库分表 Java

手把手带你用数据库中间件Mycat+SpringBoot完成分库分表

一、背景 随着时间和业务的发展,数据库中的数据量增长是不可控的,库和表中的数据会越来越大,随之带来的是更高的磁盘、IO、系统开销,甚至性能上的瓶颈,而一台服务的资源终究是有限的,因此需要对数据库和表进行拆分,从而更好的提供数据服务。 当用户表达到千万级别,在做很多操作的时候都会很吃力,所以当数据增长到1000万以上就需要分库分表来缓解单库(表)的压力。 二、什么是分库分表[1] 简...
阅读全文
分库分表实践-Sharding-JDBC 编程技术

分库分表实践-Sharding-JDBC

最近一段时间在研究分库分表的一些问题,正好周末有点时间就简单做下总结,也方便自己以后查看。 关于为什么要做分库分表,什么是水平分表,垂直分表等概念,相信大家都知道,这里就不在赘述了。 本文只讲述使用Sharding-JDBC做分库分表的一些实践经验,如果有错误欢迎大家指出。 什么是Sharding-JDBC Sharding-jdbc是当当网开源的一款 客户端代理...
阅读全文
Loading...