标签:mysql-bin

编程技术

如何基于 MySQL 主从模式搭建上万并发的系统架构?

7

hanze 发布于 2019-08-19

扫描下方二维码 试读 目录 : 一、主从复制基本概念 二、MySQL主从复制介绍 三、主从搭建配置 四、MySQL主从复制常见问题分析 一、主从复制基础概念 在了解主从复制之前必须要了解的就是数据库的二进制日志(binlog),主从复制架构大多基于二进制日志进行。 1.1 二进制...

阅读(13)评论(0)赞 (0)

Java

[Spring cloud 一步步实现广告系统] 16. 增量索引实现以及投送数据到MQ(kafka)

Harries 发布于 2019-08-10

实现增量数据索引 上一节中,我们为实现增量索引的加载做了充足的准备,使用到 mysql-binlog-connector-java 开源组件来实现MySQL 的binlog监听,关于binlog的相关知识,大家可以自行网络查阅。或者可以 mailto:magicianisaac@...

阅读(43)评论(0)赞 (0)

编程技术

『互联网架构』软件架构-解密电商系统-读写分离各种实现优缺点与解决方案(83)

7

puefu.he 发布于 2019-06-16

数据库读写分离,之前也说过这次在回顾下吧:主从复制,proxy读写分离,jar包进行读写分离。三种方式体量不同,根据自己的需求找到最合适的,一起说下。 (一)什么是读写分离 我们一般应用访问数据库无非是读取数据、修改数据、插入数据、删除数据。 而我们对数据库一般分为: maste...

阅读(107)评论(0)赞 (0)

Spring

SpringBoot 2.x ShardingSphere读写分离实战

6

dulong 发布于 2019-06-01

面对日益增加的系统访问量,数据库的吞吐量面临着巨大瓶颈。 对于同一时间有大量并发读操作和较少写操作类型的应用系统来说,将单一的数据库拆分为主库和从库,主库负责处理事务性的增删改操作,从库负责处理查询操作,能够有效的避免由数据更新导致的行锁,使得整个系统的查询性能得到极大的改善。 ...

阅读(98)评论(0)赞 (0)

编程技术

『互联网架构』软件架构-mysql主从(二)

42

xiaoli.wang 发布于 2019-02-09

通俗来讲,如果对数据库的读和写都在同一个数据库服务器中操作,业务系统性能会降低。 为了提升业务系统性能,优化用户体验,可以通过做主从复制(读写分离)来减轻主数据库的负载。 而且如果主数据库宕机,可快速将业务系统切换到从数据库上,可避免数据丢失。源码:https://github....

阅读(208)评论(0)赞 (0)

编程技术

LNMP+HAProxy+Keepalived负载均衡 – 配置文件汇总

puefu.he 发布于 2019-01-14

Nginx的操作命令 vim /usr/local/nginx/conf/nginx.conf # 将端口由80修改为10001,修改内容如下: listen 10001 default_server; # 具体配置可参考下面的nginx配置文件 # 重启Nginx,并查看其状态...

阅读(183)评论(0)赞 (0)

编程技术

MySQL常用参数列表

songhua.gao 发布于 2018-04-13

收集一些常用的MySQL参数,方便日后使用。 全局参数 通用配置 max_connections MySQL能创建的最大连接数,如果数据库的并发量比较大,建议调高此值,以增加并行连接数量,当然连接数越多,由于MySQL会为每个连接创建连接缓冲区,连接数越多会消耗更多内存 open...

阅读(381)评论(0)赞 (0)

编程技术

掌握MySQL数据库这些优化技巧,事半功倍!

4

darida 发布于 2018-04-10

一个成熟的数据库架构并不是一开始设计就具备高可用、高伸缩等特性的,它是随着用户量的增加,基础架构才逐渐完善。这篇文章主要谈谈MySQL数据库在发展周期中所面临的问题及优化方案,暂且抛开前端应用不说,大致分为以下五个阶段: 阶段一:数据库表设计 项目立项后,开发部门根据产品部门需求...

阅读(289)评论(0)赞 (0)

编程技术

容器化RDS—计算存储分离架构下的“Split-Brain”

21

darida 发布于 2018-02-28

沃趣科技  熊中哲 不管是架构选型还是生活,绝大多数时候都是在做 trade off,收获了计算存储分离带来的好处,也意味着要忍受它带来的一些棘手问题。本文尝试结合 Kubernetes, Docker, MySQL和计算存储分离架构, 分享我们遇到的“Split-Br...

阅读(325)评论(0)赞 (0)

编程技术

【MySQL】重放binlog故障一则 ERROR 1050 (42S01) : Table ” already exists

puefu.he 发布于 2018-02-08

〇 现象:     在通过binlog增量恢复数据时,报错1050。 〇 版本:     MySQL 5.5.x 及以下 ,低版本的MySQL 5.6.x (在5.6的高版本中测试,无法复现...

阅读(203)评论(0)赞 (0)

编程技术

如何用pt-query-digest分析日志

3

likai 发布于 2017-11-21

1、工具介绍 pt-query-digest是用于分析mysql慢查询的一个工具,它可以分析binlog、General log、slowlog,也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析。可以把分析结果输出到文件中,分析过程...

阅读(217)评论(0)赞 (0)

编程技术

如何通过binlog 轻松的找到没有及时提交的事物(infobin工具)

1

zhuangli 发布于 2017-08-15

工具获取 https://pan.baidu.com/s/1jHIWUN0 一、前言 本文只是工具的展示,未过多介绍细节,如果要更多了解细节请参考MYSQL运维内参第21章,当然我也有阅读并且从源码级 进行了验证,同时在书中也有一个用shell写成的脚本进行长期未提交的事物,但是...

阅读(223)评论(0)赞 (0)

编程技术

mysql主从不同步报错Last_Errno 1197

changyuan.xu 发布于 2017-07-24

今天mysql从库收到一份报错,从库死了,不能同步数据了,报错如下红色部分: Last_Errno: 1197 Last_Error: Could not execute Write_rows event on table mbpay.ATTACHMENT_copy; Multi...

阅读(240)评论(0)赞 (0)

编程技术

【MySQL】一条SQL使磁盘暴涨并导致MySQL Crash

3

邓龙华 发布于 2017-07-18

收到一个MySQL实例的磁盘告警,看到监控图,磁盘使用率增长速度非常快,在两个多小时的时间里,已经涨了170多G。 检查到binlog目录并不大,而datadir已经180多G了,发现ibtmp1非常大,并且持续增长。 赶紧上去看processlist,线程不多,检查到有一个SE...

阅读(458)评论(0)赞 (0)

编程技术

MySQL Group Replication 学习(部署篇)

刘莉莉 发布于 2017-07-17

  MySQL5.7版本出来有很长时间了,之前也装了玩了下,大概了解了部分功能和特性,但没有系统的学习和测试其主要新增功能,最近也特意抽出时间想去多了解了解,学习学习5.7的主要新特性,这里主要是针对其最突出的功能之一MySQL Group Replication(MG...

阅读(901)评论(0)赞 (0)

编程技术

关于热点数据导出与加载的影响,多的是你不知道的事

hanze 发布于 2017-06-27

导  读 想必数据库的同行们都知道,热点数据导出导入的动作,使得数据库重启之后,不需要再耗费大量的时间来预热,使得因为热点数据的原因导致数据库性能波动的时间大大减少,那么执行热点数据的导出与导入操作时究竟对数据库的性能有没有影响呢?如果你的服务器拥有超大内存,而且设置了...

阅读(235)评论(0)赞 (0)

编程技术

mysql主从选择性同步某几个库实现方法

wenming.gapo 发布于 2017-05-16

我们知道mysql主从同步可以选择性同步某几个数据库,并且要想实现这个目的可以借助如下几个参数: binlog-do-db=需要复制的数据库名,如果复制多个数据库,重复设置这个选项即可 binlog-ignore-db=不需要复制的数据库苦命,如果复制多个数据库,重复设置这个选项...

阅读(376)评论(0)赞 (0)

编程技术

MySQL主从不一致发现的细小问题分析(r12笔记第63天)

邓龙华 发布于 2017-05-16

   今天和同事一起看了一个问题,她在一个主从环境中发现了数据不一致,存在主键冲突。     show slave status的报错信息大概是下面的样子。 Last_Error: Coordinator stopped beca...

阅读(258)评论(0)赞 (0)