标签:Datanode

Java

mysql读写分离实现 jdk+mycat环境部署

10

changyuan.xu 发布于 2018-06-15

DB Proxy,数据库中间件 mycat功能 1. 读写分离M-S-S  M-M-S-S 2. 负载均衡   Galera Cluster 3. 支持数据的分片自动路由与聚合 同类产品 MySQL Proxy       &nb...

阅读(81)评论(0)赞 (0)

Spring

spring-data-XMLBean XXE复现分析

9

wenming.gapo 发布于 2018-05-16

看pivotal发布的漏洞信息如下: 通过发布的漏洞信息可以知道,漏洞组件是在 XMLBeam 1.4.14或者是更早的版本,主要原因是没有限制XML文件外部实体引用。而 Spring Data Commons 的某些版本中使用了存在漏洞的 XMLBeam 组件。 环境搭建 下载...

阅读(33)评论(0)赞 (0)

Java

DataNode启动分析

yeseng 发布于 2018-04-28

启动工作线程 1. 通信:BPServiceActor,IpcServer,DataXceiverServer,localDataXceiverServer 2. 监控:JVMPauseMonitor,DU(dfsUsage) 3. 其他:InfoServer 入口 # org....

阅读(116)评论(0)赞 (0)

编程技术

关于Mongodb的全面总结,学习mongodb的人,可以从这里开始!

hanze 发布于 2017-12-05

原文地址:http://blog.csdn.net/yiqijinbu/article/details/9053467   MongoDB的内部构造《MongoDB The Definitive Guide》 MongoDB的官方文档基本是how to do的...

阅读(532)评论(0)赞 (1)

编程技术

重拾初心——Sqoop1和Sqoop2的刨析对比

3

刘莉莉 发布于 2017-02-20

打开微信扫一扫,关注微信公众号【码农故事多】 转载请注明出处: http://www.voidcn.com/blog/gamer_gyt/ 博主微博: http://weibo.com/234654758 Github: https://github.com/thinkgamer...

阅读(198)评论(0)赞 (0)

编程技术

HBase Region Locality

darida 发布于 2017-02-17

因为DataNode和RegionServer通常会部署在相同的机器上,所以会产生Locality这样的概念。 HBase的Locality是通过HDFS的Block复制实现的。在复制Block时,HBase是这样选择副本的位置的: 第一个副本写到本地节点上; 第二个副本写到另一...

阅读(134)评论(0)赞 (0)

编程技术

Apache Eagle毕业成为顶级项目

1

puefu.he 发布于 2017-02-04

Apache Eagle 是一个识别大数据平台上的安全和性能问题的开源解决方案,2017年1月10日,Apache Eagle毕业成为 Apache 顶级项目。 Eagle首先由 eBay 在2015年10月开源,它主要用来即时监测敏感数据访问和恶意活动,并及时采取行动。除了数据...

阅读(107)评论(0)赞 (0)

编程技术

【技术分享】同程旅游Hadoop安全实践

3

尖兵 发布于 2017-01-17

0x01 背景 当前大一点的公司都采用了共享Hadoop集群的模式 [1] 。 共享Hadoop是指:数据存储方面,公有/私有的文件目录混合存放在hdfs上,不同的用户根据需求访问不同的数据; 计算资源方面,管理员按部门或业务划分若干个队列,每个队列分配一定量的资源,每个用户/组...

阅读(136)评论(0)赞 (0)

编程技术

深刻理解HDFS工作机制

4

hanze 发布于 2017-01-11

深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布式系统有一些了解。请参考这篇博客。本篇博文首先对HDFS的重...

阅读(131)评论(0)赞 (0)

编程技术

SeaweedFS概述

4

changyuan.xu 发布于 2017-01-05

文件系统在后端开发中,是非常重要的组件,当有存储图片或者视频的时候,文件系统就派上用场了;例如阿里为淘宝上的大量图片存储开发了分布式文件系统TFS和FastDFS,有些直播软件上视频也是存储在文件系统上等等;因此如果是从事后端开发或者分布式存储开发,也必须好好学习研究下文件系统;...

阅读(219)评论(0)赞 (0)

编程技术

HDFS NameNode内存详解

9

小丁 发布于 2016-12-09

前言 《 HDFS NameNode内存全景 》中,我们从NameNode内部数据结构的视角,对它的内存全景及几个关键数据结构进行了简单解读,并结合实际场景介绍了NameNode可能遇到的问题,还有业界进行横向扩展方面的多种可借鉴解决方案。 事实上,对NameNode实施横向扩展...

阅读(150)评论(0)赞 (0)

编程技术

如何在 Rancher 中统一管理容器日志

10

小丁 发布于 2016-12-05

原文来源: Rancher Labs 相信大家对于容器和 docker 这个概念并不陌生,很高兴的是 docker 为我们提供了多种log-driver。 我们在使用 docker 处理日志的时候多数是采用 docker logs <container>命令,因为 d...

阅读(269)评论(0)赞 (0)

编程技术

HBase最佳实践-读性能优化

4

zhuangli 发布于 2016-11-30

任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBase也一样,在真实生产线上大家或多或少都会遇到很多问题,有些是HBase还需要完善的,有些是我们确实对它了解太少。总结起来,大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐...

阅读(87)评论(0)赞 (0)

编程技术

Mysql分库分表之Mycat学习笔记七【分片规则-ER分片表】

2

songhua.gao 发布于 2016-08-16

有一类业务,例如订单表和订单明细表,明细表通常会依赖于订单表,这类关系可以用Mycat的ER分片表来表示,字表的记录与所关联的父表记录存放在同一个数据分片上,也是为了避免了跨库Join。下面我们再构造一个order_detail表来实现ER分片规则。 修改schema.xml配置...

阅读(359)评论(0)赞 (0)

编程技术

英语流利说基础数据平台

4

邓龙华 发布于 2016-08-09

随着大数据产品的日益成熟与稳定,如今不少互联网公司在数据产品所投入的运维工作已经越来越少,另外,加上国内云服务的不断普及,建立一套自己的大数据基础平台的成本也将变的更低。本文将向大家简要介绍流利说是怎样基于 AWS(Amazon Web Services)服务构建自己的大数据平台...

阅读(132)评论(0)赞 (0)

编程技术

关于分布式存储,这是你应该知道的

14

zhuangli 发布于 2016-08-05

作者简介: 顾炯 中国电信浙江公司中国电信云计算实验室、SDx联合技术开放实验室专家委员。作为第一完成人,多个项目获得省部级和集团级科技进步奖。 前言 分布式存储存在的风险,其实就是因为“共享”、“大数据量”、“高性能”和X86服务器+廉价的磁盘为载体之间的矛盾所产生的,不是有些...

阅读(142)评论(0)赞 (0)

编程技术

关于分布式存储,这是你应该知道的

14

puefu.he 发布于 2016-08-05

作者简介: 顾炯 中国电信浙江公司中国电信云计算实验室、SDx联合技术开放实验室专家委员。作为第一完成人,多个项目获得省部级和集团级科技进步奖。 前言 分布式存储存在的风险,其实就是因为“共享”、“大数据量”、“高性能”和X86服务器+廉价的磁盘为载体之间的矛盾所产生的,不是有些...

阅读(81)评论(0)赞 (0)

编程技术

散列表之直接寻址表

2

Harries 发布于 2016-07-03

注:本文是对众多博客的学习和总结,可能存在理解错误。请带着怀疑的眼光,同时如果有错误希望能指出。 散列表之直接寻址表 散列表 是实现字典操作的一个有效的数据结构,尽管在最坏情况下,散列表的查找和删除的时间代价为 O(n) ,但是在实际中,散列表的性能是很好的,在一些合理的假设下,...

阅读(124)评论(0)赞 (0)