标签:Datanode

编程技术

滴滴 Elasticsearch 多集群架构实践

4

小丁 发布于 2018-12-17

Elasticsearch 是基于 Lucene 实现的分布式搜索引擎,提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack,可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。 滴滴 Elasticsearch 简介...

阅读(38)评论(0)赞 (0)

Spring

开发笔记 – Spring Boot集成HBase

8

yeseng 发布于 2018-12-05

最近在重新整理 搜书吧 (一个做图书比价的平台)的系统架构,目前图书产品数量超过了200万条。各种数据加起来超过40G了,使用Mysql数据库存储服务器吃不消,于是考虑使用HBase存储大部分数据。 一、摘要 以前 搜书吧 的数据量比较小,使用数据库+静态文件存储的方式就可以搞定...

阅读(69)评论(0)赞 (0)

Java

HBase 内核组件协调及RegionServer JVM参数调优-OLAP商业环境实战

xiaoli.wang 发布于 2018-11-27

本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。版权声明:禁止转载,欢迎学习。QQ邮箱地址:1120746959@qq.com,如有任何学术交流,可随时联系。 1 弱...

阅读(80)评论(0)赞 (0)

Java

Spring Boot中使用WebSocket总结(三):使用消息队列实现分布式WebSocket

zhuangli 发布于 2018-11-21

在上一篇文章( www.zifangsky.cn/1359.html )中我介绍了服务端如何给指定用户的客户端发送消息,并如何处理对方不在线的情况。在这篇文章中我们继续思考另外一个重要的问题,那就是: 如果我们的项目是分布式环境,登录的用户被Nginx的反向代理分配到多个不同服务...

阅读(75)评论(0)赞 (0)

Java

Shading – jdbc 源码分析(四) – sql 路由

2

likai 发布于 2018-11-12

上一篇文章我们分析了sharding-jdbc 解析 select 语句(sql 解析之 Select),今天我们分析下sql路由。 声明:本文基于1.5.M1版本 时序图: 执行逻辑 下面我们以上篇文章的Select语句分析: SELECT o.order_id FROM or...

阅读(91)评论(0)赞 (0)

Java

mysql读写分离实现 jdk+mycat环境部署

10

changyuan.xu 发布于 2018-06-15

DB Proxy,数据库中间件 mycat功能 1. 读写分离M-S-S  M-M-S-S 2. 负载均衡   Galera Cluster 3. 支持数据的分片自动路由与聚合 同类产品 MySQL Proxy       &nb...

阅读(172)评论(0)赞 (0)

Spring

spring-data-XMLBean XXE复现分析

9

wenming.gapo 发布于 2018-05-16

看pivotal发布的漏洞信息如下: 通过发布的漏洞信息可以知道,漏洞组件是在 XMLBeam 1.4.14或者是更早的版本,主要原因是没有限制XML文件外部实体引用。而 Spring Data Commons 的某些版本中使用了存在漏洞的 XMLBeam 组件。 环境搭建 下载...

阅读(85)评论(0)赞 (0)

Java

DataNode启动分析

yeseng 发布于 2018-04-28

启动工作线程 1. 通信:BPServiceActor,IpcServer,DataXceiverServer,localDataXceiverServer 2. 监控:JVMPauseMonitor,DU(dfsUsage) 3. 其他:InfoServer 入口 # org....

阅读(175)评论(0)赞 (0)

编程技术

关于Mongodb的全面总结,学习mongodb的人,可以从这里开始!

hanze 发布于 2017-12-05

原文地址:http://blog.csdn.net/yiqijinbu/article/details/9053467   MongoDB的内部构造《MongoDB The Definitive Guide》 MongoDB的官方文档基本是how to do的...

阅读(667)评论(0)赞 (1)

编程技术

重拾初心——Sqoop1和Sqoop2的刨析对比

3

刘莉莉 发布于 2017-02-20

打开微信扫一扫,关注微信公众号【码农故事多】 转载请注明出处: http://www.voidcn.com/blog/gamer_gyt/ 博主微博: http://weibo.com/234654758 Github: https://github.com/thinkgamer...

阅读(244)评论(0)赞 (0)

编程技术

HBase Region Locality

darida 发布于 2017-02-17

因为DataNode和RegionServer通常会部署在相同的机器上,所以会产生Locality这样的概念。 HBase的Locality是通过HDFS的Block复制实现的。在复制Block时,HBase是这样选择副本的位置的: 第一个副本写到本地节点上; 第二个副本写到另一...

阅读(188)评论(0)赞 (0)

编程技术

Apache Eagle毕业成为顶级项目

1

puefu.he 发布于 2017-02-04

Apache Eagle 是一个识别大数据平台上的安全和性能问题的开源解决方案,2017年1月10日,Apache Eagle毕业成为 Apache 顶级项目。 Eagle首先由 eBay 在2015年10月开源,它主要用来即时监测敏感数据访问和恶意活动,并及时采取行动。除了数据...

阅读(153)评论(0)赞 (0)

编程技术

【技术分享】同程旅游Hadoop安全实践

3

尖兵 发布于 2017-01-17

0x01 背景 当前大一点的公司都采用了共享Hadoop集群的模式 [1] 。 共享Hadoop是指:数据存储方面,公有/私有的文件目录混合存放在hdfs上,不同的用户根据需求访问不同的数据; 计算资源方面,管理员按部门或业务划分若干个队列,每个队列分配一定量的资源,每个用户/组...

阅读(191)评论(0)赞 (0)

编程技术

深刻理解HDFS工作机制

4

hanze 发布于 2017-01-11

深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布式系统有一些了解。请参考这篇博客。本篇博文首先对HDFS的重...

阅读(181)评论(0)赞 (0)

编程技术

SeaweedFS概述

4

changyuan.xu 发布于 2017-01-05

文件系统在后端开发中,是非常重要的组件,当有存储图片或者视频的时候,文件系统就派上用场了;例如阿里为淘宝上的大量图片存储开发了分布式文件系统TFS和FastDFS,有些直播软件上视频也是存储在文件系统上等等;因此如果是从事后端开发或者分布式存储开发,也必须好好学习研究下文件系统;...

阅读(277)评论(0)赞 (0)

编程技术

HDFS NameNode内存详解

9

小丁 发布于 2016-12-09

前言 《 HDFS NameNode内存全景 》中,我们从NameNode内部数据结构的视角,对它的内存全景及几个关键数据结构进行了简单解读,并结合实际场景介绍了NameNode可能遇到的问题,还有业界进行横向扩展方面的多种可借鉴解决方案。 事实上,对NameNode实施横向扩展...

阅读(186)评论(0)赞 (0)

编程技术

如何在 Rancher 中统一管理容器日志

10

小丁 发布于 2016-12-05

原文来源: Rancher Labs 相信大家对于容器和 docker 这个概念并不陌生,很高兴的是 docker 为我们提供了多种log-driver。 我们在使用 docker 处理日志的时候多数是采用 docker logs <container>命令,因为 d...

阅读(350)评论(0)赞 (0)

编程技术

HBase最佳实践-读性能优化

4

zhuangli 发布于 2016-11-30

任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBase也一样,在真实生产线上大家或多或少都会遇到很多问题,有些是HBase还需要完善的,有些是我们确实对它了解太少。总结起来,大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐...

阅读(127)评论(0)赞 (0)