标签：Datanode

小丁 发布于 2018-12-17

Elasticsearch 是基于 Lucene 实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack，可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。 滴滴 Elasticsearch 简介...

阅读(38)评论(0)赞 (0)标签：App / ask / cat / client / Datanode / Elasticsearch / HDFS / http / https / IBM / IO / JVM / list / map / Master / MQ / mysql / Netty / node / QPS / REST / RESTful / Service / sql / src / TCP / UI / 专注 / 云 / 产品 / 代码 / 分布式 / 协议 / 压力 / 同步 / 备份 / 实例 / 开源 / 总结 / 搜索引擎 / 数据 / 文章 / 时间 / 模型 / 源码 / 滴滴 / 生命 / 管理 / 索引 / 线程 / 自动化 / 运营 / 进程 / 部署 / 配置 / 限流 / 集群 / 集群方案 / 需求

yeseng 发布于 2018-12-05

最近在重新整理 搜书吧 (一个做图书比价的平台)的系统架构，目前图书产品数量超过了200万条。各种数据加起来超过40G了，使用Mysql数据库存储服务器吃不消，于是考虑使用HBase存储大部分数据。 一、摘要 以前 搜书吧 的数据量比较小，使用数据库+静态文件存储的方式就可以搞定...

阅读(69)评论(0)赞 (0)标签：ACE / apache / API / App / apr / bean / bigdata / build / cache / cat / client / core / CTO / Datanode / description / dist / DOM / ECS / final / Google / Hadoop / HBase / HBase Shell / HDFS / HMaster / HRegionServer / HTML / http / https / id / IDE / IO / ip / java / js / key / lib / linux / Logging / map / Master / maven / mysql / Mysql数据库 / Namenode / nfs / node / Oracle / ORM / pom / Property / Region / REST / rmi / root / Service / servlet / shell / Slaves / spring / Spring Boot / sql / src / ssh / struct / tar / Ubuntu / UI / value / web / XML / zookeeper / 下载 / 主机 / 云 / 产品 / 代码 / 公网IP / 分布式 / 删除 / 安全 / 安装 / 安装配置 / 开发 / 微服务 / 数据 / 数据库 / 数据模型 / 文件系统 / 服务器 / 服务端 / 模型 / 测试 / 目录 / 端口 / 管理 / 系统架构 / 网站 / 调试 / 软件 / 配置 / 阿里云 / 集群

changyuan.xu 发布于 2018-06-15

DB Proxy，数据库中间件 mycat功能 1. 读写分离M-S-S  M-M-S-S 2. 负载均衡   Galera Cluster 3. 支持数据的分片自动路由与聚合 同类产品 MySQL Proxy       &nb...

阅读(172)评论(0)赞 (0)标签：cat / CTO / Datanode / db / db2 / grep / http / https / id / IDE / IO / java / java基础 / Java环境 / jvisualvm / linux / mongo / MongoDB / mysql / node / NOSQL / Oracle / Proxy / root / schema / schema.xml / Select / sql / src / tab / tar / UI / value / XML / 下载 / 主机 / 产品 / 分布式 / 协议 / 压力 / 参数 / 同步 / 备份 / 存储引擎 / 安装 / 开发 / 开源 / 数据 / 数据库 / 服务器 / 注释 / 源码 / 程序员 / 端口 / 管理 / 缓存 / 编译 / 美团 / 调试 / 负载均衡 / 软件 / 进程 / 配置 / 阿里巴巴 / 集群

wenming.gapo 发布于 2018-05-16

看pivotal发布的漏洞信息如下: 通过发布的漏洞信息可以知道，漏洞组件是在 XMLBeam 1.4.14或者是更早的版本，主要原因是没有限制XML文件外部实体引用。而 Spring Data Commons 的某些版本中使用了存在漏洞的 XMLBeam 组件。 环境搭建 下载...

阅读(85)评论(0)赞 (0)标签：App / bean / cat / client / constant / CTO / Datanode / Document / entity / example / git / GitHub / http / https / id / IDE / IO / java / Lua / map / MQ / node / pom / spring / src / tar / UI / value / web / windows / XML / 下载 / 代码 / 参数 / 总结 / 数据 / 本质 / 注释 / 测试 / 漏洞 / 解析 / 配置

hanze 发布于 2017-01-11

深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法，也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布式系统有一些了解。请参考这篇博客。本篇博文首先对HDFS的重...

阅读(181)评论(0)赞 (0)标签：Action / apache / API / cat / client / Datanode / dist / Hadoop / HDFS / HTML / http / id / IDE / IO / Namenode / NIO / node / NSA / ORM / Secondary Namenode / secondarynamenode / src / tab / UI / XML / 下载 / 分布式 / 删除 / 协议 / 博客 / 压力 / 参数 / 图片 / 安全 / 实例 / 总结 / 数据 / 数据缓存 / 文件上传 / 文件系统 / 时间 / 服务器 / 目录 / 空间 / 管理 / 负载均衡 / 软件 / 配置 / 集群

changyuan.xu 发布于 2017-01-05

文件系统在后端开发中，是非常重要的组件，当有存储图片或者视频的时候，文件系统就派上用场了；例如阿里为淘宝上的大量图片存储开发了分布式文件系统TFS和FastDFS，有些直播软件上视频也是存储在文件系统上等等；因此如果是从事后端开发或者分布式存储开发，也必须好好学习研究下文件系统；...

阅读(277)评论(0)赞 (0)标签：ACE / client / Datanode / Facebook / FastDFS / http / HTTP协议 / id / ip / key / linux / Master / Namenode / node / NOSQL / sql / src / UI / 分布式 / 协议 / 博客 / 图片 / 希望 / 开发 / 总结 / 操作系统 / 数据 / 文件系统 / 文章 / 时间 / 目录 / 端口 / 管理 / 系统架构 / 软件 / 配置 / 集群 / 高可用

小丁 发布于 2016-12-09

前言 《 HDFS NameNode内存全景 》中，我们从NameNode内部数据结构的视角，对它的内存全景及几个关键数据结构进行了简单解读，并结合实际场景介绍了NameNode可能遇到的问题，还有业界进行横向扩展方面的多种可借鉴解决方案。 事实上，对NameNode实施横向扩展...

阅读(186)评论(0)赞 (0)标签：ACE / Action / apache / Apache Hadoop / cache / cat / CTO / Datanode / git / GitHub / Hadoop / HDFS / HTML / http / https / id / IO / ip / java / js / list / map / Namenode / node / Oracle / rmi / src / tab / UI / value / 博客 / 参数 / 同步 / 启动过程 / 微信公众号 / 总结 / 数据 / 文件系统 / 文章 / 时间 / 生命 / 目录 / 空间 / 管理 / 统计 / 美团 / 详细分析 / 配置 / 集群 / 需求

小丁 发布于 2016-12-05

原文来源： Rancher Labs 相信大家对于容器和 docker 这个概念并不陌生，很高兴的是 docker 为我们提供了多种log-driver。 我们在使用 docker 处理日志的时候多数是采用 docker logs <container>命令，因为 d...

阅读(350)评论(0)赞 (0)标签：cat / client / CTO / Datanode / Docker / http / IO / java / js / json / key / Master / node / Property / redis / remote / rsyslog / Service / src / TCP / UDP / UI / unix / value / web / windows / 协议 / 开发 / 插件 / 数据 / 消息队列 / 目录 / 端口 / 管理 / 调试 / 进程 / 遍历 / 集群

zhuangli 发布于 2016-11-30

任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。总结起来，大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐...

阅读(127)评论(0)赞 (0)标签：Action / API / cache / Datanode / HBase / HDFS / http / IO / ip / key / node / Region / src / UI / 参数 / 工作原理 / 希望 / 开发 / 开发者 / 总结 / 数据 / 数据库 / 文章 / 时间 / 服务器 / 服务端 / 目录 / 突破 / 遍历 / 配置 / 集群