标签：Datanode

Harries 发布于 2019-09-11

作者: 大数据技术与架构 By  大数据技术与架构 场景描述：大数据开发岗位技能树，学习和复习总纲。 关键词：面试 大数据 大纲 正所谓，无招胜有招。 愿读到这篇文章的技术人早日明白并且脱离技术本身，早登彼岸。 一切技术最终只 是雕虫小 技 。 大纲 本系列主题是大数据...

阅读(48)评论(0)赞 (0)标签：2019 / ACE / Action / AIO / apache / API / App / apr / ArrayList / BIO / cache / cat / CEO / client / ConcurrentHashMap / consumer / core / CountDownLatch / CTO / CyclicBarrier / Datanode / db / dist / dubbo / executor / final / Hadoop / HashMap / HashTable / HBase / HDFS / HMaster / HRegionServer / http / https / id / IO / ip / java / java基础 / js / json / jstack / JVM / key / lib / LinkedList / linux / list / Logging / map / Markdown / Master / message / MQ / Namenode / Netty / Nginx / NIO / node / ORM / producer / queue / Reactor / redis / Region / RocketMQ / scala / Semaphore / shell / spring / springcloud / sql / src / ssl / SSL/TLS / stream / struct / synchronized / tab / ThreadPoolExecutor / UI / volatile / Word / zab / 一致性 / 下载 / 云 / 互联网 / 代码 / 任务调度 / 企业 / 关联查询 / 关键词 / 内存模型 / 分布式 / 分布式事务 / 分布式消息系统 / 分布式系统 / 分布式锁 / 协议 / 参数 / 同步 / 垃圾回收 / 基金 / 多线程 / 大数据 / 安全 / 工作原理 / 工程师 / 希望 / 幂等 / 幂等性 / 并发 / 开发 / 开源 / 开源项目 / 微信公众号 / 拒绝策略 / 招聘 / 数据 / 数据库 / 数据挖掘 / 数据模型 / 文件系统 / 文章 / 时间 / 本质 / 模型 / 消息队列 / 源码 / 漏洞 / 百度 / 目录 / 空间 / 管理 / 索引 / 线程 / 线程池 / 缓存 / 编译 / 翻译 / 谷歌 / 负载均衡 / 质量 / 进程 / 配置 / 锁 / 阿里云 / 阿里巴巴 / 集合类 / 集群 / 需求

刘莉莉 发布于 2019-08-24

一、基本概念 一个典型的 Hbase Table 表如下： 1.1 Row Key (行键) Row Key 是用来检索记录的主键。想要访问 HBase Table 中的数据，只有以下三种方式： 通过指定的 Row Key 进行访问； 通过 Row Key 的 range 进行访...

阅读(41)评论(0)赞 (0)标签：apache / Architect / cache / client / Datanode / git / GitHub / HBase / HDFS / HMaster / HTML / http / https / id / IDE / IO / key / Master / MQ / node / Qualifier / Region / schema / src / tab / tar / UI / value / Watcher / zookeeper / 分布式 / 删除 / 博客 / 图片 / 大数据 / 实例 / 开源 / 开源项目 / 数据 / 数据库 / 文件系统 / 文章 / 时间 / 服务器 / 系统架构 / 索引 / 缓存 / 解析 / 负载均衡 / 集群

darida 发布于 2019-06-17

上篇：架构及组件 一、数据平台的发展 1.1 背景介绍 随着数据时代的到来，数据量和数据复杂度的增加推动了数据工程领域的快速发展。为了满足各类数据获取/计算等需求，业内涌现出了诸多解决方案。但大部分方案都遵循以下原则： 降低数据处理成本 合理提高数据使用/计算效率 提供统一的编程...

阅读(112)评论(0)赞 (0)标签：ACE / apache / Apache Hadoop / API / App / apr / bus / Cassandra / cat / CTO / Datanode / db / dist / Facebook / Google / Hadoop / HBase / HDFS / http / https / id / IDE / IO / ip / java / JDBC / Job / lambda / map / Master / MQ / mysql / Netflix / node / ORM / PaaS / Presto / python / REST / RESTful / schema / Service / shell / sql / sqoop / src / stream / struct / tab / trigger / Uber / UI / 一致性 / 互联网 / 产品 / 代码 / 分布式 / 压力 / 同步 / 回答 / 大数据 / 安全 / 工程师 / 希望 / 并发 / 开发 / 开源 / 开源项目 / 微服务 / 总结 / 敏捷 / 数据 / 数据库 / 数据挖掘 / 时间 / 智能 / 服务器 / 架构设计 / 模型 / 测试 / 管理 / 索引 / 统计 / 营销 / 解析 / 质量 / 运营 / 进程 / 部署 / 配置 / 金融 / 银行 / 集群 / 需求 / 高可用

小丁 发布于 2019-03-12

本文旨在概述京东在JDK方向上的尝试与探索，以及京东JDK项目背景，基本特性以及未来的工作方向。对于JDK特性的技术讨论，实现细节及效果，将在后续系列文章中深入讨论。 一、HDFS简介 HDFS是作为最底层的分布式存储服务而存在的，是Hadoop的分布式文件系统组件。HDFS是高...

阅读(128)评论(0)赞 (0)标签：2019 / ACE / App / bug / cat / Collection / Collections / CTO / Datanode / Full GC / Hadoop / HDFS / http / https / id / IO / java / JVM / map / Master / Namenode / node / Oracle / Region / src / tab / tar / UI / 专注 / 主从架构 / 京东 / 代码 / 企业 / 分布式 / 分布式文件系统 / 删除 / 博客 / 压力 / 参数 / 同步 / 多线程 / 大数据 / 定制 / 实例 / 希望 / 开发 / 微信公众号 / 性能优化 / 数据 / 文件系统 / 文章 / 时间 / 服务器 / 物理内存 / 生命 / 目录 / 程序员 / 空间 / 管理 / 线程 / 线程同步 / 统计 / 编译 / 进程 / 部署 / 配置 / 锁 / 集群 / 需求

尖兵 发布于 2019-03-04

来这里找志同道合的小伙伴！ 前 言 本文旨在概述京东在JDK方向上的尝试与探索，以及京东JDK项目背景，基本特性以及未来的工作方向。       对于JDK特性的技术讨论，实现细节及效果，将在后续系列文章中深入讨论。 背景 HDF...

阅读(142)评论(0)赞 (0)标签：2019 / ACE / App / bug / cat / Collection / Collections / Datanode / Full GC / Hadoop / HDFS / http / https / id / IO / java / JVM / map / Master / Namenode / node / Oracle / Region / rmi / src / tab / tar / UI / 专注 / 主从架构 / 京东 / 代码 / 企业 / 分布式 / 分布式文件系统 / 删除 / 压力 / 参数 / 同步 / 多线程 / 大数据 / 定制 / 实例 / 希望 / 开发 / 性能优化 / 数据 / 文件系统 / 文章 / 时间 / 服务器 / 物理内存 / 生命 / 目录 / 程序员 / 空间 / 管理 / 线程 / 线程同步 / 统计 / 编译 / 进程 / 部署 / 配置 / 锁 / 集群 / 需求

hanze 发布于 2019-03-04

前言 在持续交付过程中，每次交付都不可避免地要花费大量时间精力用于环境配置、build、回归（Regression）测试、结果管理、问题跟踪、质量分析、总结，一个可以自动化完成所有功能的智能系统将大大提高开发、测试和管理效率。 本文基于开源工具或技术搭建一键式持续交付管理系统，对...

阅读(314)评论(0)赞 (0)标签：apache / API / bug / build / cat / client / Datanode / Developer / Docker / Dockerfile / git / GitHub / HTML / http / https / IBM / IO / java / jenkins / Job / Namenode / node / ORM / scala / src / tag / tomcat / UI / web / 下载 / 代码 / 代码覆盖率 / 参数 / 同步 / 工程师 / 希望 / 开发 / 开源 / 总结 / 数据 / 数据库 / 文章 / 时间 / 智能 / 服务端 / 标题 / 测试 / 测试环境 / 端口 / 管理 / 统计 / 编译 / 网站 / 自动化 / 覆盖率 / 质量 / 进程 / 部署 / 配置 / 需求

changyuan.xu 发布于 2019-02-28

背景 随着中国民生银行的 IT 业务系统的迅速发展，主机、设备、系统、应用软件数量不断增多，业务资源访问、操作量不断增加，对于应用整体系统智能分析与处理的要求不断提高，在解决分布式大数据搜索、日志挖掘和可视化的过程中，需要考虑实现一套完整并适用于民生银行的日志文件智能分析与处理的...

阅读(128)评论(0)赞 (0)标签：ACE / ActiveMQ / aix / API / App / Bootstrap / bug / cache / cat / client / core / Datanode / db / db2 / ECS / Elasticsearch / ELK / Eureka / git / GitHub / http / https / IO / ip / java / js / json / JVM / key / linux / log4j2 / map / Master / mina / MQ / mysql / Netflix / node / Oracle / Property / redis / REST / rmi / Service / spring / Spring cloud / sql / src / tail -f / tar / tomcat / UI / value / web / XML / 主机 / 产品 / 代码 / 分布式 / 参数 / 大数据 / 安全 / 安装 / 实例 / 并发 / 开发 / 开源 / 总结 / 推广 / 插件 / 操作系统 / 数据 / 数据库 / 数据挖掘 / 文件系统 / 时间 / 智能 / 服务器 / 服务注册 / 服务端 / 权限控制 / 架构设计 / 模型 / 注释 / 测试 / 源码 / 灰度发布 / 目录 / 空间 / 端口 / 管理 / 线程 / 缓存 / 网卡 / 解析 / 负载均衡 / 软件 / 进程 / 部署 / 配置 / 配置中心 / 银行 / 长连接 / 集群 / 需求 / 高可用

小丁 发布于 2018-12-17

Elasticsearch 是基于 Lucene 实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack，可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。 滴滴 Elasticsearch 简介...

阅读(234)评论(0)赞 (0)标签：App / ask / cat / client / Datanode / Elasticsearch / HDFS / http / https / IBM / IO / JVM / list / map / Master / MQ / mysql / Netty / node / QPS / REST / RESTful / Service / sql / src / TCP / UI / 专注 / 云 / 产品 / 代码 / 分布式 / 协议 / 压力 / 同步 / 备份 / 实例 / 开源 / 总结 / 搜索引擎 / 数据 / 文章 / 时间 / 模型 / 源码 / 滴滴 / 生命 / 管理 / 索引 / 线程 / 自动化 / 运营 / 进程 / 部署 / 配置 / 限流 / 集群 / 集群方案 / 需求

yeseng 发布于 2018-12-05

最近在重新整理 搜书吧 (一个做图书比价的平台)的系统架构，目前图书产品数量超过了200万条。各种数据加起来超过40G了，使用Mysql数据库存储服务器吃不消，于是考虑使用HBase存储大部分数据。 一、摘要 以前 搜书吧 的数据量比较小，使用数据库+静态文件存储的方式就可以搞定...

阅读(294)评论(0)赞 (0)标签：ACE / apache / API / App / apr / bean / bigdata / build / cache / cat / client / core / CTO / Datanode / description / dist / DOM / ECS / final / Google / Hadoop / HBase / HBase Shell / HDFS / HMaster / HRegionServer / HTML / http / https / id / IDE / IO / ip / java / js / key / lib / linux / Logging / map / Master / maven / mysql / Mysql数据库 / Namenode / nfs / node / Oracle / ORM / pom / Property / Region / REST / rmi / root / Service / servlet / shell / Slaves / spring / Spring Boot / sql / src / ssh / struct / tar / Ubuntu / UI / value / web / XML / zookeeper / 下载 / 主机 / 云 / 产品 / 代码 / 公网IP / 分布式 / 删除 / 安全 / 安装 / 安装配置 / 开发 / 微服务 / 数据 / 数据库 / 数据模型 / 文件系统 / 服务器 / 服务端 / 模型 / 测试 / 目录 / 端口 / 管理 / 系统架构 / 网站 / 调试 / 软件 / 配置 / 阿里云 / 集群