标签:Datanode
hellas 发布于 2019-12-02
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
关于程序员,除了做项目来提高自身的技术之外,还有一种提升自己的专业技能就是:多!看!书! 小编整理出一篇Java进阶架构师之路的核心知识,同时也是面试时面试官必问的知识点,篇章也是包括了很多知识点,其中包括了有基础知识、Java集合、JVM、多线程并发、spring原理、微服务、...
阅读(26)赞 (0)标签:ACE / API / App / apr / ArrayList / ask / bus / Cassandra / cat / CDN / client / CountDownLatch / CTO / CyclicBarrier / Datanode / db / Docker / ELK / Hadoop / Haproxy / HashSet / HBase / HDFS / http / https / Hystrix / IaaS / id / IO / ioc / ip / java / java反射 / java基础 / java注解 / java线程 / Java集合 / Job / JPA / JVM / key / lib / list / Logback / map / Master / message / mongo / MongoDB / MQ / mybatis / mybatis缓存 / Namenode / Netty / nfs / Nginx / NIO / node / OpenStack / ORM / PaaS / Proxy / queue / rabbitmq / redis / rmi / Secondary Namenode / Semaphore / Sleuth / spring / Spring Boot / spring ioc / sql / src / stream / tab / tar / TCP / tomcat / UI / value / volatile / zab / zip / zookeeper / 一致性 / 三阶段提交 / 云 / 代码 / 任务调度 / 免费 / 关键技术 / 关键词 / 分布式 / 分布式锁 / 加密 / 协议 / 反向代理 / 同步 / 命令模式 / 垃圾回收 / 多线程 / 存储引擎 / 工作原理 / 并发 / 微服务 / 数据 / 数据库 / 数据模型 / 服务注册 / 架构师 / 模型 / 生命 / 目录 / 程序员 / 程序猿 / 管理 / 索引 / 线程 / 线程同步 / 线程池 / 缓存 / 设计模式 / 负载均衡 / 进程 / 适配器 / 配置 / 配置中心 / 重排序 / 锁 / 集群
xiaoli.wang 发布于 2019-12-01
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
Hadoop在整个大数据技术体系中占有至关重要的地位,是大数据技术的基础和敲门砖,对Hadoop基础知识的掌握程度会在一定程度决定在大数据技术的道路上能走多远。 最近想要学习Spark,首先需要搭建Spark的环境,Spark的依赖环境比较多,需要Java JDK、Hadoop的...
阅读(56)赞 (0)标签:2019 / apache / apr / build / cat / core / Datanode / dist / Document / DOM / example / executor / Hadoop / HDFS / HTML / http / https / id / IDE / IO / ip / java / key / lib / linux / list / Logging / Master / Namenode / node / Oracle / ORM / Property / rand / rsync / scala / Secondary Namenode / secondarynamenode / Security / shell / src / ssh / tab / tag / tar / Ubuntu / UI / value / web / XML / 下载 / 代码 / 分布式 / 大数据 / 安全 / 安装 / 操作系统 / 数据 / 文件系统 / 测试 / 目录 / 软件 / 配置 / 集群
songhua.gao 发布于 2019-11-13
![]()
![]()
![]()
![]()
一、水平分割 1、水平分库 1)、概念: 以字段为依据,按照一定策略,将一个库中的数据拆分到多个库中。 2)、结果 每个库的结构都一样;数据都不一样; 所有库的并集是全量数据; 2、水平分表 1)、概念 以字段为依据,按照一定策略,将一个表中的数据拆分到多个表中。 2)、结果 每...
阅读(39)赞 (0)标签:API / App / bean / bug / C3P0 / Collection / Connection / CTO / Datanode / dataSource / db / DBCP / druid / HashMap / HTML / http / https / id / IDE / IO / java / JDBC / JDBC API / lib / map / mybatis / mysql / node / ORM / Proxy / REST / root / Select / Service / sharding / spring / Spring Boot / springboot / sql / src / ssl / Statement / tab / token / UI / value / Word / 代码 / 参数 / 数据 / 数据库 / 测试 / 源码 / 解析 / 连接池 / 部署 / 配置
xiaoli.he 发布于 2019-11-08
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。 HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。在大数据生态圈中,HDFS是最重要的底层分布式文件系统,它的稳定性关乎整个生态系统的健康。...
阅读(58)赞 (0)标签:2019 / ACE / API / cat / CTO / Datanode / db / DNS / DOM / ELK / Hadoop / HBase / HDFS / heartbeat / http / https / id / IO / java / jenkins / JVM / Namenode / node / queue / Security / src / tar / UI / zookeeper / 主机 / 云 / 产品 / 京东 / 免费 / 分布式 / 分布式文件系统 / 删除 / 参数 / 同步 / 备份 / 大数据 / 安全 / 实例 / 工程师 / 并发 / 开发 / 开源 / 总结 / 数据 / 文件系统 / 日常维护 / 时间 / 服务器 / 生命 / 目录 / 空间 / 管理 / 统计 / 自动化 / 进程 / 部署 / 配置 / 集群 / 需求 / 高可用
changyuan.xu 发布于 2019-10-26
![]()
在JDK8的阻塞队列实现中还有两个未进行说明,今天继续对其中的一个阻塞队列LinkedTransferQueue进行源码分析,如果之前的队列分析已经让你对阻塞队列有了一定的了解,相信本文要讲解的LinkedTransferQueue的源码也能很快被理解,接下来一起学习吧 前言 J...
阅读(24)赞 (0)标签:ACE / App / cat / Collection / consumer / Datanode / DOM / equals / final / find / http / https / id / IO / ip / java / list / node / NSA / queue / rand / REST / retry / src / swap / tab / tar / UI / update / value / volatile / zab / 事故 / 删除 / 参数 / 同步 / 垃圾回收 / 处理器 / 希望 / 并发 / 总结 / 数据 / 时间 / 构造方法 / 注释 / 源码 / 线程 / 统计 / 遍历
likai 发布于 2019-10-16
![]()
![]()
![]()
![]()
HBase 优化 JVM调优 内存调优 一般安装好的HBase集群,默认配置是给Master和RegionServer 1G的内存,而Memstore默认占0.4,也就是400MB。显然RegionServer给的1G真的太少了。 export HBASE_MASTER_OPTS...
阅读(41)赞 (0)标签:Action / apr / ask / bus / cache / cat / constant / Datanode / db / Full GC / HBase / http / https / id / IO / ip / java / JVM / key / map / Master / node / Region / src / tab / UI / windows / XML / 一级缓存 / 专注 / 二级缓存 / 删除 / 压力 / 参数 / 安装 / 工作原理 / 并发 / 总结 / 操作系统 / 数据 / 时间 / 服务器 / 测试 / 空间 / 管理 / 缓存 / 进程 / 配置 / 集群
刘莉莉 发布于 2019-10-11
![]()
数据量按照分片键(入库时间)进入对应的月表,查询时根据分片键的值查询指定表;但是每次查询都必须带上分片键,这就不是很友好,所以另外后面也有说明在没有指定分片键时如何查询最近的两个月。 前期准备 建表语句 -- 逻辑表,每个月表都根据逻辑表生成 CREATE TABLE `EXAM...
阅读(37)赞 (0)标签:2019 / ACE / apache / API / App / ArrayList / bean / cat / Collection / core / CTO / Datanode / dataSource / db / DDL / DOM / druid / entity / equals / example / executor / final / find / GMT / HashSet / http / https / id / IDE / IO / ip / java / JDBC / JPA / js / json / junit / key / lib / LinkedList / list / maven / mysql / node / ORM / parse / Persistence / rand / REST / root / Select / sharding / spring / springboot / sql / src / Statement / tab / tag / tar / tk / tomcat / UI / update / value / web / Word / zab / 代码 / 总结 / 数据 / 数据库 / 时间 / 注释 / 测试 / 配置 / 需求
likai 发布于 2019-10-08
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
fastjrun的个人空间 快嘉开发框架 正文 使用jenkins的jacoco插件快速实现统计单元测试覆盖率 顶 原 荐 fastjrun 发布于 昨天 21:32 字数 468 阅读 14 收藏 0 Jenkins 同样是5年开发,年薪50万和年薪15万的差距在...
阅读(72)赞 (0)标签:2015 / Action / ActiveMQ / Android / Atom / build / cache / cat / CTO / Datanode / Docker / docker-compose / equals / final / git / GitHub / http / https / id / IO / java / jenkins / list / maven / message / MQ / mybatis / Nginx / node / plugin / spring / Spring Boot / src / tab / tomcat / trigger / UI / wget / XML / 下载 / 主机 / 云 / 代码 / 代码覆盖率 / 单元测试 / 反向代理 / 安装 / 实例 / 开发 / 开发者 / 开源 / 开源项目 / 总结 / 提问 / 插件 / 数据 / 数据库 / 文章 / 时间 / 服务器 / 架构师 / 测试 / 程序员 / 空间 / 统计 / 自动化 / 覆盖率 / 软件 / 配置 / 阿里云 / 集群
Harries 发布于 2019-09-13
![]()
【声明】本文由《大数据技术与架构》读者提供,未经授权不得转载。 5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 腾讯 关键词【Java基础】【数据结构】【操作系统】 【算法】【数...
阅读(58)赞 (0)标签:Ajax / AOP / App / apr / ArrayList / ask / Atom / cat / cglib / ConcurrentHashMap / core / Datanode / db / dist / DNS / Docker / dubbo / equals / executor / final / git / Hadoop / HashMap / HashTable / HBase / HDFS / http / https / HTTP协议 / id / IO / ioc / ip / java / java基础 / java线程 / JDBC / Job / js / JVM / key / lib / LinkedList / linux / list / map / mapper / message / mybatis / mysql / Nginx / NIO / node / rand / redis / remote / session / spring / spring ioc / springboot / springcloud / SpringMVC / sql / src / stream / synchronized / tab / tag / TCP / UDP / UI / value / volatile / web / XML / zookeeper / 一对多 / 一致性 / 二级缓存 / 云 / 互联网 / 京东 / 代码 / 任务调度 / 企业 / 关键词 / 内存模型 / 分布式 / 分布式锁 / 删除 / 加密 / 加班 / 协议 / 原子类 / 参数 / 反向代理 / 右手 / 同步 / 回答 / 垃圾回收 / 备份 / 多线程 / 大数据 / 存储引擎 / 学生 / 安全 / 实例 / 工作原理 / 并发 / 开发 / 微服务 / 拒绝策略 / 提问 / 操作系统 / 数据 / 数据库 / 时间 / 服务器 / 服务端 / 模型 / 正则表达式 / 消息队列 / 源码 / 滴滴 / 生命 / 科技 / 空间 / 突破 / 管理 / 索引 / 线程 / 线程同步 / 线程池 / 统计 / 缓存 / 编译 / 解析 / 设计模式 / 负载均衡 / 进程 / 递归 / 遍历 / 部署 / 配置 / 锁 / 阿里巴巴 / 集合类 / 集群 / 静态方法 / 非静态方法 / 项目管理 / 高并发
Harries 发布于 2019-09-11
![]()
![]()
![]()
![]()
作者: 大数据技术与架构 By 大数据技术与架构 场景描述:大数据开发岗位技能树,学习和复习总纲。 关键词:面试 大数据 大纲 正所谓,无招胜有招。 愿读到这篇文章的技术人早日明白并且脱离技术本身,早登彼岸。 一切技术最终只 是雕虫小 技 。 大纲 本系列主题是大数据...
阅读(126)赞 (0)标签:2019 / ACE / Action / AIO / apache / API / App / apr / ArrayList / BIO / cache / cat / CEO / client / ConcurrentHashMap / consumer / core / CountDownLatch / CTO / CyclicBarrier / Datanode / db / dist / dubbo / executor / final / Hadoop / HashMap / HashTable / HBase / HDFS / HMaster / HRegionServer / http / https / id / IO / ip / java / java基础 / js / json / jstack / JVM / key / lib / LinkedList / linux / list / Logging / map / Markdown / Master / message / MQ / Namenode / Netty / Nginx / NIO / node / ORM / producer / queue / Reactor / redis / Region / RocketMQ / scala / Semaphore / shell / spring / springcloud / sql / src / ssl / SSL/TLS / stream / struct / synchronized / tab / ThreadPoolExecutor / UI / volatile / Word / zab / 一致性 / 下载 / 云 / 互联网 / 代码 / 任务调度 / 企业 / 关联查询 / 关键词 / 内存模型 / 分布式 / 分布式事务 / 分布式消息系统 / 分布式系统 / 分布式锁 / 协议 / 参数 / 同步 / 垃圾回收 / 基金 / 多线程 / 大数据 / 安全 / 工作原理 / 工程师 / 希望 / 幂等 / 幂等性 / 并发 / 开发 / 开源 / 开源项目 / 微信公众号 / 拒绝策略 / 招聘 / 数据 / 数据库 / 数据挖掘 / 数据模型 / 文件系统 / 文章 / 时间 / 本质 / 模型 / 消息队列 / 源码 / 漏洞 / 百度 / 目录 / 空间 / 管理 / 索引 / 线程 / 线程池 / 缓存 / 编译 / 翻译 / 谷歌 / 负载均衡 / 质量 / 进程 / 配置 / 锁 / 阿里云 / 阿里巴巴 / 集合类 / 集群 / 需求
刘莉莉 发布于 2019-08-24
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
一、基本概念 一个典型的 Hbase Table 表如下: 1.1 Row Key (行键) Row Key 是用来检索记录的主键。想要访问 HBase Table 中的数据,只有以下三种方式: 通过指定的 Row Key 进行访问; 通过 Row Key 的 range 进行访...
阅读(88)赞 (0)标签:apache / Architect / cache / client / Datanode / git / GitHub / HBase / HDFS / HMaster / HTML / http / https / id / IDE / IO / key / Master / MQ / node / Qualifier / Region / schema / src / tab / tar / UI / value / Watcher / zookeeper / 分布式 / 删除 / 博客 / 图片 / 大数据 / 实例 / 开源 / 开源项目 / 数据 / 数据库 / 文件系统 / 文章 / 时间 / 服务器 / 系统架构 / 索引 / 缓存 / 解析 / 负载均衡 / 集群
xubiao.zhuang 发布于 2019-07-30
前言 对于业务量越来越大的时候,单表数据超过几千万,甚至上亿时,一张表里面查询真的会很费时。而在分布式系统中,分表分库也是常用的一种解决此类瓶颈的手段。今天就选用springboot+mycat简单聊下。mycat官网: http://www.mycat.io/ 什么是mycat...
阅读(83)赞 (0)标签:2019 / Action / apache / App / cat / centos / classpath / Datanode / dataSource / db / db2 / dist / entity / executor / HDFS / heartbeat / http / https / id / IO / ip / java / JDBC / JVM / key / lib / linux / list / map / mapper / mysql / NIO / node / NOSQL / NSA / Oracle / ORM / Property / queue / REST / rmi / root / schema / schema.xml / Select / Service / spring / springboot / sql / SQL Server / stream / tab / tar / UI / web / wget / Word / XML / zookeeper / 一致性 / 下载 / 主机 / 云 / 产品 / 企业 / 分布式 / 分布式事务 / 分布式系统 / 分页 / 加班 / 协议 / 大数据 / 安装 / 并发 / 开发 / 开源 / 插件 / 数据 / 数据库 / 服务器 / 测试 / 目录 / 端口 / 管理 / 线程 / 统计 / 缓存 / 解析 / 调试 / 部署 / 配置 / 阿里云 / 集群 / 高并发
xubiao.zhuang 发布于 2019-07-01
019-07-01 16:45:24,933 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 8020, call org.apache.hadoop.hdfs.protocol.ClientProtocol....
阅读(101)赞 (0)标签:apache / Authorization / cat / client / Datanode / db / Hadoop / HDFS / http / https / id / IDE / IO / ip / java / Namenode / node / ORM / provider / Proxy / retry / Security / tar / 代码 / 同步 / 目录 / 端口 / 配置
darida 发布于 2019-06-17
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
上篇:架构及组件 一、数据平台的发展 1.1 背景介绍 随着数据时代的到来,数据量和数据复杂度的增加推动了数据工程领域的快速发展。为了满足各类数据获取/计算等需求,业内涌现出了诸多解决方案。但大部分方案都遵循以下原则: 降低数据处理成本 合理提高数据使用/计算效率 提供统一的编程...
阅读(152)赞 (0)标签:ACE / apache / Apache Hadoop / API / App / apr / bus / Cassandra / cat / CTO / Datanode / db / dist / Facebook / Google / Hadoop / HBase / HDFS / http / https / id / IDE / IO / ip / java / JDBC / Job / lambda / map / Master / MQ / mysql / Netflix / node / ORM / PaaS / Presto / python / REST / RESTful / schema / Service / shell / sql / sqoop / src / stream / struct / tab / trigger / Uber / UI / 一致性 / 互联网 / 产品 / 代码 / 分布式 / 压力 / 同步 / 回答 / 大数据 / 安全 / 工程师 / 希望 / 并发 / 开发 / 开源 / 开源项目 / 微服务 / 总结 / 敏捷 / 数据 / 数据库 / 数据挖掘 / 时间 / 智能 / 服务器 / 架构设计 / 模型 / 测试 / 管理 / 索引 / 统计 / 营销 / 解析 / 质量 / 运营 / 进程 / 部署 / 配置 / 金融 / 银行 / 集群 / 需求 / 高可用
yeseng 发布于 2019-04-30
![]()
从本文开始,会通过一个系列的篇幅来介绍使用Apache Ignite内存数据组织平台来构建容错、可扩展的基于微服务的解决方案。 详细信息参考:https://liyuj.gitee.io/doc/java/ServiceGrid.html 介绍 当前,很多公司都会将自己的应用或者...
阅读(110)赞 (0)标签:ACE / apache / API / App / apr / bean / build / cache / Cassandra / cat / ConcurrentHashMap / CTO / Datanode / db / git / GitHub / Hadoop / HashMap / HTML / http / https / id / IO / java / key / list / map / mongo / MongoDB / node / Property / Proxy / rand / Service / src / struct / tar / tk / UI / value / XML / 下载 / 代码 / 分布式 / 协议 / 参数 / 实例 / 希望 / 开发 / 微服务 / 数据 / 数据库 / 数据缓存 / 服务端 / 模型 / 生命 / 目录 / 端口 / 管理 / 组织 / 缓存 / 软件 / 部署 / 配置 / 集群 / 高可用
darida 发布于 2019-04-19
1. 变量替换 从头开始匹配,最短删除 从头开始匹配,最长删除 从尾开始匹配,最短删除 从尾开始匹配,最长删除 替换旧的字符串为新字符串,只替换第一个 替换旧的字符串为新字符串,替换所有 例: variable_1="i love u, do you love me&q...
阅读(138)赞 (0)标签:2019 / ACE / Action / App / apr / awk / bigdata / cat / client / core / Datanode / db / description / DOM / find / ftp / grep / Hadoop / http / https / id / IDE / IO / ip / java / lib / list / mail / map / Master / mysql / Namenode / Nginx / node / NSA / ORM / python / rand / root / Select / shell / sql / stream / tab / tar / TCP / UI / update / web / 代码 / 删除 / 参数 / 安装 / 数据 / 数据库 / 时间 / 正则表达式 / 注释 / 测试 / 源码 / 目录 / 管理 / 索引 / 统计 / 进程 / 递归 / 配置
songhua.gao 发布于 2019-04-18
序 本文主要研究一下springboot elasticsearch healthIndicator ElasticsearchHealthIndicatorProperties spring-boot-actuator-autoconfigure-2.1.4.RELEASE-s...
阅读(136)赞 (0)标签:Action / ArrayList / ask / bean / build / cat / client / CTO / Datanode / Docker / Elasticsearch / entity / equals / final / http / https / id / IDE / IO / java / js / json / key / list / map / node / ORM / parse / queue / REST / Service / spring / springboot / stream / tk / UI / 实例 / 解析 / 配置
小丁 发布于 2019-03-12
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
本文旨在概述京东在JDK方向上的尝试与探索,以及京东JDK项目背景,基本特性以及未来的工作方向。对于JDK特性的技术讨论,实现细节及效果,将在后续系列文章中深入讨论。 一、HDFS简介 HDFS是作为最底层的分布式存储服务而存在的,是Hadoop的分布式文件系统组件。HDFS是高...
阅读(141)赞 (0)标签:2019 / ACE / App / bug / cat / Collection / Collections / CTO / Datanode / Full GC / Hadoop / HDFS / http / https / id / IO / java / JVM / map / Master / Namenode / node / Oracle / Region / src / tab / tar / UI / 专注 / 主从架构 / 京东 / 代码 / 企业 / 分布式 / 分布式文件系统 / 删除 / 博客 / 压力 / 参数 / 同步 / 多线程 / 大数据 / 定制 / 实例 / 希望 / 开发 / 微信公众号 / 性能优化 / 数据 / 文件系统 / 文章 / 时间 / 服务器 / 物理内存 / 生命 / 目录 / 程序员 / 空间 / 管理 / 线程 / 线程同步 / 统计 / 编译 / 进程 / 部署 / 配置 / 锁 / 集群 / 需求