标签:Datanode

Java

2020面试预备你也能收割Offer,Java程序员必会知识清单全在这份pdf文档里

31

hellas 发布于 2019-12-02

关于程序员,除了做项目来提高自身的技术之外,还有一种提升自己的专业技能就是:多!看!书! 小编整理出一篇Java进阶架构师之路的核心知识,同时也是面试时面试官必问的知识点,篇章也是包括了很多知识点,其中包括了有基础知识、Java集合、JVM、多线程并发、spring原理、微服务、...

阅读(26)评论(0)赞 (0)

Java

Ubuntu 18.04下搭建单机Hadoop和Spark集群环境

29

xiaoli.wang 发布于 2019-12-01

Hadoop在整个大数据技术体系中占有至关重要的地位,是大数据技术的基础和敲门砖,对Hadoop基础知识的掌握程度会在一定程度决定在大数据技术的道路上能走多远。 最近想要学习Spark,首先需要搭建Spark的环境,Spark的依赖环境比较多,需要Java JDK、Hadoop的...

阅读(56)评论(0)赞 (0)

Spring

Spring Boot 2 整合 shard-jdbc 中间件,实现数据分库分表

7

songhua.gao 发布于 2019-11-13

一、水平分割 1、水平分库 1)、概念: 以字段为依据,按照一定策略,将一个库中的数据拆分到多个库中。 2)、结果 每个库的结构都一样;数据都不一样; 所有库的并集是全量数据; 2、水平分表 1)、概念 以字段为依据,按照一定策略,将一个表中的数据拆分到多个表中。 2)、结果 每...

阅读(39)评论(0)赞 (0)

编程技术

阿里技术架构内部总结:HDFS监控落地的思考

12

xiaoli.he 发布于 2019-11-08

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。 HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。在大数据生态圈中,HDFS是最重要的底层分布式文件系统,它的稳定性关乎整个生态系统的健康。...

阅读(58)评论(0)赞 (0)

Java

JDK源码那些事儿之LinkedTransferQueue

2

changyuan.xu 发布于 2019-10-26

在JDK8的阻塞队列实现中还有两个未进行说明,今天继续对其中的一个阻塞队列LinkedTransferQueue进行源码分析,如果之前的队列分析已经让你对阻塞队列有了一定的了解,相信本文要讲解的LinkedTransferQueue的源码也能很快被理解,接下来一起学习吧 前言 J...

阅读(24)评论(0)赞 (0)

Java

HBase 优化

6

likai 发布于 2019-10-16

HBase 优化 JVM调优 内存调优 一般安装好的HBase集群,默认配置是给Master和RegionServer 1G的内存,而Memstore默认占0.4,也就是400MB。显然RegionServer给的1G真的太少了。 export HBASE_MASTER_OPTS...

阅读(41)评论(0)赞 (0)

Java

从零开始利用JPA与SHARDING-JDBC动态划分月表

3

刘莉莉 发布于 2019-10-11

数据量按照分片键(入库时间)进入对应的月表,查询时根据分片键的值查询指定表;但是每次查询都必须带上分片键,这就不是很友好,所以另外后面也有说明在没有指定分片键时如何查询最近的两个月。 前期准备 建表语句 -- 逻辑表,每个月表都根据逻辑表生成 CREATE TABLE `EXAM...

阅读(37)评论(0)赞 (0)

Java

使用jenkins的jacoco插件快速实现统计单元测试覆盖率 原 荐

19

likai 发布于 2019-10-08

fastjrun的个人空间 快嘉开发框架 正文 使用jenkins的jacoco插件快速实现统计单元测试覆盖率 顶 原 荐   fastjrun 发布于 昨天 21:32 字数 468 阅读 14 收藏 0 Jenkins 同样是5年开发,年薪50万和年薪15万的差距在...

阅读(72)评论(0)赞 (0)

Spring

助力秋招-独孤九剑破剑式 | 10家企业面试真题

2

Harries 发布于 2019-09-13

【声明】本文由《大数据技术与架构》读者提供,未经授权不得转载。 5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 腾讯 关键词【Java基础】【数据结构】【操作系统】 【算法】【数...

阅读(58)评论(0)赞 (0)

Java

大数据面试知识图谱

7

Harries 发布于 2019-09-11

作者: 大数据技术与架构 By  大数据技术与架构 场景描述:大数据开发岗位技能树,学习和复习总纲。 关键词:面试 大数据 大纲 正所谓,无招胜有招。 愿读到这篇文章的技术人早日明白并且脱离技术本身,早登彼岸。 一切技术最终只 是雕虫小 技 。 大纲 本系列主题是大数据...

阅读(126)评论(0)赞 (0)

编程技术

HBase 系列(二)—— HBase 系统架构及数据结构

9

刘莉莉 发布于 2019-08-24

一、基本概念 一个典型的 Hbase Table 表如下: 1.1 Row Key (行键) Row Key 是用来检索记录的主键。想要访问 HBase Table 中的数据,只有以下三种方式: 通过指定的 Row Key 进行访问; 通过 Row Key 的 range 进行访...

阅读(88)评论(0)赞 (0)

Spring

springboot+mycat 分表分库

xubiao.zhuang 发布于 2019-07-30

前言 对于业务量越来越大的时候,单表数据超过几千万,甚至上亿时,一张表里面查询真的会很费时。而在分布式系统中,分表分库也是常用的一种解决此类瓶颈的手段。今天就选用springboot+mycat简单聊下。mycat官网: http://www.mycat.io/ 什么是mycat...

阅读(83)评论(0)赞 (0)

编程技术

宜人贷PaaS数据服务平台Genie:技术架构及功能

21

darida 发布于 2019-06-17

上篇:架构及组件 一、数据平台的发展 1.1 背景介绍 随着数据时代的到来,数据量和数据复杂度的增加推动了数据工程领域的快速发展。为了满足各类数据获取/计算等需求,业内涌现出了诸多解决方案。但大部分方案都遵循以下原则: 降低数据处理成本 合理提高数据使用/计算效率 提供统一的编程...

阅读(152)评论(0)赞 (0)

编程技术

在Ignite上运行微服务

3

yeseng 发布于 2019-04-30

从本文开始,会通过一个系列的篇幅来介绍使用Apache Ignite内存数据组织平台来构建容错、可扩展的基于微服务的解决方案。 详细信息参考:https://liyuj.gitee.io/doc/java/ServiceGrid.html 介绍 当前,很多公司都会将自己的应用或者...

阅读(110)评论(0)赞 (0)

编程技术

跟着360架构师学shell

darida 发布于 2019-04-19

1. 变量替换 从头开始匹配,最短删除 从头开始匹配,最长删除 从尾开始匹配,最短删除 从尾开始匹配,最长删除 替换旧的字符串为新字符串,只替换第一个 替换旧的字符串为新字符串,替换所有 例: variable_1="i love u, do you love me&q...

阅读(138)评论(0)赞 (0)

Java

聊聊springboot elasticsearch healthIndicator

songhua.gao 发布于 2019-04-18

序 本文主要研究一下springboot elasticsearch healthIndicator ElasticsearchHealthIndicatorProperties spring-boot-actuator-autoconfigure-2.1.4.RELEASE-s...

阅读(136)评论(0)赞 (0)

Java

京东JDK在大数据平台的探索与研究

13

小丁 发布于 2019-03-12

本文旨在概述京东在JDK方向上的尝试与探索,以及京东JDK项目背景,基本特性以及未来的工作方向。对于JDK特性的技术讨论,实现细节及效果,将在后续系列文章中深入讨论。 一、HDFS简介 HDFS是作为最底层的分布式存储服务而存在的,是Hadoop的分布式文件系统组件。HDFS是高...

阅读(141)评论(0)赞 (0)