标签:Datanode

Spring

助力秋招-独孤九剑破剑式 | 10家企业面试真题

2

Harries 发布于 2019-09-13

【声明】本文由《大数据技术与架构》读者提供,未经授权不得转载。 5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 腾讯 关键词【Java基础】【数据结构】【操作系统】 【算法】【数...

阅读(18)评论(0)赞 (0)

Java

大数据面试知识图谱

7

Harries 发布于 2019-09-11

作者: 大数据技术与架构 By  大数据技术与架构 场景描述:大数据开发岗位技能树,学习和复习总纲。 关键词:面试 大数据 大纲 正所谓,无招胜有招。 愿读到这篇文章的技术人早日明白并且脱离技术本身,早登彼岸。 一切技术最终只 是雕虫小 技 。 大纲 本系列主题是大数据...

阅读(48)评论(0)赞 (0)

编程技术

HBase 系列(二)—— HBase 系统架构及数据结构

9

刘莉莉 发布于 2019-08-24

一、基本概念 一个典型的 Hbase Table 表如下: 1.1 Row Key (行键) Row Key 是用来检索记录的主键。想要访问 HBase Table 中的数据,只有以下三种方式: 通过指定的 Row Key 进行访问; 通过 Row Key 的 range 进行访...

阅读(41)评论(0)赞 (0)

Spring

springboot+mycat 分表分库

xubiao.zhuang 发布于 2019-07-30

前言 对于业务量越来越大的时候,单表数据超过几千万,甚至上亿时,一张表里面查询真的会很费时。而在分布式系统中,分表分库也是常用的一种解决此类瓶颈的手段。今天就选用springboot+mycat简单聊下。mycat官网: http://www.mycat.io/ 什么是mycat...

阅读(55)评论(0)赞 (0)

编程技术

宜人贷PaaS数据服务平台Genie:技术架构及功能

21

darida 发布于 2019-06-17

上篇:架构及组件 一、数据平台的发展 1.1 背景介绍 随着数据时代的到来,数据量和数据复杂度的增加推动了数据工程领域的快速发展。为了满足各类数据获取/计算等需求,业内涌现出了诸多解决方案。但大部分方案都遵循以下原则: 降低数据处理成本 合理提高数据使用/计算效率 提供统一的编程...

阅读(112)评论(0)赞 (0)

编程技术

在Ignite上运行微服务

3

yeseng 发布于 2019-04-30

从本文开始,会通过一个系列的篇幅来介绍使用Apache Ignite内存数据组织平台来构建容错、可扩展的基于微服务的解决方案。 详细信息参考:https://liyuj.gitee.io/doc/java/ServiceGrid.html 介绍 当前,很多公司都会将自己的应用或者...

阅读(92)评论(0)赞 (0)

编程技术

跟着360架构师学shell

darida 发布于 2019-04-19

1. 变量替换 从头开始匹配,最短删除 从头开始匹配,最长删除 从尾开始匹配,最短删除 从尾开始匹配,最长删除 替换旧的字符串为新字符串,只替换第一个 替换旧的字符串为新字符串,替换所有 例: variable_1="i love u, do you love me&q...

阅读(112)评论(0)赞 (0)

Java

聊聊springboot elasticsearch healthIndicator

songhua.gao 发布于 2019-04-18

序 本文主要研究一下springboot elasticsearch healthIndicator ElasticsearchHealthIndicatorProperties spring-boot-actuator-autoconfigure-2.1.4.RELEASE-s...

阅读(107)评论(0)赞 (0)

Java

京东JDK在大数据平台的探索与研究

13

小丁 发布于 2019-03-12

本文旨在概述京东在JDK方向上的尝试与探索,以及京东JDK项目背景,基本特性以及未来的工作方向。对于JDK特性的技术讨论,实现细节及效果,将在后续系列文章中深入讨论。 一、HDFS简介 HDFS是作为最底层的分布式存储服务而存在的,是Hadoop的分布式文件系统组件。HDFS是高...

阅读(128)评论(0)赞 (0)

Java

京东 JDK 的探索与研究(一)

11

尖兵 发布于 2019-03-04

来这里找志同道合的小伙伴! 前 言 本文旨在概述京东在JDK方向上的尝试与探索,以及京东JDK项目背景,基本特性以及未来的工作方向。       对于JDK特性的技术讨论,实现细节及效果,将在后续系列文章中深入讨论。 背景 HDF...

阅读(142)评论(0)赞 (0)

编程技术

一键式持续交付信息管理系统

24

hanze 发布于 2019-03-04

前言 在持续交付过程中,每次交付都不可避免地要花费大量时间精力用于环境配置、build、回归(Regression)测试、结果管理、问题跟踪、质量分析、总结,一个可以自动化完成所有功能的智能系统将大大提高开发、测试和管理效率。 本文基于开源工具或技术搭建一键式持续交付管理系统,对...

阅读(314)评论(0)赞 (0)

Java

Apollo+ES 源码改造,构建民生银行的 ELK 日志平台配置管理中心

23

changyuan.xu 发布于 2019-02-28

背景 随着中国民生银行的 IT 业务系统的迅速发展,主机、设备、系统、应用软件数量不断增多,业务资源访问、操作量不断增加,对于应用整体系统智能分析与处理的要求不断提高,在解决分布式大数据搜索、日志挖掘和可视化的过程中,需要考虑实现一套完整并适用于民生银行的日志文件智能分析与处理的...

阅读(128)评论(0)赞 (0)

编程技术

滴滴 Elasticsearch 多集群架构实践

4

小丁 发布于 2018-12-17

Elasticsearch 是基于 Lucene 实现的分布式搜索引擎,提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack,可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。 滴滴 Elasticsearch 简介...

阅读(234)评论(0)赞 (0)

Spring

开发笔记 – Spring Boot集成HBase

8

yeseng 发布于 2018-12-05

最近在重新整理 搜书吧 (一个做图书比价的平台)的系统架构,目前图书产品数量超过了200万条。各种数据加起来超过40G了,使用Mysql数据库存储服务器吃不消,于是考虑使用HBase存储大部分数据。 一、摘要 以前 搜书吧 的数据量比较小,使用数据库+静态文件存储的方式就可以搞定...

阅读(294)评论(0)赞 (0)

Java

HBase 内核组件协调及RegionServer JVM参数调优-OLAP商业环境实战

xiaoli.wang 发布于 2018-11-27

本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。版权声明:禁止转载,欢迎学习。QQ邮箱地址:1120746959@qq.com,如有任何学术交流,可随时联系。 1 弱...

阅读(182)评论(0)赞 (0)

Java

Spring Boot中使用WebSocket总结(三):使用消息队列实现分布式WebSocket

zhuangli 发布于 2018-11-21

在上一篇文章( www.zifangsky.cn/1359.html )中我介绍了服务端如何给指定用户的客户端发送消息,并如何处理对方不在线的情况。在这篇文章中我们继续思考另外一个重要的问题,那就是: 如果我们的项目是分布式环境,登录的用户被Nginx的反向代理分配到多个不同服务...

阅读(205)评论(0)赞 (0)

Java

Shading – jdbc 源码分析(四) – sql 路由

2

likai 发布于 2018-11-12

上一篇文章我们分析了sharding-jdbc 解析 select 语句(sql 解析之 Select),今天我们分析下sql路由。 声明:本文基于1.5.M1版本 时序图: 执行逻辑 下面我们以上篇文章的Select语句分析: SELECT o.order_id FROM or...

阅读(224)评论(0)赞 (0)