标签:HDFS

Java

超硬核Java工程师学习指南,真正的从入门到精通,众多粉丝亲测已拿offer!

1

Harries 发布于 2020-07-26

最近有很多小伙伴来问我,Java小白如何入门,如何安排学习路线,每一步应该怎么走比较好。原本我以为之前的几篇文章已经可以解决大家的问题了,其实不然,因为我之前写的文章都是站在Java后端的全局上进行思考和总结的,忽略了很多小白们的感受,而很多朋友都需要更加基础,更加详细的学习路线...

阅读(461)评论(0)赞 (0)

Java

java大数据最全课程学习笔记(6)–MapReduce精通(二)–MapReduce框架原理

51

songhua.gao 发布于 2020-07-23

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 切片与MapTask并行度决定机制 Job提交流程源码和切片源码详解 FileInputFormat切片机制 CombineTextInputFormat切片机制 Combine...

阅读(30)评论(0)赞 (0)

Java

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

7

xirruiqiang 发布于 2020-07-20

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS NN,2NN,DN及HDFS2.x新特性 HDFS NN,2NN,DN及HDFS2.x新特性 NameNode和SecondaryNameNode(重点) NN和2NN...

阅读(42)评论(0)赞 (0)

编程技术

当初阿里巴巴、百度、美团都差点错过的架构,现在用起来真香!

4

hanze 发布于 2020-07-20

检验自己技术跟级别的快速方法,就是跟面试官大佬们“切磋”一下,一试便知: 大佬:你有写过分布式的业务吗? 我:我写过一个基于HDFS分布式存储的KVStore,上层使用Hadoop的API实现。 大佬:那个是分布式存储,我想了解一下分布式业务? 我:(赶紧纠正)那dubbo算吗?...

阅读(43)评论(0)赞 (0)

Java

java大数据最全课程学习笔记(5)–MapReduce精通(一)

17

Harries 发布于 2020-07-19

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 MapReduce精通(一) MapReduce入门 MapReduce定义 MapReduce优缺点 优点 缺点 MapReduce核心思想 总结:分析WordCount数据流...

阅读(46)评论(0)赞 (0)

编程技术

ClickHouse的核心特性及架构

9

hanze 发布于 2020-07-18

文章作者:朱凯 编辑整理:Hoh 内容来源:《ClickHouse原理解析与应用实践》 导读: 随着业务的迅猛增长,Yandex.Metrica目前已经成为世界第三大Web流量分析平台,每天处理超过200亿个跟踪事件。 能够拥有如此惊人的体量,在它背后提供支撑的ClickHous...

阅读(33)评论(0)赞 (0)

Java

java大数据最全课程学习笔记(3)–HDFS 简介及操作

19

刘莉莉 发布于 2020-07-16

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS的Shell操作(开发重点) HDFS客户端操作(开发重点) 网络拓扑-节点距离计算 机架感知(副本存储节点选择) HDFS 简介及操作 HDFS概述 HDFS产出背景及...

阅读(65)评论(0)赞 (0)

Java

入门大数据—大数据调优汇总

hellas 发布于 2020-07-15

前言 不进行优化的代码就是耍流氓。 总体来说大数据优化主要分为三点,一是充分利用CPU,二是节省内存,三是减少网络传输。 一、Hive/MapReduce调优 1.1 本地模式 Hive默认采用集群模式进行计算,如果对于小数据量,可以设置为单台机器进行计算,这样可以大大缩减查询触...

阅读(51)评论(0)赞 (0)

编程技术

码农与架构师之间的差距,究竟在哪里?

13

邓龙华 发布于 2020-07-15

今日一问:你什么时候发现自己技术弱到爆? 没错,就是面试的时候。 昨天一位同学和我说,他工作了3年,特别有信心去面字节跳动的,但没有想到这么抠细节,太难了: · 什么是分布式锁? · 如何实现分布式锁? · 单机锁有哪些?它为什么不能在分...

阅读(66)评论(0)赞 (0)

Java

QMQ在携程的落地实践

14

yeseng 发布于 2020-07-13

QMQ(Qunar Message Queue)诞生于去哪儿网,初版基于MySQL存储。随着集团业务系统越发倚重消息解耦上下游,业务量的上涨随之带来消息量的增长,MySQL作为存储的瓶颈也越发明显。 比较自然的解决方案有两个:1)分库分表;2)换存储。与业界众多出名的消息队列(K...

阅读(31)评论(0)赞 (0)

Java

常见未授权访问漏洞原理及修复总结手册(上)

36

xiaoli.wang 发布于 2020-07-10

未授权访问漏洞是一个在企业内部非常常见的问题,这种问题通常都是由于安全配置不当、认证页面存在缺陷,或者压根就没有认证导致的。当某企业对外的服务端口、功能无限制开放,并且对用户的访问没有做任何限制的时候,可能会泄露出某些用户信息、敏感信息甚至可以执行系统命令,操作系统文件,导致系统...

阅读(66)评论(0)赞 (0)

Java

盘点:2020年受欢迎的6种编程语言

1

hanze 发布于 2020-07-03

目前,计算机语言的总数总计达9000种。但是,其中只有50种编程语言是较为流行的。今天,小编就给大家盘点一下2020年很受欢迎的编程语言,如果对你有用的话,欢迎收藏转发。 1、Python Python是目前开发人员比较常用的编程语言之一。有很多大企业都选择Python进行产品开...

阅读(58)评论(0)赞 (0)

Java

架构设计(11)– 分布式链路跟踪: 理论知识

2

likai 发布于 2020-07-02

我们最近升级改造我们链路跟踪系统Log2,然后我们花了将近一周时间调研不少开源的链路跟踪系统,在此调研过程中,做了一些笔记和总结,若有误请指教。 一、背景:分布式系统的问题 在分布式系统架构里面,往往包含众多应用服务,这些服务之间通过RPC调用来完成业务请求,如果其中某个RPC请...

阅读(54)评论(0)赞 (0)

Java

百分点大数据技术团队:大规模文件存储OSS技术与实践

10

xirruiqiang 发布于 2020-07-02

对象存储服务(Object Storage Service,简称OSS),是百分点对外提供的海量、安全、低成本、高可靠的对象存储服务。用户可以通过简单的REST接口,进行数据的上传和下载。同时,OSS提供Java语言的SDK,简化用户的编程。基于OSS,用户可以搭建出各种个人和企...

阅读(70)评论(0)赞 (0)

Java

Apache Ranger 编译安装

1

刘莉莉 发布于 2020-07-01

开源开发者笔记:DevOps,微服务,分布式,大数据,高可用,区块链,白皮书,算法,黑客,设计模式,面试题。求 star:star:️ Apache Ranger是大数据领域的一个集中式安全管理框架,目的是通过制定策略(policies)实现对Hadoop组件的集中式安全管理。用...

阅读(91)评论(0)赞 (0)

Java

【2020版冲刺年薪30W】超全大数据学习路线+思维导图

6

xiaoli.wang 发布于 2020-06-29

大数据学习路线 ​ 下面和大家讲一下大数据学习的路线,帮助大家快速进入大数据行业。我会结合自己的实际经历还说明学习路线。该路线针对的对象是零基础小白,目标是到初中级大数据工程师,要求掌握数据建模,数据存储,数据存储,数据传输,数据分析等能力达到大数据岗位的应聘标准。 (一)Jav...

阅读(55)评论(0)赞 (0)

编程技术

微服务架构下,解决数据库跨库查询的一些思路

9

小丁 发布于 2020-06-27

加关注,不迷路! 前言 在服务做微服务改造后,原先单库join查询已经不能满足要求,每个拆分的微服务对应一个数据库实例,而且部署在不同的服务器上,那么解决“跨库查询”就势在必行了。 以笔者实战经历来看,以下几个思路仅供参考: 表字段冗余 想必大家已经很熟悉,几乎每天都会打交道,不...

阅读(64)评论(0)赞 (0)

编程技术

对象存储在无人驾驶高精度地图的场景实践

11

wenming.gapo 发布于 2020-06-23

在自动驾驶领域有这样一个说法:关注自动驾驶的进展,就看高精地图的动态,因为他们才是加速自动驾驶汽车落地的幕后推手。本文介绍了QingStor:registered:对象存储的种种优势以及许多针对该场景的特性,分享了对象存储在高精度地图场景中的最佳实践。 大家都对无人驾驶和地图比较...

阅读(78)评论(0)赞 (0)