标签:Hadoop

Java

超硬核Java工程师学习指南,真正的从入门到精通,众多粉丝亲测已拿offer!

1

Harries 发布于 2020-07-26

最近有很多小伙伴来问我,Java小白如何入门,如何安排学习路线,每一步应该怎么走比较好。原本我以为之前的几篇文章已经可以解决大家的问题了,其实不然,因为我之前写的文章都是站在Java后端的全局上进行思考和总结的,忽略了很多小白们的感受,而很多朋友都需要更加基础,更加详细的学习路线...

阅读(435)评论(0)赞 (0)

编程技术

一文讲解软件架构设计核心逻辑(200724)

1

xirruiqiang 发布于 2020-07-24

昨天公司开经营会,晚上又一起聚餐,晚上回到家已经快12点,到家了就睡觉,但是昨天的博客忘记日更。当然还有一个原因就是由于最近还要更新头条文章,当两者都要去兼顾的时候也很容易分心。原来一般都是一早就更新新浪博客,因此很少忘记,而现在一般是早上先更新头条文章,而晚上才同步更新新浪博客...

阅读(62)评论(0)赞 (0)

编程技术

数据中台公开课丨可以复用的中台架构建设经验与实践

5

dulong 发布于 2020-07-23

数据中台的概念满天飞,但是数据中台的落地始终是一个难点,很难统一。 最近几年,随着企业数据的爆炸式增长,以及大数据与人工智能的普及和推广,越来越多的企业意识到“数据”对企业的重要性。建设“数据驱动型”企业也成了越来越多企业的战略目标之一。加大数据领域的投入,促使了IT部门开启了 ...

阅读(31)评论(0)赞 (0)

Java

java大数据最全课程学习笔记(6)–MapReduce精通(二)–MapReduce框架原理

51

songhua.gao 发布于 2020-07-23

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 切片与MapTask并行度决定机制 Job提交流程源码和切片源码详解 FileInputFormat切片机制 CombineTextInputFormat切片机制 Combine...

阅读(30)评论(0)赞 (0)

Java

甲骨文:史上超级伟大的 25 个 Java 应用程序

1

hellas 发布于 2020-07-23

从太空探索到基因组学,从反向编译器到机器人控制器,Java 都是现今世界的核心。为庆祝 Java 25 周年,甲骨文用一篇官方博文向大家介绍了 25 个优秀的 Java 应用程序。 Java 的故事始于 1991 年,当时 Sun Microsystems 试图将其在计算机工作站...

阅读(72)评论(0)赞 (0)

编程技术

Serverless 架构实现监控告警

12

darida 发布于 2020-07-22

编辑推荐: 本文主要讲解了Serverless 相关产品在运维行业中的基本应用,监控告警的使用方法以及控告警功与 Serverless 技术进行结合。 来自于博客园,,由火龙果软件Anna编辑、推荐。 在实际生产中,我们经常需要做一些监控脚本来监控网站服务或者 API 服务是否可...

阅读(91)评论(0)赞 (0)

Spring

微服务理论

14

darida 发布于 2020-07-22

微服务理论 一、微服务简介 什么是微服务架构 服务拆分粒度更细 :根据业务拆分。 独立部署 :每个服务部署在物理上隔离,互不影响。 独立维护 :根据组织架构拆分,分团队维护。 服务治理 :服务数量变多,需要有统一的服务治理平台。 如何权衡微服务的利弊 优点 强模块化边界 可独立部...

阅读(34)评论(0)赞 (0)

Java

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

7

xirruiqiang 发布于 2020-07-20

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS NN,2NN,DN及HDFS2.x新特性 HDFS NN,2NN,DN及HDFS2.x新特性 NameNode和SecondaryNameNode(重点) NN和2NN...

阅读(42)评论(0)赞 (0)

编程技术

当初阿里巴巴、百度、美团都差点错过的架构,现在用起来真香!

4

hanze 发布于 2020-07-20

检验自己技术跟级别的快速方法,就是跟面试官大佬们“切磋”一下,一试便知: 大佬:你有写过分布式的业务吗? 我:我写过一个基于HDFS分布式存储的KVStore,上层使用Hadoop的API实现。 大佬:那个是分布式存储,我想了解一下分布式业务? 我:(赶紧纠正)那dubbo算吗?...

阅读(41)评论(0)赞 (0)

Java

java大数据最全课程学习笔记(5)–MapReduce精通(一)

17

Harries 发布于 2020-07-19

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 MapReduce精通(一) MapReduce入门 MapReduce定义 MapReduce优缺点 优点 缺点 MapReduce核心思想 总结:分析WordCount数据流...

阅读(45)评论(0)赞 (0)

编程技术

微服务架构的演进和go的初步实践

9

Harries 发布于 2020-07-18

零、背景 近一段时间在学习和实践用go来实现微服务架构的开发,本文来记录下什么情况下要使用微服务架构,分析下利弊。并且用grpc初步实现微服务的模型。 一、服务端架构的演进 1、单体架构 在 Web 应用程序发展的早期,大部分工程是将所有的服务端功能模块打包成单个巨石型应用,最终...

阅读(39)评论(0)赞 (0)

Java

JAVA各种OOM代码样例及解决方法

4

yeseng 发布于 2020-07-18

周末了,觉得我还有很多作业没有写,针对目前大家对OOM的类型不太熟悉,那么我们来总结一下各种OOM出现的情况以及解决方法。 我们把各种OOM的情况列出来,然后逐一进行代码编写复现和提供解决方法。 1. 堆溢出-java.lang.OutOfMemoryError: Java he...

阅读(48)评论(0)赞 (0)

编程技术

ClickHouse的核心特性及架构

9

hanze 发布于 2020-07-18

文章作者:朱凯 编辑整理:Hoh 内容来源:《ClickHouse原理解析与应用实践》 导读: 随着业务的迅猛增长,Yandex.Metrica目前已经成为世界第三大Web流量分析平台,每天处理超过200亿个跟踪事件。 能够拥有如此惊人的体量,在它背后提供支撑的ClickHous...

阅读(32)评论(0)赞 (0)

Spring

Spring Boot 2.x 快速集成Kafka

6

Harries 发布于 2020-07-17

1 Kafka Kafka是一个开源分布式的流处理平台,一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。Kafka由Scala和Java编写,2012年成为Apache基金会下顶级项目。 2 Kafka优点 低延迟:Kafka支持低延迟消息传递,速...

阅读(35)评论(0)赞 (0)

Java

Jar包冲突问题原理及解决方案

3

小丁 发布于 2020-07-17

背景: 新需求需要引入新jar包,引入后发现本地启动没有报错,发到测试环境提示某个bean无法创建,nested exception is java.lang.VerifyError: Bad type on operand stack。 解决: 1,没有引入新jar包之前是没有...

阅读(70)评论(0)赞 (0)

Java

java大数据最全课程学习笔记(3)–HDFS 简介及操作

19

刘莉莉 发布于 2020-07-16

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS的Shell操作(开发重点) HDFS客户端操作(开发重点) 网络拓扑-节点距离计算 机架感知(副本存储节点选择) HDFS 简介及操作 HDFS概述 HDFS产出背景及...

阅读(64)评论(0)赞 (0)

Java

入门大数据—大数据调优汇总

hellas 发布于 2020-07-15

前言 不进行优化的代码就是耍流氓。 总体来说大数据优化主要分为三点,一是充分利用CPU,二是节省内存,三是减少网络传输。 一、Hive/MapReduce调优 1.1 本地模式 Hive默认采用集群模式进行计算,如果对于小数据量,可以设置为单台机器进行计算,这样可以大大缩减查询触...

阅读(50)评论(0)赞 (0)

Java

Inflation 引起的 MetaSpace Full GC 问题排查|蚂蚁集团实例分析

9

刘莉莉 发布于 2020-07-15

一、背景 本文将用一个蚂蚁集团线上实际案例,分享我们是如何排查由于 inflation 引起的 MetaSpace FGC 问题。 蚂蚁集团的智能监控平台深度利用了 Spark 的能力进行多维度数据聚合,Spark 由于其高效、易用、分布式的能力在大数据处理中十分受欢迎。 关于智...

阅读(49)评论(0)赞 (0)