标签:HDFS

Java

读Hadoop3.2源码,深入了解java调用HDFS的常用操作和HDFS原理

9

changyuan.xu 发布于 2020-03-30

本文将通过一个演示工程来快速上手java调用HDFS的常见操作。接下来以创建文件为例,通过阅读HDFS的源码,一步步展开HDFS相关原理、理论知识的说明。 说明:本文档基于最新版本Hadoop3.2.1 目录 一、java调用HDFS的常见操作 1.1、演示环境搭建 1.2、操作...

阅读(6)评论(0)赞 (0)

Java

工作中常用到的Java集合类有哪些?

16

xiaoli.wang 发布于 2020-03-26

前言 只有光头才能变强。 文本已收录至我的GitHub精选文章,欢迎Star: https://github.com/ZhongFuCheng3y/3y Java集合是我认为在Java基础中最最重要的知识点了,Java集合是必须掌握的。我在实习/秋招面试的时候, 只要是面到Jav...

阅读(14)评论(0)赞 (0)

编程技术

什么?知乎又挂了?我们来聊聊微服务的高可用如何保障

2

xirruiqiang 发布于 2020-03-24

故事 今天中午知乎又一次宕机,访问返回502错误,如下图所示: 高可用标准 那服务既然挂了,我们来聊聊如何在微服务中如何保障他能够不挂呢?首先我们来看看业界的高可用标准,一般常见的概括如下: 5个9的SLA在一年内只能是5分钟的不可用时间,5分钟啊,如果按一年只出1次故障,你也得...

阅读(17)评论(0)赞 (0)

编程技术

【概述篇】分布式架构的演进过程

17

changyuan.xu 发布于 2020-03-24

前面我已经把 MySQL 的专题系列都更新完了,相信大家看了之后应该都有很大的收获(应该没有夸张吧哈哈哈哈),毕竟把 MySQL 通讲了一遍,出去面试应该也能够说比一般面试官知道得多了,在工作中性能调优的理论知识也基本上具备了(也建议大家多实践,实践出真知)。废话不多说,今天这个...

阅读(15)评论(0)赞 (0)

Java

从简历被拒到收割今日头条 Offer,我花了一年时间

17

yeseng 发布于 2020-03-24

作者|大数据肌肉猿 责编|伍杏玲 出品|CSDN博客 印象中的头条 1.老板张一鸣跟我是福建老乡,龙岩市在我朋友说来就是山沟沟,能走出美团王兴和头条张一鸣让我卯足了去龙岩吃特产老鼠干的欲望。 2.给的钱多,笔试也贼难。参加过头条笔试的同学都知道,头条笔试可以笔试三次,就是不论你有...

阅读(13)评论(0)赞 (0)

Java

大数据的“helloworld”,你还记得怎么写吗?

1

刘莉莉 发布于 2020-03-18

java入门hello world 大数据入门–wordcount 因为工作的关系,频繁的重复被wordcount配置的恐惧,尤其是在scala横飞的今天,长久的不再使用有的时候真的记不住啊,从网上找各种相应的代码,五味杂陈,所以在这里将简单的wordcount的代码...

阅读(18)评论(0)赞 (0)

Java

Java后端学习路线

16

songhua.gao 发布于 2020-03-16

点赞再看,养成习惯,微信搜索【 三太子敖丙 】关注这个互联网苟且偷生的工具人。 本文 GitHub github.com/JavaFamily 已收录,有一线大厂面试完整考点、资料以及我的系列文章。 前言 这期我想写很久了,但是因为时间的原因一直拖到了现在,我以为一两天就写完了,...

阅读(19)评论(0)赞 (0)

Java

陆金所 CAT 优化实践

19

hanze 发布于 2020-03-15

作者 | 蔡健 方超 编辑 | 小智 1 背景 CAT 介绍 CAT (Central Application Tracking)是一个实时监控系统,由美团点评开发并开源,定位于后端应用监控。应用集成客户端的方式上报中间件和业务数据,支持 Transaction、Event 和 ...

阅读(21)评论(0)赞 (0)

Java

陆金所 CAT 优化实践

14

xirruiqiang 发布于 2020-03-11

背景 CAT 介绍 CAT (Central Application Tracking)是一个实时监控系统,由美团点评开发并开源,定位于后端应用监控。应用集成客户端的方式上报中间件和业务数据,支持 Transaction、Event 和 Heartbeat 等数据类型 Metri...

阅读(18)评论(0)赞 (0)

Java

大数据方向学习面试知识图谱

5

yeseng 发布于 2020-01-15

正所谓,无招胜有招。 愿读到这篇文章的技术人早日明白并且脱离技术本身,早登彼岸。 一切技术最终只 是雕虫小 技 。 大纲 本系列主题是大数据开发面试指南,旨在为大家提供一个大数据学习的基本路线,完善数据开发的技术栈,以及我们面试一个大数据开发岗位的时候,哪些东西是重点考察的,这些...

阅读(115)评论(0)赞 (0)

Java

Apache Hadoop代码质量:生产VS测试

1

wenming.gapo 发布于 2020-01-13

为了获得高质量的生产代码,仅确保测试的最大覆盖范围还不够。无疑,出色的结果需要主要的项目代码和测试才能有效地协同工作。因此,测试必须与源代码一样受到重视。体面的测试是成功的关键因素,因为它将赶上生产的衰退。让我们看一下PVS-Studio静态分析器警告,以查看测试错误并不比生产错...

阅读(82)评论(0)赞 (0)

Java

2019年排名Top 100的Java类库——在分析了30073份源码之后得出的结论

3

xiaoli.he 发布于 2020-01-13

最近,OveOps公布了《The 2019 edition of the Top 100 Java packages from GitHub》,作者查看了这份榜单,做了翻译和补充,向你展示2019年的风云Java类库,希望可以给正在使用Java的你一些帮助和启示。不能说榜单中的类...

阅读(61)评论(0)赞 (0)

编程技术

如何使用 NoSQL 架构构建实时广告系统

2

changyuan.xu 发布于 2020-01-12

JDNoSQL平台是什么 JDNoSQL平台是一个分布式面向列的KeyValue毫秒级存储服务,存储结构化数据和非机构化数据,支持随机读写与更新,灵活的动态列机制,架构上支持水平扩容,提供高并发、低延迟、高可用、强一致数据库服务,可满足各种业务场景。完善的平台支持,支持业务自助化...

阅读(89)评论(0)赞 (0)

编程技术

新工作第十五周

xiaoli.he 发布于 2020-01-11

到春节,新工作就完整四个月了,磨合的也差不多了,情况也了解的差不多了,需要做计划了,当然不是为了计划而计划,也不是为了产品数据而计划,而是从一个程序员的角度去考虑。 面临的复杂性在于,自己的水平和认知还处于一个可提升的阶段,很多考虑不全面,但正因为如此,才要去想,虽然过程很痛苦。...

阅读(82)评论(0)赞 (0)

Java

Linkis 0.9.2 版本发布

邓龙华 发布于 2019-12-30

什么是Linkis ? Linkis 是微众银行自研的一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件...

阅读(62)评论(0)赞 (0)

编程技术

「分布式系统前沿技术」专题 | Pulsar 的设计哲学

10

xiaoli.he 发布于 2019-12-27

分布式技术的发展,深刻地改变了我们编程的模式和思考软件的模式。值 2019 岁末,PingCAP 联合 InfoQ 共同策划出品“分布式系统前沿技术 ”专题, 邀请众多技术团队共同参与,一起探索这个古老领域的新生机。本文出自 StreamNative 联合创始人 Sijie Gu...

阅读(61)评论(0)赞 (0)

编程技术

高级架构师如何仅用6步,就为企业量身打造一套高可用系统?

9

xiaoli.wang 发布于 2019-12-27

对于用户量较大的系统以及系统稳定性要求极高的企业,每一次计划外的系统停机都是严重事故。想要降低计划外系统停机的概率,有两个关键动作,一是执行计划内维护来及时更新硬件或者软件,另外一个有效的动作就是搭建一套高可用系统来降低系统意外停机的概率。 随着企业用户对集群方案需求的多样性提升...

阅读(77)评论(0)赞 (0)

Java

一个应届生拿字节跳动offer的努力

6

darida 发布于 2019-12-25

张小方推荐:很多人选择了计算机这个行业,为了提供自己的薪资收入可谓煞费苦心,但是结果差强人意,其实基础知识扎实的人,拿薪资还是不难的。本文分享了一位应届校招生拿 40W 年薪今日头条的 offer 的经历,其面试的内容虽然不难,但是非常基础,不踏实的人一定答不好。这里分享给大家,...

阅读(126)评论(0)赞 (0)