Namenode-Harries Blog™ | 追心中的海，逐世界的梦

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

目前 CSDN , 博客园 , 简书同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS NN,2NN,DN及HDFS2.x新特性 HDFS NN,2NN,DN及HDFS2.x新特性 NameNode和SecondaryNameNode（重点） NN和2NN工作机制第一阶段：NameNode...

2020-07-20 浏览(538) 评论(0)

阅读全文

java大数据最全课程学习笔记(3)--HDFS 简介及操作

目前 CSDN , 博客园 , 简书同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS的Shell操作（开发重点） HDFS客户端操作（开发重点）网络拓扑-节点距离计算机架感知（副本...

2020-07-16 浏览(561) 评论(0)

阅读全文

入门大数据---大数据调优汇总

前言不进行优化的代码就是耍流氓。总体来说大数据优化主要分为三点，一是充分利用CPU，二是节省内存，三是减少网络传输。一、Hive/MapReduce调优 1.1 本地模式 Hive默认采用集群模式进行计算，如果对于小数据量，可以设置为单台机器进行计算，这样可以大大缩减查询触发任务时间。用户可以通过设置hive.exec.mode.local.auto 的值为true，来...

2020-07-15 浏览(478) 评论(0)

阅读全文

CDH6.0.1 搭建过程及所遇到的错误处理

一、集群服务器配置说明（整个过程中我会提前把一些小坑填上，有的坑后面没有提到） IP 节点名 OS Cores Memory Disk Remark 172.25.16.1 cdh1 CentOS7.5 ...

2020-04-19 浏览(477) 评论(0)

阅读全文

读Hadoop3.2源码，深入了解java调用HDFS的常用操作和HDFS原理

本文将通过一个演示工程来快速上手java调用HDFS的常见操作。接下来以创建文件为例，通过阅读HDFS的源码，一步步展开HDFS相关原理、理论知识的说明。说明：本文档基于最新版本Hadoop3.2.1 目录一、java调用HDFS的常见操作 1.1、演示环境搭建 1.2、操作HDFS 1.3、java文件操作常用方法二、深入了解HDFS写文件的流程和HDFS原理 ...

2020-03-30 浏览(520) 评论(0)

阅读全文

从简历被拒到收割今日头条 Offer，我花了一年时间

作者｜大数据肌肉猿责编｜伍杏玲出品｜CSDN博客印象中的头条 1.老板张一鸣跟我是福建老乡，龙岩市在我朋友说来就是山沟沟，能走出美团王兴和头条张一鸣让我卯足了去龙岩吃特产老鼠干的欲望。 2.给的钱多，笔试也贼难。参加过头条笔试的同学都知道，头条笔试可以笔试三次，就是不论你有没有参加都有三次机会。笔试就5道算法题，两个小时，去年第一次看到算法题就自闭了，第一...

2020-03-24 浏览(491) 评论(0)

阅读全文

微信架构总监：微信 10 亿日活场景下，后台系统微服务架构实践

点击“ 技术领导力 ”关注 ∆ 每天早上8:30 推送作者| 许家滔编辑| 老K 作者介绍：许家滔，微信技术架构部后台总监，专家工程师，多年来伴随QQ邮箱和微信后台成长，历经系统从0到10亿级用户的过程。目前负责微信后台工作，包括消息，资料与关系链，后台基础设施等内容。本文整理自，许家滔老师在“第十...

2020-03-24 浏览(476) 评论(0)

阅读全文

微信架构总监：微信10亿日活场景下，后台系统微服务架构实践！15页ppt全解

点击“ 技术领导力 ”关注 ∆ 每天早上8:30 推送作者| 许家滔编辑| 老K 作者介绍：许家滔，微信技术架构部后台总监，专家工程师，多年来伴随QQ邮箱和微信后台成长，历经系统从0到10亿级用户的过程。目前负责微信后台工作，包括消息，资料与关系链，后台基础设施等内容。本文整理自，许家滔老师在“第十...

2020-03-16 浏览(536) 评论(0)

阅读全文

大数据方向学习面试知识图谱

正所谓，无招胜有招。愿读到这篇文章的技术人早日明白并且脱离技术本身，早登彼岸。一切技术最终只是雕虫小技。大纲本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，以及我们面试一个大数据开发岗位的时候，哪些东西是重点考察的，这些公司更希望面试者具备哪些技能。本文不...

2020-01-16 浏览(757) 评论(0)

阅读全文

一个应届生拿字节跳动offer的努力

张小方推荐：很多人选择了计算机这个行业，为了提供自己的薪资收入可谓煞费苦心，但是结果差强人意，其实基础知识扎实的人，拿薪资还是不难的。本文分享了一位应届校招生拿 40W 年薪今日头条的 offer 的经历，其面试的内容虽然不难，但是非常基础，不踏实的人一定答不好。这里分享给大家，希望对大家有一点启发。作者 / 无精疯来源 / 大数据肌肉猿 ...

2019-12-25 浏览(626) 评论(0)

阅读全文