入门大数据---大数据调优汇总 Java

入门大数据---大数据调优汇总

前言 不进行优化的代码就是耍流氓。 总体来说大数据优化主要分为三点,一是充分利用CPU,二是节省内存,三是减少网络传输。 一、Hive/MapReduce调优 1.1 本地模式 Hive默认采用集群模式进行计算,如果对于小数据量,可以设置为单台机器进行计算,这样可以大大缩减查询触发任务时间。 用户可以通过设置hive.exec.mode.local.auto 的值为true,来...
阅读全文
读Hadoop3.2源码,深入了解java调用HDFS的常用操作和HDFS原理 Java

读Hadoop3.2源码,深入了解java调用HDFS的常用操作和HDFS原理

本文将通过一个演示工程来快速上手java调用HDFS的常见操作。接下来以创建文件为例,通过阅读HDFS的源码,一步步展开HDFS相关原理、理论知识的说明。 说明:本文档基于最新版本Hadoop3.2.1 目录 一、java调用HDFS的常见操作 1.1、演示环境搭建 1.2、操作HDFS 1.3、java文件操作常用方法 二、深入了解HDFS写文件的流程和HDFS原理 ...
阅读全文
从简历被拒到收割今日头条 Offer,我花了一年时间 编程技术

从简历被拒到收割今日头条 Offer,我花了一年时间

作者|大数据肌肉猿 责编|伍杏玲 出品|CSDN博客 印象中的头条 1.老板张一鸣跟我是福建老乡,龙岩市在我朋友说来就是山沟沟,能走出美团王兴和头条张一鸣让我卯足了去龙岩吃特产老鼠干的欲望。 2.给的钱多,笔试也贼难。参加过头条笔试的同学都知道,头条笔试可以笔试三次,就是不论你有没有参加都有三次机会。笔试就5道算法题,两个小时,去年第一次看到算法题就自闭了,第一...
阅读全文
微信架构总监:微信 10 亿日活场景下,后台系统微服务架构实践 编程技术

微信架构总监:微信 10 亿日活场景下,后台系统微服务架构实践

点击“ 技术领导力 ”关注 ∆    每天 早上8:30 推送 作者| 许家滔   编辑| 老K 作者介绍: 许家滔 ,微信技术架构部后台总监,专家工程师,多年来伴随QQ邮箱和微信后台成长,历经系统从0到10亿级用户的过程。目前负责微信后台工作,包括消息,资料与关系链,后台基础设施等内容。 本文整理自,许家滔老师在“第十...
阅读全文
微信架构总监:微信10亿日活场景下,后台系统微服务架构实践!15页ppt全解 编程技术

微信架构总监:微信10亿日活场景下,后台系统微服务架构实践!15页ppt全解

点击“ 技术领导力 ”关注 ∆    每天 早上8:30 推送 作者| 许家滔   编辑| 老K 作者介绍: 许家滔 ,微信技术架构部后台总监,专家工程师,多年来伴随QQ邮箱和微信后台成长,历经系统从0到10亿级用户的过程。目前负责微信后台工作,包括消息,资料与关系链,后台基础设施等内容。 本文整理自,许家滔老师在“第十...
阅读全文
大数据方向学习面试知识图谱 编程技术

大数据方向学习面试知识图谱

正所谓,无招胜有招。 愿读到这篇文章的技术人早日明白并且脱离技术本身,早登彼岸。 一切技术最终只 是雕虫小 技 。 大纲 本系列主题是大数据开发面试指南,旨在为大家提供一个大数据学习的基本路线,完善数据开发的技术栈,以及我们面试一个大数据开发岗位的时候,哪些东西是重点考察的,这些公司更希望面试者具备哪些技能。 本文不...
阅读全文
一个应届生拿字节跳动offer的努力 编程技术

一个应届生拿字节跳动offer的努力

张小方推荐:很多人选择了计算机这个行业,为了提供自己的薪资收入可谓煞费苦心,但是结果差强人意,其实基础知识扎实的人,拿薪资还是不难的。本文分享了一位应届校招生拿 40W 年薪今日头条的 offer 的经历,其面试的内容虽然不难,但是非常基础,不踏实的人一定答不好。这里分享给大家,希望对大家有一点启发。 作者 / 无精疯    来源 / 大数据肌肉猿 ...
阅读全文
Loading...