标签:Secondary Namenode

Java

2020面试预备你也能收割Offer,Java程序员必会知识清单全在这份pdf文档里

31

hellas 发布于 2019-12-02

关于程序员,除了做项目来提高自身的技术之外,还有一种提升自己的专业技能就是:多!看!书! 小编整理出一篇Java进阶架构师之路的核心知识,同时也是面试时面试官必问的知识点,篇章也是包括了很多知识点,其中包括了有基础知识、Java集合、JVM、多线程并发、spring原理、微服务、...

阅读(22)评论(0)赞 (0)

Java

Ubuntu 18.04下搭建单机Hadoop和Spark集群环境

29

xiaoli.wang 发布于 2019-12-01

Hadoop在整个大数据技术体系中占有至关重要的地位,是大数据技术的基础和敲门砖,对Hadoop基础知识的掌握程度会在一定程度决定在大数据技术的道路上能走多远。 最近想要学习Spark,首先需要搭建Spark的环境,Spark的依赖环境比较多,需要Java JDK、Hadoop的...

阅读(52)评论(0)赞 (0)

编程技术

深刻理解HDFS工作机制

4

hanze 发布于 2017-01-11

深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布式系统有一些了解。请参考这篇博客。本篇博文首先对HDFS的重...

阅读(466)评论(0)赞 (0)

编程技术

给下周要面试的你一套大数据技术Hadoop面试题

1

邓龙华 发布于 2016-03-21

单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份? a)3 份 b)2 份 c)1 份...

阅读(387)评论(0)赞 (0)

编程技术

Hadoop 入门实践

5

Harries 发布于 2016-03-04

Hadoop 2.0 架构 Hadoop 包括如下几个模块: Hadoop Common:公共基础组件; Hadoop Distributed File System(HDFS):分布式文件系统; Hadoop YARN:任务和资源管理框架; Hadoop MapReduce:基...

阅读(302)评论(0)赞 (0)

编程技术

Hadoop中如何将namenode和secondary namenode分开在不同服务器上。

2

刘莉莉 发布于 2016-02-24

在一套已经搭建好的Hadoop集群中,默认将namenode和secondary namenode都在master上运行,现在介绍一种方法,将他们分开配置。 Cluster环境,具体环境参考另一篇博客《Hadoop 集群cluster搭建》。简单来说4台机器,hadoop1做ma...

阅读(165)评论(0)赞 (0)

编程技术

Hadoop – Ambari集群管理剖析

5

邓龙华 发布于 2015-12-21

1.Overview Ambari是Apache推出的一个集中管理Hadoop的集群的一个平台,可以快速帮助搭建Hadoop及相关以来组件的平台,管理集群方便。这篇博客记录Ambari的相关问题和注意事项。方便为初学者省去搭配各个社区版的烦恼。 2.How to works 在A...

阅读(272)评论(0)赞 (0)

编程技术

Hadoop NameNode 高可用 (High Availability) 实现解析

8

小丁 发布于 2015-11-10

NameNode 高可用整体架构概述 在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息,...

阅读(319)评论(0)赞 (0)

编程技术

【dbdao.com hadoop大数据教程】hadoop HDFS 使用QJM完成HA

4

刘莉莉 发布于 2015-09-30

dbDao.com 引导式IT在线教育Hadoop 技术学习QQ群号  : 134115150 本文是官方文档的翻译  本文固定链接是:http://t.dbdao.com/archives/hadoop-hdfs-ha-qjm.html 原文链接: http...

阅读(389)评论(0)赞 (0)

编程技术

【dbdao.com hadoop大数据教程】 hadoop HDFS 用户指南翻译

4

小丁 发布于 2015-09-18

dbDao.com 引导式IT在线教育Hadoop 技术学习QQ群号  : 134115150 本文是官方文档的翻译  本文固定链接是:http://t.dbdao.com/archives/hadoop-hdfs-user-guide.html 原文链接: ...

阅读(433)评论(0)赞 (0)

编程技术

Hadoop入门进阶课程4–HDFS原理及操作

23

Harries 发布于 2015-07-13

本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,博主为石山园,博客地址为 http://www.cnblogs.com/shishanyuan   。该系列课程是应邀实验楼整理编写的,这里需要赞一下实验楼提供了学习...

阅读(374)评论(0)赞 (0)

编程技术

Hadoop入门进阶课程1–Hadoop1.X伪分布式安装

37

Harries 发布于 2015-07-08

本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,博主为石山园,博客地址为 http://www.cnblogs.com/shishanyuan   。该系列课程是应邀实验楼整理编写的,这里需要赞一下实验楼提供了学习...

阅读(330)评论(0)赞 (0)

编程技术

Hadoop2.6.0单机/伪分布式安装

2

尖兵 发布于 2015-05-14

本文地址: http://www.cnblogs.com/myresearch/p/hadoop-standalone-pseudo-distributed-operation.html ,转载请注明源地址。 基本环境配置 可以使用命令uname -a 查看linux的版本: m...

阅读(333)评论(0)赞 (0)

编程技术

hadoop生态系统的详细介绍

1

尖兵 发布于 2015-05-14

1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YARN。 下图为hadoop的生态系统: 2、HDFS(Hadoop分布式文件系统)...

阅读(206)评论(0)赞 (0)

Hive教程

Hive安装

2

邓龙华 发布于 2015-01-19

下一篇   所有Hadoop的子项目,如Hive, Pig,和HBase 支持Linux的操作系统。因此,需要安装Linux OS。以下是为Hive的安装执行的简单步骤: 第1步:验证JAVA安装 在Hive安装之前,Java必须在系统上已经安装。使用下面的命令来验证是...

阅读(842)评论(0)赞 (0)

Hadoop教程

Hadoop环境安装设置

2

Harries 发布于 2015-01-19

    Hadoop由GNU/Linux平台支持(建议)。因此,需要安装一个Linux操作系统并设置Hadoop环境。如果有Linux操作系统等,可以把它安装在VirtualBox(要具备在 VirtualBox内安装Linux经验,没有装过也可以学习试着来)...

阅读(513)评论(0)赞 (0)

HBase教程

HBase安装

4

小丁 发布于 2015-01-19

    本章将介绍如何安装HBase和初始配置。 需要用Java和Hadoop来处理HBase,所以必须下载java和Hadoop并安装系统中。 安装前设置 安装Hadoop在Linux环境下之前,需要建立和使用Linux SSH(安全Shell)。按照下面设...

阅读(681)评论(0)赞 (0)

hadoop

HDFS使用指南

Harries 发布于 2014-10-29

目的 本文档的目标是为Hadoop分布式文件系统(HDFS)的用户提供一个学习的起点,这里的HDFS既可以作为Hadoop集群的一部分,也可以作为一个独立的分布式文件系统。虽然HDFS在很多环境下被设计成是可正确工作的,但是了解HDFS的工作原理对在特定集群上改进HDFS的运行性...

阅读(311)评论(0)赞 (0)