转载

Hadoop不能加载本地库问题解决

在执行hadoop命令或者启动dfs、yarn的时候总会出现这个警告

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 
using builtin-java classes where applicable

修改下log输出日志的级别，获取更多的信息，在执行hadoop命令之前设置下

export HADOOP_ROOT_LOGGER=DEBUG,console

再执行启动dfs命令，控制台输出了一些debug信息，快看看是啥原因导致这个警告的出现。发现 GLIBC_2.14 这个东东没有找到

`GLIBC_2.14' not found (required by opt/hadoop/lib/native/libhadoop.so.1.0.0)

glibc是什么东西呢？

glibc是GNU发布的libc库，即c运行库。glibc是linux系统中最底层的api，几乎其它任何运行库都会依赖于glibc。glibc除了封装linux操作系统所提供的系统服务外，它本身也提供了许多其它一些必要功能服务的实现。

看来这个库在linux系统中很重要呀！！！

我们先看下我们操作系统的glib版本是什么

strings /lib64/libc.so.6 | grep GLIBC

Hadoop不能加载本地库问题解决

系统是2.12版本的，hadoop需要2.14版本才行，下面来对libc库进行升级。

下载

wget http://mirror.bjtu.edu.cn/gnu/libc/glibc-2.14.tar.xz

解压

tar xvf glibc-2.14.tar.gz

编译

cd glibc-2.14
mkdir build
cd build
../configure --prefix=/usr/local/glibc-2.14   // 配置glibc并设置当前glibc-2.14安装目录
make -j4
make install

安装完了，我们接下来要去更新系统的lib库，先复制libc-2.14.so到/lib64目录下

cp /usr/local/glibc-2.14/lib/libc-2.14.so /lib64/libc-2.14.so

备份原来的/lib64/libc.so.6

mv /lib64/libc.so.6 /lib64/libc.so.6.bak

备份好了， ls 看一下

[root@hadoop001 ~]# ls
ls: error while loading shared libraries: libc.so.6: cannot open 
shared object file: No such file or directory

如下图所示:

Hadoop不能加载本地库问题解决

oh，No， ls 命令不能用啦，咋回事，这还能不能愉快的玩耍啦，不要着急，我们continue吧

LD_PRELOAD=/lib64/libc-2.14.so ln –s /lib64/libc-2.14.so  /lib64/libc.so.6

再来看下libc的版本

Ok，大功告成。

原文 http://dxer.github.io/2016/04/05/hadoop_native_lib/

正文到此结束

所属分类：编程技术

本文标签： wget grep 快的 java tar App ORM 目录 CTO 下载 linux git GitHub http Hadoop API src 编译 UI lib 备份配置 build root 安装操作系统
版权声明： 本文为互联网转载文章，出处已在文章中说明(部分除外)。如果侵权，请联系本站长删除，谢谢。
本文海报： 生成海报一生成海报二

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。