`
BlackWing
  • 浏览: 196768 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

Hadoop的tasktracker启动失败,重编译native库

阅读更多
hadoop的datanode启动失败,只能启动datanode进程,而tasktracker则未能启动,查看HADOOP HOME下的hs_err_pid*文件,错误如下:

# A fatal error has been detected by the Java Runtime Environment:
#
#  SIGFPE (0x8) at pc=0x0000003995f07827, pid=32635, tid=1076017504
#
# JRE version: 6.0_32-b03
# Java VM: Java HotSpot(TM) 64-Bit Server VM (20.7-b02 mixed mode linux-amd64 compressed oops)
# Problematic frame:
# C  [ld-linux-x86-64.so.2+0x7827]
#
# If you would like to submit a bug report, please visit:
#   http://java.sun.com/webapps/bugreport/crash.jsp
# The crash happened outside the Java Virtual Machine in native code.
# See problematic frame for where to report the bug.


根据这位仁兄的思路:http://jackiee-cn.iteye.com/blog/1192526

下载ant,重新编译hadoop的native库,把HADOOP HOME下:
build/native/Linux-amd64-64/lib
的所有文件,拷贝到HADOOP HOME的:
lib/native/Linux-amd64-64/

跟着修改core-site.xml,增加以下变量:

<property> 
  <name>hadoop.native.lib</name> 
  <value>true</value> 
</property> 


tasktracker就能正常启动。如果还是启动失败,可以看看gcc的版本,若gcc版本低于4.1则可能是gcc的问题,升级gcc的方法,见《Redhat AS 4 成功升级最新gcc》http://blackwing.iteye.com/admin/blogs/1534642





分享到:
评论

相关推荐

    hadoop-2.6.0编译好的64bit的native库

    在64位系统上运行Hadoop 2.6.0会...这是因为hadoop默认编译好的native库是32bit的,所以要重新编译hadoop2.6的源代码,获取64位native库,将其复制到原来安装的hadoop的native目录中替代原来的类库,然后重新运行即可。

    hadoop-3.1.3-mac-native_lib.zip

    macOS 下编译的hadoop-3.1.3源码所得的native库,可解决mac系统安装hadoop因缺失native库引起的报错

    mac下编译hadoop3.1.4源码生成的native库

    替换掉安装目录下的lib即可,不会的留言

    Hadoop 2.2.0 64位native文件(重编译)

    Hadoop 2.2.0版本中在64为linux系统上运行所需要的native库文件。需要时用此native文件夹覆盖Hadoop 2.2.0中native文件夹即可。

    hadoop2.4.1 native x64 编译库

    hadoop2.4.1 native x64 编译库 hadoop2.4.1 native 库默认是32为编译, 这个64位的库能解决“util.NativeCodeLoader: Unable to load native-hadoop library for your platform”这个警告的问题

    hadoop-2.3.0 的64位 native库

    从apache官网下载的hadoop-2.3.0.tar.gz的native库是32位的,但是我们的机器一般是64位的操作系统,所以需要重新编译为64位的,附件就是我编译好的64位的native

    hadoop2.8.1 64bit native 编译

    hadoop2.8.1 64bit native 编译

    Ubuntu下hadoop-2.5.2编译好的64bit的native库

    hadoop-2.5.2编译好的64bit的native库,下载后把里边文件都复制到自己的native目录下就好啦

    hadoop-2.9.2的64位本地库

    Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要64位的版本。 该文件是手动编译的hadoop库文件中的本地库,将原native替换掉即可正常运行hadoop。

    mac 下hadoop3.0.2编译的native库

    mac版本,解决hadoop3.0.0安装后无法加载本地库的问题

    hadoop-2.8.1已经编译好的64bit的native库

    hadoop-2.8.1在64位系统上运行时会出现以下提示: :WARN util.NativeCodeLoader: ...而hadoop默认编译好的native库是32bit的,所以需要重新编译。现将编译好的hadoop-2.8.1的native库分享给大家,替代原来的库即可

    在linux中编译64位的 hadoop 2.4.1native

    1.已经编译好的 hadoop2.4.1 x64 用法:将hadoop-2.4.1/lib/native下所有文件删除,然后将包中的文件放入 2.自己安装搜索“编译64位的hadoop 2.4.1”参考:...

    Native Hadoop3.2.1 Library 64位编译

    Native Hadoop3.2.1 Library 64位编译,大数据本地库. Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行...

    hadoop-2.5.0-cdh5.3.6 编译native包

    最近在学习大数据,自己手动编译native包。 操作环境: 1. Centos 6.5 2. hadoop-2.5.0-cdh5.3.6 现传上编译步骤和native包

    hadoop2.8.1 native for macOS10

    macOS下使用hadoop2.8.1时, 执行hadoop fs 命令(如...解决方法是下载hadoop源代码重新编译, 但中间需要下载安装很多第三方工具, 改资源是在macOS下重新编译后得到的native, 将$HADOOP_HOME/lib/native文件夹替换掉即可.

    Hadoop datanode启动失败:Hadoop安装目录权限的问题

    Hadoop datanode启动失败:Hadoop安装目录权限的问题

    hadoop 2.8.0 macOS native library

    安装hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因: Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题...

    Hadoop-2.7.2源码及编译jar包.zip

    Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 ...

    Hadoop 2.2 64位 native 库

    Hadoop2.2官方发布版本是32位的,没有提供64的发布包;32位发布包在Linux64位下运行会报warn。现编译出64位的native库,供大家下载; 直接替换lib/native下的文件即可,本native库适合 RedHat、CentOS 64位系统。

    hadoop2.2.0 64位 native库centos64

    在CentSO_64bit集群搭建,hadoop2.2(64位)编译 新版亮点: 基于yarn计算框架和高可用性DFS的第一个稳定版本。 注1:官网只提供32位release版本, 若机器为64位,需要手动编译。 环境配置是个挺烦人的活,麻烦不说还...

Global site tag (gtag.js) - Google Analytics