转载请标明来源:http://blackwing.iteye.com/blog/1940933
基础环境是ubuntu 10.04 LTS,网上得知hadoop 1.0.3以后集成了snappy,所以相比安装lzo,简便一点。
预备条件:
1. 预先配好环境
sudo apt-get install autoconf
sudo apt-get install automake
sudo apt-get install libtool
2. 下载并安装snappy
1)下载地址
http://code.google.com/p/snappy/downloads/list
2)安装
解压后,直接运行:
./configure
make
make install
之后就安装在/usr/local/lib下
3. hadoop方面设置
1)在core-site.xml中增加一下配置:
<property>
<name>hadoop.native.lib</name>
<value>true</value>
</property>
2)在mapred-site.xml中,增加一下设置
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
表示通过snappy对map输出进行压缩
3)把/usr/local/lib下libsnappy*文件拷贝到 $HADOOP_HOME/lib/native/Linux-amd64-64/下
4)在hadoop-env.sh中设置:
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
之后重启hadoop集群,运行MR程序就能看到已经能加载新的压缩codec。
分享到:
相关推荐
本文档用于说明hadoop1.0.3安装配置的步骤 以及其中需要注意的事项
这里面有Hadoop在eclipse开发的插件,版本号1.0.3,以及有详细的Hadoop配置文件,有什么不对可以留言!!!
hadoop2.7.2 snappy压缩支持,替换lib/native下的即可实现snappy 压缩支持。
配置hadoop支持LZO和snappy压缩
hadoop 1.0.3 eclipse plugins 插件
编译过的hadoop3.0版本,安装了snappy压缩。
离线hadoop集群下,snappy在hbase中的安装配置步骤
Hadoop1.0.3的eclipse插件,常规links安装方式即可 Eclipse3.6及4.2亲测可用
hadoop安装包 版本是1.0.3 具体的安装步骤已经在博客里面写出
编译hadoop2.7.4源码,使之支持snappy压缩存储。绝对正确
Hadoop-1.0.3 API, 帮助用户查看Hadoop自身提供的接口调用
hadoop-1.0.3 中文,资料都是来自apache,资料还是很齐全的,自己编译的,可以搜索,有些显示还是0.18版的,可能是文档没有更新过来。分数有点多,回复就会还你的。
Hadoop 1.0.3 API CHM格式 带索引和全文搜索 一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式...
编译环境hadoop2.5.0 ,snappy1.1.3,linux Centos 6.4。 注意不支持CDH版本,CDH版本会报错 用法:替换native 文件夹即可
自己根据编译过程整理的编译Hadoop源码支持Snappy压缩及配置教程;如碰到问题可以指出;
hadoop api 1.0.3 自己拿工具制作的,希望能给大家带来方便撒。
支持snappy压缩的hadoop2.7.2,源码编译支持压缩 。
hadoop与snappy集成
hadoop中使用snappy算法,需要手工编译hadoop-snappy的包,但是这个包没有提供下载,需要花很大力气进行编译,现在把这个包提供出来