转载请标明出处:http://blackwing.iteye.com/blog/1943575
之前为HBase增加SNAPPY压缩的一篇文章:http://blackwing.iteye.com/blog/1942037
本以为这样hbase就能使用SNAPPY了,但发现RS的log不停报错:
IOException: Compression algorithm 'snappy' previously failed test
根据官方教程再做一遍:http://hbase.apache.org/book/snappy.compression.html
还是报错,后来发现差异。服务器安装的是ubuntu 64位版本,在hadoop的lib/native/下是Linux-amd64-64文件夹,而在HBase的lib/native目录下默认却是Linux-i386-32,我就是把hadoop和snappy的native so文件拷贝到Linux-i386-32下。
所以在hbase的lib/natvie下新建Linux-amd64-64,再把hadoop、snappy的so文件拷过来,重启hbase,再创建表:
create 'snappy',{NAME=>'t',COMPRESSION=>'SNAPPY'}
rs的log正常,跟着写入数据,flush后,看到已经正常压缩,rs log无错误。到此终于完整了整合snappy。
PS:确保HBASE能正确加载codec,可以在hbase-site.xml中配置:
<property>
<name>hbase.regionserver.codecs</name>
<value>snappy</value>
</property>
这样设置后,hbase启动就会检查,如果不能正确加载,rs会启动失败,正常启动则说明加载成功,比较保险。
分享到:
相关推荐
NULL 博文链接:https://qindongliang.iteye.com/blog/2267681
1 介绍 大数据时代,海量数据的存储和分析是一个巨大的挑战...主流的HBase压缩方式有LZO和Snappy,Snappy的压缩比会稍微优于LZO,具体的对比,可参考这篇文章:http://www.cnblogs.com/zhengrunjian/p/4527165.html Sna
编译过的hadoop3.0版本,安装了snappy压缩。
为解决现有的HBase数据压缩策略选择方法未考虑数据的冷热性,以及在选择过程中存在片面性和不可靠性的缺陷,提出了基于HBase数据分类的压缩策略选择方法。依据数据文件的访问频度将HBase数据划分为冷热数据,并限定具体...
离线hadoop集群下,snappy在hbase中的安装配置步骤
hadoop hbase支持snappy压缩jar包 解压后放到hbaselib目录重启
Snappy is a compression/decompression library. It does not aim for maximum compression, or compatibility with any other compression library; instead, it aims for very high speeds and reasonable ...
CompressionTest Tool C.2. hbase.regionserver.codecs C.3. LZO C.4. GZIP C.5. SNAPPY C.6. Changing Compression Schemes D. YCSB: The Yahoo! Cloud Serving Benchmark and HBase E. HFile format version 2 E....
NULL 博文链接:https://kfcman.iteye.com/blog/2430964
hadoop-2.52-hbase-0.14-hadoop2 ha高可用安装,hbase动态添加删除节点,hbase集群正常状态及启动,hbase 问题汇总
介绍HBase2.x之RIT问题解决
HBase常见热点问题及几种解决方案.docx
java 利用 sping-data-hadoop HbaseTemplate 操作hbase find get execute 等方法 可以直接运行
这是hadoop项目中,使用Hbase进行明细查询所需要的jar包
博主自己整理的一些HBASE的注意事项,可能比较LOW,大家凑活看看。
HBase权威指南中文版(压缩成5个文件了)分卷3 总共5个分卷
本资源为hbase的安装和使用,内含hbase安装工具包,hbase的安装说明,hbase的使用说明 。
这是本人使用hbase shell的部分经验总结,一般的shell使用全部包括了。 版本,压缩,region等需求,以及使用普通shell使用hbase shell
为解决现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大、分类粒度小、配套分类算法缺陷导致的学习成本高、压缩效率难以保证的问题,提出了一种基于排序的列区混合压缩策略。首先根据HBase特点设计了一种...
HBase相对于关系数据库能解决的问题是什么? 2 HBase与关系数据的区别? 2 HBase与RDBMS的区别? 2 3. HBase的数据模式是怎么样的?即有哪些元素?如何存储?等 3 1). 数据模式 3 2). HBase的基本元素: 4 3) ...