转载请标明来源:http://blackwing.iteye.com/blog/1942037
此前使用的是LZO,近期想着试试snappy的实力,snappy的安装可以参考另外一篇文章:http://blackwing.iteye.com/blog/1940933
HBase添加snappy压缩步骤如下:
1. 验证snappy是否正常安装:
找某个文件,对其进行压缩测试
hbase org.apache.hadoop.hbase.util.CompressionTest hbase-hadoop-regionserver.log snappy
如果正确安装snappy则会显示SUCCESS字眼
2. 为表增加snappy压缩
1) 先disable该表
2) 修改表定义
alter 'mytable',{NAME=>'cf1',COMPRESSION => 'snappy'}
3) enable 'mytable'
表中此前的数据,还没有压缩,如果要让整个表的数据都压缩,需要对表进行major compact:
major_compact 'mytable'
之后打开该表所在某个rs的web界面,在Region Name找到表所在行,看Metrics中的:
storefileUncompressedSizeMB=160, storefileSizeMB=66, compressionRatio=0.4125
就可以看得,压缩前后容量以及压缩比。
如果enable表时卡死,可以强行退出后,根据这篇文章处理:http://blackwing.iteye.com/blog/1914841
分享到:
相关推荐
NULL 博文链接:https://qindongliang.iteye.com/blog/2267681
1 介绍 大数据时代,海量数据的存储和分析是一个巨大的挑战...主流的HBase压缩方式有LZO和Snappy,Snappy的压缩比会稍微优于LZO,具体的对比,可参考这篇文章:http://www.cnblogs.com/zhengrunjian/p/4527165.html Sna
在此基础上增加评估层,综合考虑基于相邻区和统计列的选择方法,提出基于数据访问级别的压缩策略选择方法。仿真实验及结果表明,提出的压缩策略选择方法不仅节省了存储空间,还大大提高了数据查询的性能。
NULL 博文链接:https://kfcman.iteye.com/blog/2430964
一款强大的HBase表管理系统,目前系统集成的功能有,命名空间管理,表管理,列簇管理,标签机制,快照管理,以及一些常见的统计指标展示等,另外,系统还内置了HBaseSQL的功能,欢迎大家下载。 一款强大的HBase表...
编译过的hadoop3.0版本,安装了snappy压缩。
最近看了hbase的源码根据源码写了一些scala调动hbase表的API,话不多说直接上代码!Hadoop的版本是2.7.3,scala版本是2.1.1,hbase的版本是1.1.2 如果版本不同可以修改pom的依赖项,但要注意版本冲突。 并且在scala...
离线hadoop集群下,snappy在hbase中的安装配置步骤
hbase表结构设计,新建表,查询表语句,删除表数据,删除表的例子。
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtable...
hbase表操作工具类.连接hbase数据库,根据rowkey删除单条记录,批量删除记录。获取某个字段的值,判断记录是否存在,向hbase表中插单条数据,批量插入到hbase表。 查询表,获取某个字段的值列表,hbase工具
从HBase表读取并写入HBase表的简单Spark Streaming项目 #Prereqs运行 创建一个要写入的hbase表:a)启动hbase shell $ hbase shell b)创建表create'/ user / chanumolu / sensor',{NAME =>'data'},{NAME =>'...
HBaseManager,是一款强大的HBase表管理系统,目前系统集成的功能有,命名空间管理,表管理,列簇管理,标签机制,快照管理,以及一些常见的统计指标展示等,另外,系统还内置了HBaseSQL的功能
java代码将mysql表数据导入HBase表 + 样例mysql表和数据 + HBase表创建
│ Hbase性能优化-配置snappy压缩 │ Hbase中索引的介绍 │ PHoenix的编译及安装部署 │ PHoenix与Hbase表的关联使用 ├─03_笔记 │ [案例:Hbase的设计及企业优化].txt ├─04_代码 │ └─微博案例 ├─08_作业 ...
Java操作Hbase进行建表、删表以及对数据进行增删改查,条件查询
hbase,mysql本机备份压缩,恢复,springboot代码 访问http://localhost:7777
基于搭建好的hbase集群,将mysql(关系型数据库)的数据抽取到hbase表中。
HBase表结构.jpg
java操作Hbase之实现表的创建删除,源代码,面向不使用maven的初学者,因此附带全部所需jar包。