BlackWing
- 浏览: 196453 次
- 性别:
- 来自: 广州
-
最新评论
-
永立s：
这篇博客帮我解决了一个问题,十分感谢.
HBase表增加snappy压缩 -
BlackWing：
日志是job运行日志，看你怎么配置了，一般就在hadoop安装 ...
解决Exception from container-launch: ExitCodeException exitCode=1的另类错误 -
heymaomao：
heymaomao 写道有两个问题，想请教下楼主 第一是日志楼 ...
解决Exception from container-launch: ExitCodeException exitCode=1的另类错误 -
heymaomao：
有两个问题，想请教下楼主 第一是日志楼主到底看的是哪个日志文件 ...
解决Exception from container-launch: ExitCodeException exitCode=1的另类错误 -
atomduan：
本地的Unix 进程创建失败，检查下服务器内存是否够用，是不是 ...
解决Exception from container-launch: ExitCodeException exitCode=1的另类错误
文章列表
转载请标明出处：http://blackwing.iteye.com/blog/2231556
根据项亮《动态推荐系统关键技术研究》的分类方式，可以根据使用数据来把推荐技术分成以下两类：
1.按使用数据分类：
协同过滤
内容过滤
社会化过滤
基于人口信息的过滤
机遇地理信息的推荐
2.按模型分类：
领域模型
矩阵分解模型
图模型
受限于数据获得的难易程度，一般用户行为数据较为容易获取，所以也导致协同过滤相关推荐算法的流行。
项亮表示，凡是使用了用户行为数据进行运算的都可以归类为协同过滤算法，经典的有user-based协同过滤和item-based协同过滤。
亚马逊把item-b ...
转载请标明出处：http://blackwing.iteye.com/blog/2191454
网上虽然有不少关于MultipleOutputs实现多文件输出的文章，但发现要不还是使用mapred.lib旧接口，要不就是说明不清楚。
Mapper
package com.yy.hiido.itemcf.hadoop.mapper;
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.ha ...
转载请标明出处：http://blackwing.iteye.com/admin/blogs/2188077
数据量大的情况下，通过直接读取HFile来获得hbase表数据性能比通过HTable读取有优势，但当读取HFile时，table同时有数据写入，那么可能因为split、compact等原因导致某些HFile不存在，导致任务失败。
如果通过hdfs的snapshot快照功能，对某个table进行快照后，在读取快照，则不会出现问题。步骤如下：
1. 把需要快照的表设置为snapshottable
hdfs dfsadmin -allowSnapshot <path>
对应的 ...
转载请标明出处：http://blackwing.iteye.com/blog/2158799
由于sentinel redis集群是搭建在组内的服务器，而某个应用需要从其他组的storm集群访问sentinel，并且组内的sentinel配置了防火墙访问规则。
sentinel对外开通的是26379端口，所以程序连接sentinel是，能正常建立对sentinel master的连接，但当需要活动pool资源时：
sentinelPool.getResource();
则报一下错误：
Could not get a resource from the pool
原来除了需要防火墙开发se ...
转载请声明出处：http://blackwing.iteye.com/blog/2152319
试用了fluentd，挺方便易用，支持直接到hdfs，hbase，mangoDB等，可以跟已有业务结合。
安装fluentd非常简单，官方教材地址：http://docs.fluentd.org/categories/installation
以下是针对ubuntu 12.04 LTS进行说明：
1.先修改系统环境，例如增加open files数目、修改网络参数等：http://docs.fluentd.org/articles/before-install
2.根据自己系统版本，直接执行官方写 ...
转载请声明出处：http://blackwing.iteye.com/blog/2147633
在使用storm的过程中，感觉它还是不如hadoop那么成熟。当然，它的流式处理能力挺让人眼前一亮，以前做的个性化推荐都是离线计算，现在总算把实时部分也加上了。
总结一下storm使用的些心得：
1.尽量把大量数据处理行为分拆成多个处理component。
2.storm不擅长保存状态，一般需要借助如redis这些外部存储比较方便实现逻辑。
3.其实跟1有点类似，不用在component（例如spout或者bolt）中保存大量数据，因为很容易撑爆内存，导致worker被kill掉。
下面是我遇到 ...
转载请标明出处：http://blackwing.iteye.com/blog/2107107
环境为hadoop2.2，在linux下运行自己的job，报如下错误：
Exception from container-launch: ExitCodeException exitCode=1:
ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
at org.apache.hadoop.util.Shell.run(Shell. ...
转载请标明出处：http://blackwing.iteye.com/blog/2001416
主要参考这篇文章：https://www.digitalocean.com/community/articles/how-to-install-zabbix-on-ubuntu-configure-it-to-monitor-multiple-vps-servers
其实不用升级source也能够apt-get install，但是安装的版本是1.8，升级后安装的版本是2.0.
需求：监控自己的java程序状态，例如程序运行后，返回0是正常结束，1是出错。
zabbix除了主动从客户端拉数据外， ...
转载请标明出处：http://blackwing.iteye.com/admin/blogs/1995026
Storm已经在2013年9月放到apache，作为孵化项目，但他的apache主页居然404，真莫名。
Storm的资料如下：
1.安装集群教程
https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster
2.官方的另一个主页
http://storm-project.net/
主要步骤为：
1. 按照zookeeper集群
2. 安装依赖软件
其中主要是安装ZeroMQ和jzmq，官方 ...
转载请标明出处：http://blackwing.iteye.com/blog/1991901
之前在另一篇文章里实现的自定义job生成HFile并使用LoadIncrementalHFiles 入库HBase ：http://blackwing.iteye.com/blog/1991380
但发现入库时，非常的慢，而且几次都失败了，明明官方教材说这个操作是move的：
The completebulkload utility will move generated StoreFiles into an HBase table. This utility is often used in ...
转载请标明出处：http://blackwing.iteye.com/blog/1991380
hbase自带了ImportTsv类，可以直接把tsv格式（官方教材显示，是\t分割各个字段的文本格式）生成HFile，并且使用另外一个类org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles直接把HFile移动到hbase对应的hdfs目录。
PS:网上看到一个XD说，直接生成HFile并入库HBase效率不如先生成HFile，再通过LoadIncrementalHFiles移动文件到hbase目录高，这点没有验证，我的做法也是先生成，再 ...
转载请标明出处：http://blackwing.iteye.com/blog/1985226
网上其他的解释是，MR的in/out的key、value类型不匹配，或者job的输入输出格式不匹配导致报如下错误：
java.lang.NullPointerException
at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<ini ...
转载请标明出处：http://blackwing.iteye.com/blog/1981812
ivy服务器的一般应用场景是，再内网某台服务器上搭建一个共享的repository，本地连接检出需要的jar包。
1. ubuntu上安装samba
sudo apt-get install samba
2. 创建目录
在自己需要的路径下创建一个共享目录，例如: /usr/local/cluster/public
跟着修改samba的配置文件（apt-get安装后，默认在/etc/samba/smb.conf）
在文件最后添加：
[share]
path=/usr/local/clust ...
转载请标明出处：http://blackwing.iteye.com/blog/1980219
服务器上hbase用的是hadoop 2.2.0的hdfs，java程序访问hbase时报如下错误：
java.lang.NoClassDefFoundError:
org/apache/hadoop/util/PlatformName
Caused by: java.lang.ClassNotFoundException:
org.apache.hadoop.util.PlatformName
网上说的修改hadoop-config.sh这种方式应该是旧版本hadoop的解决办法 ...
转载请标明出处：http://blackwing.iteye.com/blog/1978501
org.apache.hadoop.io.Text里面的getBytes方法有个小坑。
先看现场：
String s = "91223224-20131120-96413376-150";
Text t = new Text();
t.set(s);
Put put = new Put(t.getBytes());//*1
put.add("kq".getBytes(), "0".getBytes(),&quo ...