ZHB_McCoy
- 浏览: 128907 次
- 性别:
- 来自: 北京
-
文章列表
hbase schema design
- 博客分类：
- hbase
http://www.slideshare.net/cloudera/hadoop-world-2011-advanced-hbase-schema-design
http://lidejiasw.wordpress.com/2011/06/17/%E2%80%9Chbase%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98%E2%80%9D%E4%B9%8B%E4%BB%A3%E7%A0%81%E8%AF%B4%E8%AF%9D/
http://blog.csdn.net/a221133/article/details/6894746
http://rdc.taobao.com/team/jm/archives/975
http://standalone.iteye.com/blog/889944
http://blog.n ...
hadoop hbase logs目录下日志越来越多，写个简单的脚本备份删除一下
#!/bin/sh
#backup hadoop&hbase logs which are 30 days ago, and delete them
cd /work/hadoop-0.20.203.0/logs
today=`date +%Y-%m-%d`
find . -mtime +30 -print > /tmp/hadooplogslist-$today
if [ -d /work/hadoop_logs_bak ]; then
echo ...
jdbc中获取resultset的大小
- 博客分类：
- java
ResultSet rs = ps.executeQuery();
int rowcount = 0;
if (rs.last()) {
rowcount = rs.getRow();
rs.beforeFirst(); // not rs.first() because the rs.next() below will move on, missing the first element
}
while (rs.next()) {
// do your standard per row stuff
}
前端开发-JQuery各种选择器介绍
- 博客分类：
- easyui
基本选择器：
$("#myELement") 选择id值等于myElement的元素，id值不能重复在文档中只能有一个id值是myElement所以得到的是唯一的元素
$("div") 选择所有的div标签元素，返回div元素数组
$(".myClass") 选择使用myClass类的css的所有元素
$("*") 选择文档中的所有的元素
可以运用多种的选择方式进行联合选择：例如$(&quo ...
Log4j使用相对路径指定log文件及使用总结
- 博客分类：
- java
Log4j在指定log文件位置时一般是使用绝对路径，这样在部署环境发生变化时显得十分麻烦，在网上找了很多种方法，个人感觉以下方法比较适用：
由于spring也会加载log4j.properties，如果加载不到就往控制台打log信息。Spring提供了
一个Log4jConfigListener，本身就能通过web.xml中配置来指定位置加载log4j配置文件和log输出路径，注意该
listener需要放在spring的Listener之前。
事实上，Log4jConfigListener更适合log4j在web工程中使用，原因如下：
1. 动态的改变 ...
Java(J2SE)使用API读取Properties配置文件的六种方法
1。使用java.util.Properties类的load()方法
示例：InputStream in = lnew BufferedInputStream(new FileInputStream(name));
Properties p = new Properties();
p.load(in);
2。使用java.util.ResourceBundle类的getBundle()方法
示例：ResourceBundle rb = ResourceBundle.getBundle(name, Loca ...
Hadoop Job失败解决
- 博客分类：
- hadoop
现象：map 某个task始终实行失败，直到超时，attemp task重试四次，最后task失败
查看jobtracker发现每次都是固定的task，找到该task所在节点，查看log，搜索该taskid
如：
cat hadoop-hadoop-tasktracker-DB1221.log.2012-06-26 | grep attempt_201206081842_0456_m_000392_0
2012-06-26 17:44:23,543 INFO org.apache.hadoop.mapred.TaskTracker: JVM with ID: jvm_2 ...
HBase简介
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase ...
Hadoop的那些事儿
- 博客分类：
- hadoop
在说Hadoop之前，作为一个铁杆粉丝先粉一下Google。Google的伟大之处不仅在于它建立了一个强悍的搜索引擎，它还创造了几项革命性的技术：GFS，MapReduce，BigTable，即所谓的Google三驾马车。Google虽然没有公布这几项技术的实现代码，但它发表了详细的设计论文，这给业界带来了新鲜气息，很快就出现了类似于Google三驾马车的开源实现，Hadoop就是其中的一个。
关于MapReduce
Hadoop说起来很简单，一个存储系统（HDFS），一个计算系统（MapReduce）。仅此而已。模型虽然简单，但我觉得它的精妙之处也就在这里。目前，通过提高CP ...
velocity 截取字符串
- 博客分类：
- java
#set($str="hello world001") #set($end=$str.length() - 1) #set($str=$str.substring(0,$end))
#set($str="$!job.updateTime")
#set($end=$str.length() - 2)
#set($str=$str.substring(0,$end))
$str
一、客户端
Map-Reduce的过程首先是由客户端提交一个任务开始的。
提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的：
public static RunningJob runJob(JobConf job) throws IOException {
//首先生成一个JobClient对象
JobClient jc ...
变量说明:
$$ Shell本身的PID（ProcessID）$! Shell最后运行的后台Process的PID$? 最后运行的命令的结束代码（返回值）$- 使用Set命令设定的Flag一览$* 所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。$@ 所有参数列表。如"$@"用「"」括起来的情况、以"$1" "$2" … "$n" 的形式输出所有参数。$# 添加到Shell的参数个数$0 Shell本身 ...
Hadoop集群上使用Lzo压缩
- 博客分类：
- hadoop
自从Hadoop集群搭建以来，我们一直使用的是Gzip进行压缩
当时，我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试，最终执行速度基本差不多
而且Hadoop原生支持Gzip解压，所以，当时就直接采用了Gzip压缩的方式
关于Lzo压缩，twitter有一篇文章，介绍的比较详细，见这里：
Lzo压缩相比Gzip压缩，有如下特点：
压缩解压的速度很快
Lzo压缩是基于Block分块的，这样，一个大的文件（在Hadoop上可能会占用多个Block块），就可以由多个MapReduce并行来进行处理
虽然
修改easyui datebox默认日期格式
- 博客分类：
- easyui
问题描述： 根据jquery easyui datebox demo中给的示例，导入和使用datebox, 发现日期格式为： 6/22/2011， 其他的今天和关闭也是 Today, Close， 对中文用户有些不习惯。期待效果： 日期格式 2011-06-22 今天 关闭解决方案： 导入 <script type="text/javascript" src="../locale/easyui-lang-zh_CN.js"></script> 运用国际化定义解决此问题。最近项目开发中要使用到日期选择框，由于使用了jquer ...