- 浏览: 129142 次
- 性别:
- 来自: 北京
文章分类
http://blog.nosqlfan.com/html/3675.html
当下Hadoop已经成长为一个庞大的体系,貌似只要和海量数据相关的,没有哪个领域缺少Hadoop的身影,下面是一个Hadoop生态系统的图谱,详细的列举了在Hadoop这个生态系统中出现的各种数据工具。
- 这一切,都起源自Web数据爆炸时代的来临
- 数据抓取系统 - Nutch
- 海量数据怎么存,当然是用分布式文件系统 - HDFS
- 数据怎么用呢,分析,处理
- MapReduce框架,让你编写代码来实现对大数据的分析工作
- 非结构化数据(日志)收集处理 - fuse ,webdav , chukwa , flume , Scribe
- 数据导入到HDFS中,至此RDBSM也可以加入HDFS的狂欢了 - Hiho , sqoop
- MapReduce太麻烦,好吧,让你用熟悉的方式来操作Hadoop里的数据 – Pig , Hive , Jaql
- 让你的数据可见 - drilldown, Intellicus
- 用高级语言管理你的任务流 – oozie , Cascading
- Hadoop当然也有自己的监控管理工具 – Hue , karmasphere , eclipse plugin , cacti , ganglia
- 数据序列化处理与任务调度 – Avro , Zookeeper
- 更多构建在Hadoop上层的服务 – Mahout , Elastic map Reduce
- OLTP存储系统 – Hbase
发表评论
-
HDFS架构简介
2012-07-17 15:02 1615转自:http://asyty-cp.blog.163.com ... -
Hadoop Dont's: What not to do to harvest Hadoop's full potential
2012-07-15 15:45 694We've all heard this story. ... -
hadoop-0.20.203启用LZO压缩 安装成功
2012-07-13 18:10 2604#准备各安装包,并scp到各节点 pwd /work/lz ... -
Hadoop TaskScheduler浅析
2012-07-13 14:01 895转自:http://hi.baidu.com/_kouu/bl ... -
Hadoop OutputFormat浅析
2012-07-13 14:00 2167转自:http://hi.baidu.com/_kouu/bl ... -
Hadoop InputFormat浅析
2012-07-13 13:57 893在执行一个Job的时候,Hadoop会将输入数据划分成N个Sp ... -
hadoop面试可能遇到的问题
2012-07-13 13:50 1148Q1. Name the most common Inpu ... -
hadoop-0.20.203启用LZO压缩
2012-07-12 16:45 14941.准备工作,安装ant,(编译第三步lzo编码解码时使用,现 ... -
24 Interview Questions & Answers for Hadoop MapReduce developers
2012-07-12 10:12 732A good understanding of Hadoop ... -
hadoop hbase log backup
2012-06-28 16:43 850hadoop hbase logs目录下日志越来越多,写个简单 ... -
Hadoop Job失败解决
2012-06-27 17:07 3062现象:map 某个task始终实行失败,直到超时,attemp ... -
Hadoop的那些事儿
2012-06-25 14:37 677在说Hadoop之前,作为一个铁杆粉丝先粉一下Googl ... -
Hadoop学习总结:Map-Reduce的过程解析
2012-06-25 10:47 807一、客户端 Map-Re ... -
Hadoop集群上使用Lzo压缩
2012-06-21 14:14 1053自从Hadoop集群搭建以来,我们一直使用的是G ... -
hadoop 相关博客推荐
2012-06-04 10:26 816http://www.cnblogs.com/xuqiang/ ... -
hdfs小文件问题
2012-06-04 10:23 739http://www.cloudera.com/blog/20 ... -
hadoop tuning blog
2012-05-24 14:16 8707 Tips for Improving MapReduce ... -
hadoop作业调优参数整理及原理
2012-05-24 13:58 733转自:http://www.tbdata.org/archiv ... -
Kerberos authentication
2012-05-19 21:46 1390转自:http://www.sunchangming.com/ ... -
关于 hadoop slot的一篇转载
2012-05-17 17:12 877版权声明:转载时请以超链接形式标明文章原始出处和作者 ...
相关推荐
海量数据处理-Hadoop生态系统和成功案例
Apache Hadoop和Hadoop生态系统.pdf 学习资料 复习资料 教学资源
《Hadoop生态系统》
Hadoop生态圈介绍及入门
hadoop大数据生态,大数据分布式引擎数据分析,思维导图,知识点总结,快速掌握,包括hadoop spark hive elasticsearch kafka
Hadoop生态圈,讲解,带你深入了解Hadoop平台。
第1周 Hadoop生态系统以及版本演化
详细介绍了hadoop生态圈,包括 基础介绍 HDFS, HDFS 2 MapReduce, YARN 以下简要介绍 Pig Hive Hbase, HOYA Mahout 其它
hadoop生态圈组件搭建全过程,介绍如何安装一套大数据计算框架的过程。
简单介绍hadoop生态系统、spark、scala
本文综述了基于Hadoop生态系统的大数据解决方案,介绍了Hadoop生态系统的概念、优势和关键技术,并总结了其在各行业中的实际应用情况。 Hadoop生态系统是一个开源的大数据处理框架,包括HDFS和MapReduce等组件,...
Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YARN。
Hadoop生态环境部署手册_V1.0.doc
本人写的大数据平台搭建教程,包含基于hive的离线分析、基于storm的实时分析、包含solrcloud和hbase的搜索架构等基础组件的配置及整合
Hadoop生态系统基本介绍(60张幻灯片,包含大量图).pptx
主要描述Hadoop生态系统特点概述以及各个版本演化过程
本文是HADOOP生态系统的基础教程,介绍HADOOP主要组件如HIVE,HDFS,HBASE, ZOOKEEPER ,MAPREDUCE, PIG, MAHOUT的概念,特点,运行流程等。
最新Hadoop生态圈开发学习资料 Linux、Hadoop、HDFS、Zookeeper、Hive、Flume、Kafka、等等
这是一个Hadoop生态系统及其版本演化,对刚入门了解云计算与大数据的同学有很大的帮助,欢迎大家下载
在Ubuntu系统下安装Hadoop圈中的部分软件。 VMWare Ubuntu SSH JDK Hadoop MySQL Hive Hbase Mahout Sqoop Spark Flume Kafka ElasticSearch Redis Phoenix