当前访客身份:游客 [ 登录  | 注册加入尚学堂]
直播

openstack爱好者

拥有积分:3
这家伙太懒,还没有签名!

博客分类

笔记中心

课题中心

提问中心

答题中心

解答题中心

Hadoop学习笔记(2) ——解读Hello World

openstack爱好者 发表于 2年前 (2015-01-13 22:53:40)  |  评论(0)  |  阅读次数(697)| 1 人收藏此文章,   我要收藏   

Hadoop学习笔记(2)

——解读Hello World

上一章中,我们把hadoop下载、安装、运行起来,最后还执行了一个Hello world程序,看到了结果。现在我们就来解读一下这个Hello Word。

 

OK,我们先来看一下当时在命令行里输入的内容:

  1. $mkdir input
  2. $cd input
  3. $echo "hello world">test1.txt
  4. $echo "hello hadoop">test2.txt
  5. $cd ..
  6. $bin/hadoop dfs -put input in
  7. $bin/hadoop jar build/hadoop-0.20.2-examples.jar wordcount in out
  8. $bin/hadoop dfs -cat out/*

     

第1行,容易理解,我们在hadoop文件夹下建了一个input子文件夹;

第2行,进入input文件夹;

第3行,echo是指回显示,可以理解为print, 大于符(>)为重定向,正常echo是显示在屏幕上,而用了重定向后,即内容显示在了text1.txt文件里。那这句话意思是,创建一个test1.txt文件,其内容是"hello world"。 第4行类同;

第5行,回上一级目录

第6行,这里运行了一个hadoop命令, 参数为 dfs –put input in 意思是将input文件夹上传到hadoop文件系统中,并存于目录in中。

第7行,同样是hadoop命令,参数 jar XXX.jar wordcount in out 是指运行jar程序中wordcount类的程序,并传入参数 in out。 in 为输入目录 out 为输出结果目录,两个目录皆为hadoop文件系统中的目录,而并不是当前操作系统目录了。在第7行后,会看到屏幕在刷,是在计算。

第8行,cat是linux常用的命令,是将指定文件中的文本内容输出。 所以这里 cat out/* 是指把out文件夹下所有文件的文本内容输出,同时注意这里是dfs即是在hadoop文件系统中,且这个out正是第7步程序中输出的目录。所以输入该命令后,我们看到了下面的结果:

 

这个简单的程序目的是什么,其实比较容易看出来了,就是统计每个文件中的单词出现的数量,并将结果合并后显示出来。

可能有人就想,有什么啊,这程序我们C#、java几行代码也就实现了,有什么特别的?的确,初看过程就是。但我们深入来看一下。Hadoop的框架最核心的设计就是:HDFS和MapReduce。

HDFS就是分布式数据存储,这就不一样了,也就是说我的这里需要统计的文件很多的话,可能就不存在一台机器上了,而且存在不同机器上,不需要我们人为控制,而是交给Hadoop自动完成,而我们,只需要统一的接口(bin/Hadoop dfs)来访问:

MapReduce当然就是负责计算咯,回头一想,的确这程序不简单,统计一个文件单词出现的频率容易,但时如果这些文件是分布在不同机器上,然后又需要将结果能很方便的合并起来,那就不是简单几行代码就能搞定的了。所以MapReduce就是来负责这一块的。

 

看到这里,我们就理解了上面的hello world,但是马上会想,这个hadoop有哪些应用场景呢?或为什么它这现在这么牛,这么流行?

现在是一个大数据时代,首先是一个存储问题,hadoop提供了一个很好的分布式文件系统,方便我们存大量数据,同时提供了统一接口。

其次,拥有了大数据,不代表能产生价值,在产生价值,就必须利用这些数据进行计算(查询、分析等),但时传统的计算就是在一台或多台机器上部署程序,然后把数据获通过接口抓取到程序里进行分析,这称之为移动数据。而hadoop不是,而是把程序自动分发到各hadoop结点上进行计算,然后通过一定机制把结果进行汇总最后返回出来,这称之为移动计算。显然,移动计算要比移动数据成本要低得多

应用场景之一:就是搜索引擎,现在互联网数据海量,如何存储并搜索成为难点,那hadoop的两大核心框架就正符合这用处,用网络爬虫取来的海量网页数据存于分布式库,然后当去搜索时,通过各子结点并发搜索,将数据返回合并后展示。 而hadoop的产生,也就是在google在2003年到2004年公布了关于GFS、MapReduce和BigTable三篇技术论文,即google的三驾马车。Hadoop的HDFS对就google的GFS,MapReduce对就google的MapReduce,Hadoop的HBase对应google的BigTable。 (注:HBase是其于hadoop开发的类似数据操作的软件)。

应用场景之二:生物医疗,大量DNA数据存储,同时要进行比对工作,用Hadoop再合式不过了。

当然还有N多其他应用场景……

 

到现在hadoop的核心价值总算摸清了,一是分布式存储,二是移动计算。

为了支撑这些功能,肯定会用到不少的进程,现在我们就来了解下这些进程以及相应的命令。

我们知道,运行$bin/start-all.sh来启动整个hadoop。然后运行$bin/jps可以看到所有运行的进程:

这些进程现在是安装在同一台机器上的,而实际分布式部署时,如下图:

 

NameNode:是HDFS的守护进程,负责记录文件是如何分割成数据块以及分配存储到哪个DataNode节点上,对内存及I/O进行集中管理。一个系统中只会有一个NameNode。

DataNode:数据结点,负责将数据包读写到硬盘上。当客户端需要数据通讯时,先问NameNode获取存放到哪个DataNode,然后,客户端直接与DataNode进行通讯。

SecondaryNameNode:用来监控HDFS状态的辅助进程。与NameNode不同的时,它不接收或记录任何实时的数据变化,只与NameNode进行通信,以便定期地保存HDFS元数据的快照。由于NameNode是单点的,通过SecondaryNameNode的快照功能,可以将NameNode的宕机时间和数据损失降低到最小。同时NameNode发生问题时,Secondary NameNode可以及时地作为备用NameNode使用。

JobTracker:应用程序与Hadooop之间的纽带,代码提交到集群上,JobTracker将会确定执行计划,包括决定处理哪些文件,为不同的任务分配节点以及监察所有任务的运行,如果任务失败,JobTracker将会自动重启,但分配的节点可能会不同。

TaskTracker:负责执行由JobTracker分配的单项任务,虽然单个结点上只有一个TaskTracker,但可以利用多个JVM(Java虚拟机)并行处理多个Map或reduce任务。

 

了解了进程后,我们再来了解下有哪些文件操作命令,

bin/hadoop是一个批处理sh文件(与bat类似),运行时需要输入子命令。子命令列表如下:

这里比较清楚了,各个子命令的描述,但这里有下fs,是我们常用的,同里里面会还有N多子命令,比如bin/hadoop fs -ls 列出文件内容。

其它fs参数清单如下:

命令

说明

[-ls <path>]

列出文件夹下的内容

[-lsr <path>]

递归列出文件夹下的内容

[-du <path>]

显示文件点用空间

[-mv <src> <dst>]

移动文件

[-cp <src> <dst>]

复制文件

[-rm [-skipTrash] <path>]

删除文件

[-rmr [-skipTrash] <path>]

删除文件夹

[-put <localsrc> ... <dst>]

将本地文件上传到服务器上

[-copyFromLocal <localsrc> ... <dst>]

将服务器文件下载到本地

[-moveFromLocal <localsrc> ... <dst>]

将服务器文件移至到本地

[-get [-ignoreCrc] [-crc] <src> <localdst>]

将服务器文件下载到本地

[-getmerge <src> <localdst> [addnl]]

将服务器文件夹内文件合并后下载到本地

[-cat <src>]

显示文件的文本内容

[-text <src>]

显示文件文本内容

[-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]

复制文件()到本地

[-moveToLocal [-crc] <src> <localdst>]

移动文件()到本地

[-mkdir <path>]

创建文件夹

[-setrep [-R] [-w] <rep> <path/file>]

设置文件的复制数量

[-touchz <path>]

写一个时间戳放在文件同级目录

[-test -[ezd] <path>]

测试文件是否存在

[-stat [format] <path>]

返回文件状态

[-tail [-f] <file>]

显示文件最后1KB的内容

[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]

修改文件(夹)属性

[-chown [-R] [OWNER][:[GROUP]] PATH...]

修改文件owner属性

[-chgrp [-R] GROUP PATH...]

修改文件(夹)属性

[-help [cmd]]

显示帮助

 

 

分享到:0
关注微信,跟着我们扩展技术视野。每天推送IT新技术文章,每周聚焦一门新技术。微信二维码如下:
微信公众账号:尚学堂(微信号:bjsxt-java)
声明:博客文章版权属于原创作者,受法律保护。如果侵犯了您的权利,请联系管理员,我们将及时删除!
(邮箱:webmaster#sxt.cn(#换为@))
北京总部地址:北京市海淀区西三旗桥东建材城西路85号神州科技园B座三层尚学堂 咨询电话:400-009-1906 010-56233821
Copyright 2007-2015 北京尚学堂科技有限公司 京ICP备13018289号-1 京公网安备11010802015183