当前访客身份:游客 [ 登录  | 注册加入尚学堂]
直播

openstack爱好者

拥有积分:3
这家伙太懒,还没有签名!

博客分类

笔记中心

课题中心

提问中心

答题中心

解答题中心

Hadoop学习笔记(5) ——编写HelloWorld(2)

openstack爱好者 发表于 2年前 (2015-01-13 22:59:52)  |  评论(0)  |  阅读次数(666)| 1 人收藏此文章,   我要收藏   

Hadoop学习笔记(5)

——编写HelloWorld(2)

前面我们写了一个Hadoop程序,并让它跑起来了。但想想不对啊,Hadoop不是有两块功能么,DFS和MapReduce。没错,上一节我们写了一个MapReduce的HelloWorld程序,那这一节,我们就也学一学DFS程序的编写。

DFS是什么,之前已经了解过,它是一个分布式文件存储系统。不管是远程或本地的文件系统,其实从接口上讲,应该是一至的,不然很难处理。同时在第2节的最后,我们列出了很多一些DFS的操作命令,仔细看一下,这些命令其实跟linux中的文件操作命令很相似,所以说,对于分布式文件系统,我们完全可以用本地文件的方式来理解。

那理一下,一般常用操作有哪些? 当然我们可以从编程角度来:

创建、读、写一个文件,列出文件夹中的文件及文件夹列表,删除文件夹,删除目录,移动文件或文件夹,重命名文件或文件夹。

同样,这里我们就依葫芦画瓢跑起个程序来:

 

启动eclipse,新建Hadoop项目,名称MyDFSTest,新建类DFSTest,点击确定,然后同样工程属性Configure BuildPath中把 build/ivy/lib/Hadoop下的所有jar包都引用进来。「这里就不详细截图了,可以参考前一节中的内容」

在类中,添加main函数:

public static void main(String[] args) {

 

}

也可以在添加类时,勾选上创建main,则会自动添加上。

在Main函数中添加以下内容:

try {

Configuration conf = new Configuration();

conf.set("fs.default.name", "hdfs://localhost:9000");

 

FileSystem hdfs = FileSystem.get(conf);

Path path = new Path("in/test3.txt");

FSDataOutputStream outputStream = hdfs.create(path);

 

byte[] buffer = " 你好Hello".getBytes();

outputStream.write(buffer, 0, buffer.length);

outputStream.flush();

outputStream.close();

 

System.out.println("Create OK");

} catch (IOException e) {

e.printStackTrace();

}

直接添加进来会报错,然后需要添加一些引用才行:

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

 

在没有错误后,点击工具条上的运行, 但这次跟前次不一样,选择Run as Java Application。然后,就可以在输出框中看到Create OK的字样了,表明程序运行成功。

这段代码的意思是在in文件夹下,创建test3.txt,里面的内容是"你好Hello"。 在运行完后,我们可以到eclipse的Project Explorer中查看是否有这文件以及内容。同样也可以用命令行查看$bin/hadoop fs -ls in。

 

好了,第一个操作DFS的程序跑起来了,那其它功能只要套上相应的处理类就可以了。

为了方便查找操作,我们列举了张表:

操作说明

操作本地文件

操作DFS文件

主要命名空间

 

 

java.io.File

java.io.FileInputStream

java.io.FileOutputStream

org.apache.hadoop.conf.Configuration

org.apache.hadoop.fs.FileSystem

org.apache.hadoop.fs.Path

org.apache.hadoop.fs.FSDataInputStream;

org.apache.hadoop.fs.FSDataOutputStream

初使化对象

new File(路径);

Configuration

FileSystem hdfs

创建文件

File.createNewFile();

FSDataOutputStream = hdfs.create(path)

FSDataOutputStream.write(

buffer, 0, buffer.length);

创建文件夹

File.mkdir()

hdfs.mkdirs(Path);

读文件

new FileInputStream();

FileInputStream.read(buffer)

FSDataInputStream = hdfs.open(path);

FSDataInputStream.read(buffer);

写文件

FileOutputStream.write(

buffer, 0, buffer.length);

FSDataOutputStream = hdfs.append(path)

FSDataOutputStream.write(

buffer, 0, buffer.length);

删除文件()

File.delete()

FileSystem.delete(Path)

列出文件夹内容

File.list();

FileSystem.listStatus()

重命令文件()

File.renameTo(File)

FileSystem.rename(Path, Path)        

有了这张表,以后不怕了,代码搬搬即可。

 

接下来换个话题。

本人主要从事.net开发的,所以对于java上,还是有点生。所以接下来半章中,简要的把JAVA的学习列一列。

JAVA和.net现在从语言角度看,的确有很多相似之处。但也有不同之处,这就是我们要学的。

在.Net中,主要有dll和exe, dll为类库, exe为可执行程序,在exe中有唯一的main函数,作为函数入口。dll 类库是无法执行的,exe可以双击运行,也可以命令行执行。编译后,.net会把所有定义的类编译进exe或dll中,一个工程产出文件就是一个。

在JAVA中,jar对应的类库,可以被别人调用。exe就不存在了。一个工程编译后,产出物是一堆的.class文件,在开发中每一个定义的类,都会被编译成这个.class文件。而且一个.java文件中,不能定义多个顶级类(嵌套类是可以的),且文件名与类名必须相同,文件所以的目录必须和命名空间相同。所以编译后,可以讲一个.java文件将会编译成一个.class文件,且有与原先的目录相同。

也就是说,java有点像散装的一样,产物就是一堆的.class文件。 那jar文件呢,简单的说,就是一个zip包,把一堆的.class文件打包成一个压缩包。

同时,一个工程中,支持多个main函数,即多个入口。

 

说了一堆,还不如实践一下:

在eclipse中,创建一个JAVA project 取名为JAVAStudy。

然后创建两个类,没有目录的,ch1 ch2 再创建一个包叫pkg1,在这个包下创建一个类ch3:

然后,每个类下都建一个main函数,内容打印类名:

    public static void main(String[] args) {

System.out.println(ch1.class.getName());

}

注意,复制到ch2 ch3中后要改一下里面的类名。

 

然后每当你切换到一个新的类代码中,点击运行,都会提示Run As ,都选Java Application。 然后就可以看到结果了,每个类都可以作为入口执行。

OK,程序好了,如何发布呢,或如何从命令行运行呢?

我们进入目录先看一下:

进入工程目录,可以看到有src和bin,进入bin,就可以看到一个个的class文件了,的确跟前面描述一样,目录与代码相同结构。

输入java ch1 就可以看到结果了。执行ch3时,注意中间不是斜线,而是点,因为这里输入的是命名空间+类名,而不是class文件的路径。

如果不在这个目录执行,看到会报错,或命名空间输错了,也是这个错。

 

如果我就在这里想执行呢? 可以这样:

利用classpath指定class的路径。

 

如何打成jar包:

进入bin目录:

$cd bin

$jar cvf test.jar ch1.class ch2.class pkg1/.class

然后在bin目录下就可以看到test.jar文件了。

 

如何执行jar呢,为了防止与里面的class文件冲突,我们将test.jar复制到外面来:

$cp test.jar ../

$cd ..

再执行:

$java –classpath test.jar ch1

同样,输入classpath就可以搞定了的。

 

了解了这些后,我们又可以做个试验证了。 第一章中我们运行hadoop中Helloword时,是调用了example的jar包。所以这里我们可以把上一章的程序也来打个jar包,试下是否能运行:

$cd ~/workspace/MyHelloWorld      //进入HelloWorld代码目录

$cd bin

$jar cvf test.jar *.class     //打上jar包

$cp test.jar ../../hadoop-0.20.2    //将jar包复制到hadoop目录下

$cd ../../hadoop-0.20.2

$bin/start-all.sh             //启动hadoop

$bin/hadoop test.jar WordCount in out //运行我们写的程序

然后就可以看到与之前一样的结果了。

 

分享到:0
关注微信,跟着我们扩展技术视野。每天推送IT新技术文章,每周聚焦一门新技术。微信二维码如下:
微信公众账号:尚学堂(微信号:bjsxt-java)
声明:博客文章版权属于原创作者,受法律保护。如果侵犯了您的权利,请联系管理员,我们将及时删除!
(邮箱:webmaster#sxt.cn(#换为@))
北京总部地址:北京市海淀区西三旗桥东建材城西路85号神州科技园B座三层尚学堂 咨询电话:400-009-1906 010-56233821
Copyright 2007-2015 北京尚学堂科技有限公司 京ICP备13018289号-1 京公网安备11010802015183