Maven构建HDFS API及相关操作
一、安装Maven
1、 配置系统环境变量


2、 验证-在cmd输入mvn –v

3、设置localRepository
例如我的repo位置为:D:\software\Maven\repo,在config文件夹中找到settings.xml

4、 测试-输入mvn help:system
执行完该命令后,在D:\software\Maven\repo下面会出现很多文件,这些文件就maven从中央仓库下载到本地仓库的文;只是为了进行一个测试,测试完之后可删除刚才下载的文件。

5、 在eclipse中关联Maven-window->preference->maven add maven的安装路径

6、 更改settings的位置

7、 用Maven创建一个标准化的Java项目
(1)采用命令行方式创建项目

(2)通过DOS进入刚才所构建的项目目录内部执行:(cd myHadoop),执行mvn clean install

8、 启动eclipse,导入刚才创建的项目

9、 修改项目下的pom.xml,增加Hadoop依赖



10、再次执行mvn clean install

11、doop集群中下载一下三个配置文件:core-site.xml hdfs-site.xml mapred-site.xml

12、修改hdfs-site.xml文件,在之间添加如下内容

13、修改配置本地host-在C:\Windows\System32\drivers\etc下
192.168.10.111 hadoop-ha(Hadoop的namenode节点地址)

14、添加系统环境变量HADOOP_USER_NAME,值为admin(登录hadoop的用户)

Core-site.xml中的fs.defaultFS值

15、修改系统登陆用户名为Hadoop的登录用户名:admin

16、启动Hadoop平台,用命令“jps”查看各主机进程信息


二、程序测试
1、第一个HDFS API-myHadoop,创建/user/input/test2并查看


2、单元测试的setUp和tearDown方法

3、Java API操作HDFS文件
(1)创建目录,并查看


(2)创建文件,并查看


(3)文件重命名,并查看


(4)上传文件到HDFS,并查看


(5)查看某个文件下的所有文件

(6)查看文件块信息

4、HDFS API的应用
(1)Sequence File写操作

(2) Sequence File读操作,及执行程序后运行结果


(3)MapFile写操作

(4) MapFile读操作

如有想法,欢迎评论!
更多推荐



所有评论(0)