Maven构建HDFS API及相关操作
一、安装Maven1、配置系统环境变量2、验证-在cmd输入mvn –v3、设置localRepository例如我的repo位置为:D:\software\Maven\repo,在config文件夹中找到settings.xml4、测试-输入mvn help:system执行完该命令后,在D:\software\Maven\repo下面会出现很多文件,这些文件就maven...
一、安装Maven
1、 配置系统环境变量
2、 验证-在cmd输入mvn –v
3、设置localRepository
例如我的repo位置为:D:\software\Maven\repo,在config文件夹中找到settings.xml
4、 测试-输入mvn help:system
执行完该命令后,在D:\software\Maven\repo下面会出现很多文件,这些文件就maven从中央仓库下载到本地仓库的文;只是为了进行一个测试,测试完之后可删除刚才下载的文件。
5、 在eclipse中关联Maven-window->preference->maven add maven的安装路径
6、 更改settings的位置
7、 用Maven创建一个标准化的Java项目
(1)采用命令行方式创建项目
(2)通过DOS进入刚才所构建的项目目录内部执行:(cd myHadoop),执行mvn clean install
8、 启动eclipse,导入刚才创建的项目
9、 修改项目下的pom.xml,增加Hadoop依赖
10、再次执行mvn clean install
11、doop集群中下载一下三个配置文件:core-site.xml hdfs-site.xml mapred-site.xml
12、修改hdfs-site.xml文件,在之间添加如下内容
13、修改配置本地host-在C:\Windows\System32\drivers\etc下
192.168.10.111 hadoop-ha(Hadoop的namenode节点地址)
14、添加系统环境变量HADOOP_USER_NAME,值为admin(登录hadoop的用户)
Core-site.xml中的fs.defaultFS值
15、修改系统登陆用户名为Hadoop的登录用户名:admin
16、启动Hadoop平台,用命令“jps”查看各主机进程信息
二、程序测试
1、第一个HDFS API-myHadoop,创建/user/input/test2并查看
2、单元测试的setUp和tearDown方法
3、Java API操作HDFS文件
(1)创建目录,并查看
(2)创建文件,并查看
(3)文件重命名,并查看
(4)上传文件到HDFS,并查看
(5)查看某个文件下的所有文件
(6)查看文件块信息
4、HDFS API的应用
(1)Sequence File写操作
(2) Sequence File读操作,及执行程序后运行结果
(3)MapFile写操作
(4) MapFile读操作
如有想法,欢迎评论!
更多推荐
所有评论(0)