一、安装Maven

1、 配置系统环境变量
在这里插入图片描述在这里插入图片描述
2、 验证-在cmd输入mvn –v
在这里插入图片描述
3、设置localRepository
例如我的repo位置为:D:\software\Maven\repo,在config文件夹中找到settings.xml
在这里插入图片描述
4、 测试-输入mvn help:system
执行完该命令后,在D:\software\Maven\repo下面会出现很多文件,这些文件就maven从中央仓库下载到本地仓库的文;只是为了进行一个测试,测试完之后可删除刚才下载的文件。
在这里插入图片描述
5、 在eclipse中关联Maven-window->preference->maven add maven的安装路径
在这里插入图片描述
6、 更改settings的位置
在这里插入图片描述
7、 用Maven创建一个标准化的Java项目
(1)采用命令行方式创建项目
在这里插入图片描述
(2)通过DOS进入刚才所构建的项目目录内部执行:(cd myHadoop),执行mvn clean install
在这里插入图片描述
8、 启动eclipse,导入刚才创建的项目
在这里插入图片描述
9、 修改项目下的pom.xml,增加Hadoop依赖
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
10、再次执行mvn clean install
在这里插入图片描述
11、doop集群中下载一下三个配置文件:core-site.xml hdfs-site.xml mapred-site.xml
在这里插入图片描述
12、修改hdfs-site.xml文件,在之间添加如下内容
在这里插入图片描述
13、修改配置本地host-在C:\Windows\System32\drivers\etc下
192.168.10.111 hadoop-ha(Hadoop的namenode节点地址)
在这里插入图片描述
14、添加系统环境变量HADOOP_USER_NAME,值为admin(登录hadoop的用户)
在这里插入图片描述
Core-site.xml中的fs.defaultFS值
在这里插入图片描述
15、修改系统登陆用户名为Hadoop的登录用户名:admin
在这里插入图片描述
16、启动Hadoop平台,用命令“jps”查看各主机进程信息
在这里插入图片描述
在这里插入图片描述
二、程序测试
1、第一个HDFS API-myHadoop,创建/user/input/test2并查看
在这里插入图片描述
在这里插入图片描述
2、单元测试的setUp和tearDown方法
在这里插入图片描述
3、Java API操作HDFS文件
(1)创建目录,并查看
在这里插入图片描述
在这里插入图片描述
(2)创建文件,并查看
在这里插入图片描述
在这里插入图片描述
(3)文件重命名,并查看
在这里插入图片描述
在这里插入图片描述
(4)上传文件到HDFS,并查看
在这里插入图片描述
在这里插入图片描述
(5)查看某个文件下的所有文件
在这里插入图片描述
(6)查看文件块信息
在这里插入图片描述
4、HDFS API的应用
(1)Sequence File写操作
在这里插入图片描述
(2) Sequence File读操作,及执行程序后运行结果
在这里插入图片描述
在这里插入图片描述
(3)MapFile写操作
在这里插入图片描述
(4) MapFile读操作
在这里插入图片描述
如有想法,欢迎评论!

Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐