windows下通过IDE发布job到Hadoop Linux集群
环境IDE IntelliJ IDEA 2017.2.2 x64本地OS Windows10Hadoop 2.8.1集群OS 多台CentOS 6.5jdk1.8项目构建 Maven步骤相对于本地独立运行需要对org.apache.hadoop.conf.Configuration对象通过set以键值对方式添加以下配置项# 以下4条配置皆可于%HADOOP_HOME%/etc/had
·
环境
- IDE IntelliJ IDEA 2017.2.2 x64
- 本地OS Windows10
- Hadoop 2.8.1
- 集群OS 多台CentOS 6.5
- jdk1.8
- 项目构建 Maven
步骤
相对于本地独立运行需要对org.apache.hadoop.conf.Configuration对象通过set以键值对方式添加以下配置项
# 以下4条配置皆可于%HADOOP_HOME%/etc/hadoop/目录下的core-site.xml、mapred-site.xml、yarn-site.xml获得
yarn.resourcemanager.hostname=192.168.0.100
mapreduce.framework.name=yarn
dfs.replication=2
fs.default.name=hdfs://192.168.0.100:9000
# 必须加入此条配置,定义maven打包后jar包的路径,jar将被传送到集群供其调用map及reduce
mapred.jar=H:\\project\\ideaProject\\hadoop-demo\\target\\hadoop-demo-1.0-SNAPSHOT.jar
# 以下两条配置保证了windows->linux的兼容性问题解决
mapred.remote.os=Linux
mapreduce.app-submission.cross-platform=true
接下来运行成功通过yarn发布,并可在yarn_host:8088地址查看相应的job处理记录
更多推荐
已为社区贡献1条内容
所有评论(0)