一、环境 | Java 知识体系

# 一、环境

服务器：CentOS 7
Hadoop版本：2.7.7
cli端：Windows 10
开发工具：intellij IDEA

# 二、连接前提

已成功创建Hadoop集群，即能正常访问hdfs和mapreduce的web界面（本人是在虚拟机建的集群）
创建Maven项目并新建java class WordCount（此处以单词统计为例子）

# 三、Window环境准备

下载hadoop压缩包并解压到Window下（版本为集群所用的hadoop版本）
- 下载地址 (opens new window)
下载winutils-master（Windows环境需要），解压后将其中对应版本的bin目录下的文件复制到第一步解压的hadoop文件的bin目录下（覆盖原有的）
- 下载地址 (opens new window)
将winutils-master中的hadoop.dll文件复制到Windows的C:\Windows\System32目录下
- 参考 (opens new window)
配置Window环境变量
- 在系统环境变量中加入：HADOOP_HOME=D:\yangjm\Code\study\hadoop\hadoop-2.6.0
- 在Path中加入：%HADOOP_HOME%\bin

# 四、IDEA相关准备

pom.xml中加入相关依赖

   <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.7</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.7</version>
        </dependency>
    </dependencies>

1
2
3
4
5
6
7
8
9
10
11
12

将搭建好的hadoop集群的配置文件log4j.properties和core-site.xml复制后粘贴到IDEA创建的Java项目的resource文件夹下
为项目导入本地hadoop的相关jar包（下面图片来自腾讯云社区）
- 打开Moudle设置
- 导入hadoop相关jar包（在hadoop的\share\hadoop\common目录下）
- 给导入的lib取个名字，如hadoop等
设置运行参数：
- 以空格隔开，第一个为hdfs中需要处理的文件，第二个为处理结果保存在hdfs的路径（hdfs地址在core-site.xml中）
以上配置完后基本可以正常运行

# 四、疑难杂症

运行时出现权限问题
- 解决：在JAVA代码中修改为有高级权限的用户
- 参考 (opens new window)

# 五、参考

← vuepress + github搭建个人博客 IDEA高效开发 →