安裝環(huán)境：
JDK 1.8
Windows10
Hadoop3.1.2
需要注意的是jdk版本不要過高，否則可能會(huì)帶來問題
一、安裝Hadoop步驟
- 官網(wǎng)下載Hadoop3.1.2 ：下載地址
- 解壓到自定義的文件夾，我這里選擇我的路徑
F:\Environment\hadoop-3.1.2\hadoop
- 配置環(huán)境變量
JAVA_HOME : F:\Environment\java\jdk1.8.0_181
HADOOP_HOME ： F:\Environment\hadoop-3.1.2\hadoop
path添加 ：
%JAVA_HOME%\bin
%JAVA_HOME%\jre\bin
%HADOOP_HOME%\bin
- 檢測(cè)是否安裝成功
java -version
hadoop - version
出現(xiàn)以上信息說明安裝成功 ！
二、修改配置文件
1、需要修改的文件在解壓后的目錄下，F(xiàn):\Environment\hadoop-3.1.2\hadoop\etc\hadoop
hadoop-env.cmd
用Notepad++ 打開hadoop-env.cmd文件 找到**set JAVA_HOME=%JAVA_HOME%**一行，將其值修改為jdk所在目錄 如果目錄帶有空格，可以通過下面兩種方式處理： 這里以安裝目錄為C:\Program Files\Java\jdk1.8.0_181為例 因?yàn)镻rogram Files中存在空格，若是直接使用會(huì)出現(xiàn)錯(cuò)誤，可以下面兩種方式之一進(jìn)行處理： 只需要用PROGRA~1 代替Program Files，即改為C:\PROGRA~1\Java\jdk1.8.0_18 或是使用雙引號(hào)改為 “C:\Program Files”\Java\jdk1.8.0_181 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hahoop.mapred.ShuffleHandler</value>
</property>
</configuration>
hdfs-site.xml
需要再hadoop解壓的根目錄下創(chuàng)建一個(gè)data文件夾，并在data下創(chuàng)建namenode和datanode兩個(gè)子文件夾；
然后添加配置文件 ：
<configuration>
<!-- 這個(gè)參數(shù)設(shè)置為1，因?yàn)槭菃螜C(jī)版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/F:/Environment/hadoop-3.1.2/hadoop/data/namenode</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/F:/Environment/hadoop-3.1.2/hadoop/data/snn</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>/F:/Environment/hadoop-3.1.2/hadoop/data/snn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/F:/Environment/hadoop-3.1.2/hadoop/data/datanode</value>
</property>
</configuration>
配置文件修改完畢 ！
三、替換bin文件
下載的Hadoop不支持Windows系統(tǒng)，需要替換bin目錄下的文件方便在Windows上運(yùn)行。這也是掉坑來的地方了?。。?！
在網(wǎng)上下載到的hadooponwindows-master.zip 以及winutils中應(yīng)該是只適合hadoop 3.0.0及其以下，嘗試過hadooponwindows-master.zip以及winutils中最高的版本3.0.0，啟動(dòng)hadoop都會(huì)出現(xiàn)下面的錯(cuò)誤：Error starting NodeManager、UnsatisfiedError
折騰了好久（低版本的hadoop還沒下載完畢），終于找到3.1.0版本winutils,下載后直接替換掉hadoop目錄下bin文件即可：
復(fù)制yarn的jar包
可以看到resourcemanager.ResourceManager: Error starting ResourceManager啟動(dòng)失敗的日志
報(bào)了類TimelineCollectorManager找不到的錯(cuò)誤。
解決方法:
F:\Environment\hadoop-3.1.2\hadoop\share\hadoop\yarn\timelineservice
將這個(gè)文件夾下的hadoop-yarn-server-timelineservice-3.1.2.jar 包
復(fù)制到這個(gè)路徑下 F:\Environment\hadoop-3.1.2\hadoop\share\hadoop\yarn 即可解決。
四、格式化HDFS文件系統(tǒng)
hdfs namenode -format
如果這一步?jīng)]有什么異?；緵]有問題了。
啟動(dòng)
進(jìn)入hadoop的sbin目錄 我這里在 ： F:\Environment\hadoop-3.1.2\hadoop\sbin # 啟動(dòng) # 會(huì)自動(dòng)開啟四個(gè)新的命令行窗口，窗口沒打印異常即啟動(dòng)成功 start-all # 停止 stop-all # 查看正在運(yùn)行的實(shí)例進(jìn)程及端口 jps
這四個(gè)窗口不能關(guān)閉 ， 否則進(jìn)程會(huì)結(jié)束
五、訪問管理GUI
啟動(dòng)成功后，可以訪問GUI頁(yè)面
最后我們停止一下所有進(jìn)程
寫在最后：
運(yùn)行結(jié)束后你會(huì)發(fā)現(xiàn)hadoop安裝的磁盤根目錄下多了一個(gè)tmp臨時(shí)文件目錄
里面有一些 Hadoop的緩存文件 ，不需要的話可以清理一下的。
以上就是這次Winwin7小編關(guān)于在Win10系統(tǒng)下安裝Hadoop詳細(xì)部分分享了，希望大家能喜歡哦。