欲善其事必先利其器，在深入學(xué)習(xí)大數(shù)據(jù)相關(guān)技術(shù)之前，先手動從0到1搭建一個屬于自己的本地Hadoop和Spark運行環(huán)境，對于繼續(xù)研究大數(shù)據(jù)生態(tài)圈各類技術(shù)具有重要意義。本文旨在站在研發(fā)的角度上通過手動實踐搭建運行環(huán)境，文中不拖泥帶水過多講述基礎(chǔ)知識，結(jié)合Hadoop和Spark最新版本，幫助大家跟著步驟一步步實踐環(huán)境搭建。
（1） 軟件包及使用工具版本介紹表：
（2）環(huán)境部署與分布介紹表：
（3）進程介紹：（1表示進程存在，0表示不存在）
2. 系統(tǒng)基礎(chǔ)環(huán)境準備
步驟1： 虛擬機中l(wèi)inux系統(tǒng)安裝（略）
VirtualBox中安裝centos7操作系統(tǒng)
步驟2： CentOS7基礎(chǔ)配置
（1） 配置主機的hostname
命令： vim/etc/hostname
（2） 配置hosts， 命令vim /etc/hosts
（3） 安裝JDK
命令：
rpm -qa | grep JAVA 查看是否有通過rpm方式安裝的java
java -version 查看當(dāng)前環(huán)境變量下的java 版本
1） filezilla上傳安裝包，tar -zxvf
jdk-8u212-linux-x64.tar.gz 解壓
2） bin目錄的完整路徑：
/usr/local/jdk/jdk1.8.0_212/bin
3） vim /etc/profile 配置jdk環(huán)境變量
（4） 復(fù)制主機：
1）利用VirtualBox復(fù)制功能復(fù)制兩臺主機
2）命令：vi
/etc/sysconfig.NETwork-scripts/ifcfg-eth0，設(shè)置相應(yīng)的網(wǎng)絡(luò)信息
3）三臺主機IP分別為： 192.168.0.20/21/22
（5） 配置三臺主機ssh無密碼登錄（略）
（6） 安裝zookeeper
1） filezilla上傳安裝包，zookeeper-3.4.10.tar.gz 解壓
2） bin目錄的完整路徑：
/usr/local/zookeeper/zookeeper-3.4.10/bin
3） vim /etc/profile 配置jdk環(huán)境變量
4） zookeeper的配置文件修改，zookeeper-3.4.10/conf/
5） 執(zhí)行命令從master節(jié)點復(fù)制配置到其他兩個節(jié)點
6） 每臺機器zookeeper目錄下新建一個data目錄， data目錄下新建一個myid文件，master主機存放標識值1；slave1主機標識值為2；slave3主機標識值為3
7） 每臺機器上命令：zkServer.sh start ，啟動ZK，進程名：QuorumPeerMain
3. Hadoop安裝與部署 3.1安裝Hadoop
1）filezilla上傳安裝包，hadoop-3.3.4.tar.gz 解壓
2）bin目錄的完整路徑： /usr/local/hadoop/hadoop-3.3.4/bin
3）vim /etc/profile 配置jdk環(huán)境變量
4） 修改配置文件共6個： hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和workers
文件1： hadoop-env.sh； 增加jdk環(huán)境變量
文件2： core-site.xml； 配置臨時目錄及zookeeper信息
文件3： hdfs-site.xml； 配置hdfs信息
文件4： mapred-site.xml； 配置mapreduce和dfs權(quán)限信息
文件5： yarn-site.xml； 配置yarn資源調(diào)度信息
文件6: worker文件存放當(dāng)前的worker節(jié)點名，復(fù)制到每一個虛擬機中
3.2啟動Hadoop
1） 使用命令： hadoop-daemon.sh start journalnode 啟動journalnode 進程（每個節(jié)點執(zhí)行）
2） 使用命令： hadoop-daemon.sh start namenode 啟動namenode 進程（master、slave1節(jié)點上執(zhí)行）
3） 使用命令：hadoop-daemon.sh start datanode 在所有節(jié)點上啟動datanode 進程
4） 使用命令：start-yarn.sh 在master上啟動yarn
5） 使用命令： hdfs zkfc -formatZK 在ZK上生成ha節(jié)點
6） 使用命令： hadoop-daemon.sh start zkfc 啟動 DFSZKFailoverController進程，在master節(jié)點執(zhí)行
a. 訪問HDFS的管理頁面
http://192.168.0.20:50070 此處192.168.0.20為namenode節(jié)點的Active節(jié)點
http://192.168.0.21:50070 此處192.168.0.20為namenode節(jié)點的standby節(jié)點
3.3 驗證HDFS使用
使用命令：hdfs dfs -ls / 查看HDFS中文件
使用命令：hdfs dfs -mkdir /input 在HDFS上創(chuàng)建目錄
使用命令：hdfs dfs -put ./test.txt /input 將本地文件上傳到HDFS指定目錄
使用命令：hdfs dfs -get /input/test.txt ./tmp 將HDFS文件復(fù)制到本地目錄
使用命令：hdfs dfs -text /input/test.txt 查看HDFS上的文本文件
web端瀏覽HDFS目錄
3.4 驗證MapReduce的wordcount案例
（1）先通過命令將帶有文本內(nèi)容的test2.txt文件上傳到HDFS
（2）對HDFS上test2.txt文件執(zhí)行wordcount統(tǒng)計，結(jié)果放回HDFS新目錄，命令：
hadoop jar /usr/local/hadoop/hadoop-3.3.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input/test2.txt /out
4. Spark安裝與部署 3.1安裝Scala
（1）安裝scala
上傳scala壓縮包解壓，使用命令：
scala -version 查看當(dāng)前環(huán)境變量下的scala 版本
（2）拷貝scala目錄和環(huán)境變量到其他兩臺機器
使用命令：
scp -r /usr/local/scala root@slave1:/usr/local/
scp /etc/profile root@slave1:/etc/profile
3.2安裝Spark
（1）上傳spark壓縮包解壓，修改配置文件
命令： vim
/usr/local/spark/spark-3.3.1/conf/spark-env.sh
（2） 新建worker目錄，寫入master機器名稱
3.3啟動Spark（1）在master的spark安裝目錄下啟動spark
命令：
cd /usr/local/spark/spark-3.3.1/sbin
./start-all.sh
（2）在slave1同樣目錄啟動master進程
命令：./start-master.sh
（3）訪問spark管理頁面ui
3.3 驗證Spark的wordcount案例
（1）執(zhí)行命令：
cd /usr/local/spark/spark-3.3.1/bin
./spark-shell --master spark://master:7077
（3）從HDFS讀取數(shù)據(jù)執(zhí)行自定義wordcount代碼，結(jié)果寫入HDFS，命令：
sc.textFile("hdfs://master:9000/input/test2.txt").flatMap(_.split(" ")).map(word=>(word,1)).reduceByKey(_+_).map(pair=>(pair._2,pair._1)).sortByKey(false).map(pair=>(pair._2,pair._1)).saveAsTextFile("hdfs://master:9000/spark_out")
（4）輸出結(jié)果：
5. 后記
大數(shù)據(jù)技術(shù)日新月異，得益于互聯(lián)網(wǎng)技術(shù)加持下的商業(yè)和工業(yè)模式變革。人們?nèi)找嬖鲩L的對生活生產(chǎn)便捷性、數(shù)字化、智能化的需求，催生了數(shù)據(jù)爆炸式的增長，推動了大數(shù)據(jù)技術(shù)推陳出新。作為新時代的程序開發(fā)者，必須掌握一定的大數(shù)據(jù)基礎(chǔ)知識才能適應(yīng)時代的要求，本文只是一個引子，從自身實踐的角度幫助初學(xué)者認識大數(shù)據(jù)，并基于此搭建自己屬于自己的開發(fā)環(huán)境，希望大家能夠在此基礎(chǔ)上繼續(xù)鉆研有所建樹。
作者：京東物流 秦彪
