建站
咨詢
售后
建站咨詢
新聞中心
Hadoop在整個(gè)大數(shù)據(jù)技術(shù)體系中占有至關(guān)重要的地位，是大數(shù)據(jù)技術(shù)的基礎(chǔ)和敲門磚，對(duì)Hadoop基礎(chǔ)知識(shí)的掌握程度會(huì)在一定程度決定在大數(shù)據(jù)技術(shù)的道路上能走多遠(yuǎn)。
公司主營業(yè)務(wù)：網(wǎng)站制作、成都網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)公司是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)公司推出桂陽免費(fèi)做網(wǎng)站回饋大家。
最近想要學(xué)習(xí)Spark，首先需要搭建Spark的環(huán)境，Spark的依賴環(huán)境比較多，需要Java JDK、Hadoop的支持。我們就分步驟依次介紹各個(gè)依賴的安裝和配置。新安裝了一個(gè)Linux ubuntu 18.04系統(tǒng)，想在此系統(tǒng)上進(jìn)行環(huán)境搭建，詳細(xì)記錄一下過程。
訪問Spark的官網(wǎng)，閱讀Spark的安裝過程，發(fā)現(xiàn)Spark需要使用到hadoop，Java JDK等，當(dāng)然官網(wǎng)也提供了Hadoop free的版本。本文還是從安裝Java JDK開始，逐步完成Spark的單機(jī)安裝。
1、Java JDK8的安裝
前往Oracle官網(wǎng)下載JDK8，選擇適合自己操作系統(tǒng)的版本，此處選擇Linux 64
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
下載之后的包放到某個(gè)目錄下，此處放在/opt/java目錄
使用命令：tar -zxvf jdk-8u231-linux-x64.tar.gz 解壓縮
修改配置文件/etc/profile，使用命令：sudo nano /etc/profile
在文件末尾增加以下內(nèi)容（具體路徑依據(jù)環(huán)境而定）：
export JAVA_HOME=/opt/java/jdk1.8.0_231
export JRE_HOME=/opt/java/jdk1.8.0_231/jre
export PATH=${JAVA_HOME}/bin:$PATH
保存退出，在終端界面使用命令： source /etc/profile 使配置文件生效。
使用java -version驗(yàn)證安裝是否成功，以下回顯表明安裝成功了。
2、安裝Hadoop
前往官網(wǎng)https://hadoop.apache.org/releases.html下載hadoop，此處選擇版本2.7.7
http://www.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz
hadoop需要ssh免密登陸等功能，因此先安裝ssh。
使用命令：
將下載的包放到某個(gè)目錄下，此處放在/opt/hadoop
使用命令：tar -zxvf hadoop-2.7.7.tar.gz 進(jìn)行解壓縮
此處選擇偽分布式的安裝方式（Pseudo-Distributed)
修改解壓后的目錄下的子目錄文件 etc/hadoop/hadoop-env.sh，將JAVA_HOME路徑修改為本機(jī)JAVA_HOME的路徑，如下圖：
配置Hadoop的環(huán)境變量
使用命令：
添加以下內(nèi)容：
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.7
修改PATH變量，添加hadoop的bin目錄進(jìn)去
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
修改解壓后的目錄下的子目錄文件 etc/hadoop/core-site.xml
如下圖：
修改解壓后的目錄下的子目錄文件 etc/hadoop/hdfs-site.xml
如下圖：
設(shè)置免密登陸
使用命令：ssh localhost 驗(yàn)證是否成功，如果不需要輸入密碼即可登陸說明成功了。
* Documentation: https://help.ubuntu.com
* Management: https://landscape.canonical.com
* Support: https://ubuntu.com/advantage
* Canonical Livepatch is available for installation.
- Reduce system reboots and improve kernel security. Activate at:
https://ubuntu.com/livepatch
188 個(gè)可升級(jí)軟件包。
0 個(gè)安全更新。
Your Hardware Enablement Stack (HWE) is supported until April 2023.
Last login: Sat Nov 30 23:25:35 2019 from 127.0.0.1
接下來需要驗(yàn)證Hadoop的安裝
a、格式化文件系統(tǒng)
b、啟動(dòng)Namenode和Datanode
c、瀏覽器訪問http://localhost:50070
3、Scala安裝：
下載地址：https://www.scala-lang.org/download/2.11.8.html
下載好后解壓到：/opt/scala
配置環(huán)境變量：
添加：
export SCALA_HOME=/opt/scala/scala-2.11.8
source /etc/profile
4、安裝spark
前往spark官網(wǎng)下載spark
https://spark.apache.org/downloads.html
此處選擇版本如下：
spark-2.4.4-bin-hadoop2.7
將spark放到某個(gè)目錄下，此處放在/opt/spark
使用命令：tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz 解壓縮即可
使用命令： ./bin/run-example SparkPi 10 測(cè)試spark的安裝
配置環(huán)境變量SPARK_HOME
export SPARK_HOME=/opt/spark/spark-2.4.4-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:$PATH
source /etc/profile
配置配置spark-env.sh
進(jìn)入到spark/conf/
sudo cp /opt/spark/spark-2.4.4-bin-hadoop2.7/conf/spark-env.sh.template /opt/spark/spark-2.4.4-bin-hadoop2.7/conf/spark-env.sh
export JAVA_HOME=/opt/java/jdk1.8.0_231
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.7
export HADOOP_CONF_DIR=/opt/hadoop/hadoop-2.7.7/etc/hadoop
export SPARK_HOME=/opt/spark/spark-2.4.4-bin-hadoop2.7
export SCALA_HOME=/opt/scala/scala-2.11.8
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=5G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native
Java，Hadoop等具體路徑根據(jù)自己實(shí)際環(huán)境設(shè)置。
啟動(dòng)bin目錄下的spark-shell
可以看到已經(jīng)進(jìn)入到scala環(huán)境，此時(shí)就可以編寫代碼啦。
spark-shell的web界面http://127.0.0.1:4040
暫時(shí)先這樣，如有什么疑問，請(qǐng)?jiān)谥鳈C(jī)寶貝下面的評(píng)論欄里提出。
本文題目：Ubuntu 18.04下搭建單機(jī)Hadoop和Spark集群環(huán)境
分享網(wǎng)址：http://www.5511xx.com/article/ccicsid.html
