建站
咨詢
售后
建站咨詢
新聞中心
在Linux上構(gòu)建容器化的大數(shù)據(jù)分析平臺
成都創(chuàng)新互聯(lián)公司是創(chuàng)新、創(chuàng)意、研發(fā)型一體的綜合型網(wǎng)站建設(shè)公司，自成立以來公司不斷探索創(chuàng)新，始終堅持為客戶提供滿意周到的服務，在本地打下了良好的口碑，在過去的十年時間我們累計服務了上千家以及全國政企客戶，如成都玻璃鋼雕塑等企業(yè)單位，完善的項目管理流程，嚴格把控項目進度與質(zhì)量監(jiān)控加上過硬的技術(shù)實力獲得客戶的一致贊譽。
隨著大數(shù)據(jù)技術(shù)的發(fā)展，越來越多的企業(yè)開始關(guān)注如何利用大數(shù)據(jù)技術(shù)提高業(yè)務效率，而容器化技術(shù)的出現(xiàn)，為大數(shù)據(jù)分析平臺的搭建提供了一種更為便捷、靈活的方式，本文將介紹如何在Linux上構(gòu)建容器化的大數(shù)據(jù)分析平臺。
Docker簡介
Docker是一個開源的應用容器引擎，它允許開發(fā)者將應用程序及其依賴打包到一個輕量級、可移植的容器中，然后發(fā)布到任何流行的Linux機器或Windows機器上，也可以實現(xiàn)虛擬化，容器是完全使用沙箱機制，相互之間不會有任何接口。
Kubernetes簡介
Kubernetes是一個開源的容器編排平臺，用于自動化部署、擴展和管理容器化應用程序，它可以幫助您輕松地管理多個容器化應用，確保它們始終處于運行狀態(tài)，并在需要時自動擴展。
構(gòu)建容器化的大數(shù)據(jù)分析平臺
1、安裝Docker和Kubernetes
在Linux上安裝Docker和Kubernetes非常簡單，以下是在Ubuntu系統(tǒng)上安裝Docker和Kubernetes的命令：
更新軟件包列表 sudo aptget update 安裝Docker sudo aptget install docker.io 安裝Kubernetes sudo aptget install kubernetescni
2、部署大數(shù)據(jù)分析平臺
在大數(shù)據(jù)分析平臺上部署容器化的服務，可以使用Docker Compose，創(chuàng)建一個名為dockercompose.yml的文件，內(nèi)容如下：
version: '3'
services:
zookeeper:
image: confluentinc/cpzookeeper:latest
ports:
"2181:2181"
kafka:
image: confluentinc/cpkafka:latest
depends_on:
zookeeper
ports:
"9092:9092"
environment:
KAFKA_BROKER_ID: 1
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
sparkmaster:
image: bde2020/sparkmaster:2.4.4hadoop3.2.2java8
ports:
"8080:8080"
sparkworker:
image: bde2020/sparkworker:2.4.4hadoop3.2.2java8
depends_on:
sparkmaster
environment:
SPARK_MASTER: spark://sparkmaster:7077
HADOOP_CONF_DIR: /etc/hadoop/conf/coresite.xml,/etc/hadoop/conf/hdfssite.xml,/etc/hadoop/conf/mapredsite.xml,/etc/hadoop/conf/yarnsite.xml,/etc/hadoop/conf/log4j.properties,/etc/spark/conf,/etc/spark/security,/usr/lib/spark/conf,/usr/local/spark/conf,/usr/local/hadoop/etc/hadoop,/usr/local/hadoop/share/hadoop,/usr/local/hadoop/share/common,/usr/local/hadoop/share/hdfs,/usr/local/hadoop/share/mapreduce,/usr/local/hadoop/share/yarn,/usr/local/hadoop/share/yarn/*.xml,~/.aws,~/.ssh,~/*.sh,~/*.py,~/*.jar,~/*.zip,~/*.tar.gz,~/*.tgz,~/*.pig,~/*.pyenv,~/*.Renviron,~/*.Rprofile,~/*.RData,~/*.rda,~/*.rds,~/*.csv,~/*.json,~/*.parquet,~/*.avro,~/*.parquet,~/*.orc,~/*.txt,~/*.log,~/*.properties,~/*.xml,~/*.ini,~/*.env,~/*.cfg,~/*.toml,~/*.yaml,~/*.yml,~/*.bats,~/*.cmd,~/*.ps1,~/*.sql,~/*.pl,~/*.prolog,~/*.lisp,~/*.elisp,~/*.emacs,~/*.scala,~/*.groovy,~/*.ruby,~/*.go,~/*.js,~/*.ts,~/*.php,~/*.rb,~/*.erb,~/*.html,~/*.css,~/*.less,~/*.scss,~/*.md,~/*.markdown,~/*.rst,~/*.asciidoc,~/*.tex,~/*.bibtex,~/*.aux,~/*.fls,~/*.logfile,~/*.fdb_latexmk,~/*.synctex*,exclude=/***************************************************************************{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{,}{,}/{/ exclude=/{}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ {}/ exclude=**/#include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include using namespace std; int main() { return 0; } /*!regarding the container images used in this example (ecosystem): bde2020 / sparkmaster bde2020 / sparkworker confluentinc / cpzookeeper confluentinc / cpkafka bde2020 / sparkmaster:2
分享文章：linux容器技術(shù)
文章網(wǎng)址：http://www.5511xx.com/article/dpedodg.html
