一,安装Scala
下载 :http://www.scala-lang.org/download/
配置环境变量的方式同Java,为了方便全部写在一起放入/etc/profile.d目录
hadoop.sh
#set Java Enviroment export JAVA_HOME=/usr/java/jdk1.6.0_45 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH #set Scala Enviroment export SCALA_HOME=/usr/scala/scala-2.10.4 export PATH=$SCALA_HOME/bin:$PATH #set hadoop path export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/libexec:$PATH export HADOOP_HOME_WARN_SUPPRESS=1 # set hbase path export HBASE_HOME=/usr/local/hbase export PATH=$HBASE_HOME/bin:$PATH # set hive path export HIVE_HOME=/usr/local/hive export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH # set mahout path export MAHOUT_HOME=/usr/local/mahout export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf export PATH=$MAHOUT_CONF_DIR:$MAHOUT_HOME/bin:$PATH #set pig path export PIG_HOME=/usr/local/pig export PATH=$PIG_HOME/bin:$PIG_HOME/conf:$PATH export PIG_CLASSPATH=$HADOOP_HOME/conf #set ant path export ANT_HOME=/usr/local/apache-ant-1.8.4 export PATH=$ANT_HOME/bin:$PATH # set maven path export M2_HOME=/usr/local/apache-maven-3.1.1 export PATH=$M2_HOME/bin:$PATH #set zookeeper path export ZOOKEEPER_HOME=/usr/local/zookeeper export PATH=$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH #set dog path export DOG_HOME=/usr/local/dog export PATH=$DOG_HOME/bin:$PATH
二,安装Hadoop2
http://yeelor.iteye.com/blog/2002623
三,安装Spark
下载 http://spark.apache.org/downloads.html 一个提前编译过的版本,注意scala版本是否支持。
编辑conf/spark-env.sh文件,加入:
export SCALA_HOME=/usr/scala/scala-2.10.4 export SPARK_WORKER_MEMORY=24g export SPARK_MASTER_IP=218.193.154.216 export MASTER=spark://218.193.154.216:7077
编辑conf/slaves文件,加入
slave1 slave2
将spark文件夹拷贝到每台机器
1.sh
#for i in {1..10}; do for host in {master,slave1,slave2}; do #for((i=1;i<=num;i++)); do echo "开始安装${host}..." echo "拷贝几个配置文件" scp -r /usr/local/spark root@${host}:/usr/local scp -r /usr/scala root@${host}:/usr/ scp /etc/profile.d/hadoop.sh root@${host}:/etc/profile.d scp 2.sh root@${host}:/tmp/2.sh ssh root@${host} sh /tmp/2.sh echo "安装${host}完毕" done
2.sh
chown -R hadoop:hadoop /usr/local/spark echo "使环境变量生效" source /etc/profile exit
四,启动集群
在spark根目录
启动:
./sbin/start-all.sh
关闭:
./sbin/stop-all.sh
用 jps 命令查看进程,Master上有Master进程,Slave上有Worker进程。
五,测试
http://hmaster:8080/
1)
./bin/run-example org.apache.spark.examples.SparkPi
2)
./bin/spark-shell
六,参考
图书:《spark大数据处理》
相关推荐
本资源从简介到开发,详细讲解了spark集群构建和初步开发,适合初学spark的或者学习了hadoop的,希望对大家有帮助。^_^
Spark分布式集群安装部署 .doc
spark集群安装搭建,step by step,详细记录整个安装过程。
CentOS 7.5 部署 Hbase + Spark 集群 CentOS 7.5 部署 Hbase + Spark 集群 CentOS 7.5 部署 Hbase + Spark 集群 CentOS 7.5 部署 Hbase + Spark 集群
1. 解压Spark安装包 2. 配置Spark环境变量 2. 修改 spark-env.sh 文件,完成以下设置: 1. 设置运行master进程的节点, e
Spark2.4.3集群部署
详细介绍了hadoop和spark集群安装的具体过程,搭配详细的图片说明以及我自己在部署时遇到的问题以及如何解决
本项目是一个基于Python的Spark集群部署自动化脚本设计源码,共包含40个文件,其中包括34个Python文件。该系统旨在自动化部署Spark集群,简化部署流程,提高部署效率。系统设计注重可扩展性和易用性,采用模块化的...
描述如何在单个Ubuntu机器或服务器搭建docker spark 集群环境
本文档部署impala时所用到的Hive、Hadoop等环境的安装方式是使用tar包方式安装的(cdh版本的tar包安装与Apache的tar包安装方式相同)。cdh版本的tar包下载地址:http://archive-primary.cloudera.com/cdh5/cdh/5/
第2章 Spark集群的安装与部署 2.1 Spark的安装与部署 2.1.1 在Linux集群上安装与配置Spark 2.1.2 在Windows上安装与配置Spark 2.2 Spark集群初试 2.3 本章小结 第3章 Spark计算模型 3.1 Spark程序模型 3.2 弹性...
Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量廉价硬件之上,形成集群。Spark得到了众多大数据公司的支持,这些公司包括Hortonworks、IBM...
描述: 这个资源包含了一个基本的Spark集群配置,包括Hadoop、Hive、MySQL和Spark的配置文件。 文件清单: Dockerfile build.sh build_network.sh -yarn-site.xml -stop_containers.sh -start-hadoop.sh -start_...
spark集群安装部署,包括开发测试环境,生产环境(Ha部署),以及在线动态添加从节点。
23:Spark2.3.x分布式集群安装部署
1. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上,关闭HDFS的安全模式: 3. 在 master 节点上
该文档与教程http://blog.csdn.net/u012185296/article/details/38084107 配套使用的,主要讲的是妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0.docx 、、、 你也可以到博客地址...
通过案例实战掌握高可用HA下的Spark集群部署
个人总结的集群搭建运行事例环境文档。条理清晰。有spark standalone模式 yarn模式 zookeeper的搭建 还有分布式文件系统hdfs hadoop搭建,内存式文件系统alluxio。开发环境的搭建idea for scala 的配置 ,和打包事例
该文档是本人之前在搭建分布式系统时,记录的文档,文档不仅有Hadoop和Spark的环境搭建流程,而且还有分布式运行实例代码,对于初学者来说非常有用,建议看一下。对应的博客教程请查看...