ace网站建设,旅游网站建设策划方案,seo分析,国外采购外贸交易平台一、Spark开发环境准备工作 由于Spark仅仅是一种计算框架#xff0c;不负责数据的存储和管理#xff0c;因此#xff0c;通常都会将Spark和Hadoop进行统一部署#xff0c;由Hadoop中的HDFS、HBase等组件负责数据的存储管理#xff0c;Spark负责数据计算。
安装Spark集群前…一、Spark开发环境准备工作 由于Spark仅仅是一种计算框架不负责数据的存储和管理因此通常都会将Spark和Hadoop进行统一部署由Hadoop中的HDFS、HBase等组件负责数据的存储管理Spark负责数据计算。
安装Spark集群前需要安装Hadoop环境
软件 版本 Linux系统 CentOS7.9版本 Hadoop 3.3.4版本 JDK 1.8版本 (jdk8u231) Spark 3.3.2版本 二、了解Spark的部署模式 一Standalone模式 Standalone模式被称为集群单机模式。该模式下Spark集群架构为主从模式即一台Master节点与多台Slave节点Slave节点启动的进程名称为Worker存在单点故障的问题。 二Mesos模式 Mesos模式被称为Spark on Mesos模式。Mesos是一款资源调度管理系统为Spark提供服务由于Spark与Mesos存在密切的关系因此在设计Spark框架时充分考虑到对Mesos的集成。 三Yarn模式 Yarn模式被称为Spark on Yarn模式即把Spark作为一个客户端将作业提交给Yarn服务。由于在生产环境中很多时候都要与Hadoop使用同一个集群因此采用Yarn来管理资源调度可以提高资源利用率。 三、搭建Spark单机版环境 一前提是安装配置好了JDK 查看JDK版本
二下载、安装与配置Spark 1、下载Spark安装包 官网下载页面https://spark.apache.org/downloads.html
下载链接https://www.apache.org/dyn/closer.lua/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
下载到本地
2、将Spark安装包上传到虚拟机 将Spark安装包上传到ied虚拟机/opt目录
3、将Spark安装包解压到指定目录 执行命令tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /usr/local
查看解压之后的spark目录
4、配置Spark环境变量 执行vim /etc/profile
export SPARK_HOME/usr/local/spark-3.3.2-bin-hadoop3 export PATH S P A R K H O M E / b i n : SPARK_HOME/bin: SPARKHOME/bin:SPARK_HOME/sbin:$PATH 1 2 存盘退出执行命令source /etc/profile让环境配置生效
三使用Spark单机版环境 1、使用SparkPi来计算Pi的值 执行命令run-example SparkPi 2 其中参数2是指两个并行度
查看计算结果Pi is roughly 3.1412357061785308
2、使用Scala版本Spark-Shell Spark-Shell是一个强大的交互式数据分析工具初学者可以很好的使用它来学习相关API用户可以在命令行下使用Scala编写Spark程序并且每当输入一条语句Spark-Shell就会立即执行语句并返回结果这就是我们所说的REPLRead-Eval-Print Loop交互式解释器Spark-Shell支持Scala和Python。 命令格式spark-shell --master –master表示指定当前连接的Master节点 用于指定Spark的运行模式 参数名称 相关说明 local 使用一个Worker线程本地化运行Spark local[] 本地运行Spark工作线程数量与本机CPU逻辑核心数量相同 local[N] 使用N个Worker线程本地化运行Spark spark://host:port Standalone模式下连接到指定的Spark集群默认端口7077 yarn-client 以客户端模式连接Yarn集群集群位置可在HADOOP_CONF_DIR环境变量中配置 yarn-cluster 以集群模式连接Yarn集群集群位置可在HADOOP_CONF_DIR 环境变量中配置 mesos://host:port 连接到指定的Mesos集群。默认接口是5050 执行spark-shell命令相当于执行spark-shell --master local[]命令启动Scala版的Spark-Shell
访问Spark的Web UI界面 - http://ied:4040
注意Spark 3.3.2使用的Scala版本其实是2.12.15
利用print函数输出了一条信息
计算1 2 3 …… 100
输出字符直角三角形
打印九九表
执行:quit命令退出Spark Shell交互式环境
3、使用Python版本Spark-Shell 执行pyspark命令启动Python版的Spark-Shell
执行命令yum -y install python3
执行命令pyspark
输出一条信息进行加法运算然后退出交互式环境
4、初识弹性分布式数据集RDD Spark 中的RDD (Resilient Distributed Dataset) 就是一个不可变的分布式对象集合。每个RDD 都被分为多个分区这些分区运行在集群中的不同节点上。RDD 可以包含Python、Java、Scala 中任意类型的对象甚至可以包含用户自定义的对象。用户可以使用两种方法创建RDD读取一个外部数据集或在驱动器程序里分发驱动器程序中的对象集合比如list 和set。
演示利用集合创建RDD
在/home目录下创建test.txt文件
例1、创建一个RDD 在pyspark命令行执行命令lines sc.textFile(‘/home/test.txt’)
创建出来后RDD 支持两种类型的操作 转化操作transformation 和行动操作action。转化操作会由一个RDD 生成一个新的RDD。另一方面行动操作会对RDD 计算出一个结果并把结果返回到驱动器程序中或把结果存储到外部存储系统如HDFS中。
例2、调用转化操作filter() 执行命令sparkLines lines.filter(lambda line: ‘spark’ in line)
例3、调用行动操作first() 执行命令sparkLines.first()
转化操作和行动操作的区别在于Spark 计算RDD 的方式不同。虽然你可以在任何时候定义新的RDD但Spark 只会惰性计算这些RDD。它们只有第一次在一个行动操作中用到时才会真正计算。这种策略刚开始看起来可能会显得有些奇怪不过在大数据领域是很有道理的。比如看看例2 和例3我们以一个文本文件定义了数据然后把其中包含spark的行筛选出来。如果Spark 在我们运行lines sc.textFile(…) 时就把文件中所有的行都读取并存储起来就会消耗很多存储空间而我们马上就要筛选掉其中的很多数据。相反 一旦Spark 了解了完整的转化操作链之后它就可以只计算求结果时真正需要的数据。事实上在行动操作first() 中Spark 只需要扫描文件直到找到第一个匹配的行为止而不需要读取整个文件。 如果要显示全部包含spark的行执行命令sparkLines.collect()
同样的任务在Scala的Spark Shell里完成
补充练习利用Spark RDD实现词频统计 在spark-shell里完成
在pyspark里完成
但是执行wc1.collect()就会报错目前没有解决问题。
四、搭建Spark Standalone集群 一Spark Standalone架构 Spark Standalone模式为经典的Master/Slave主/从架构资源调度是Spark自己实现的。在Standalone模式中根据应用程序提交的方式不同Driver主控进程在集群中的位置也有所不同。应用程序的提交方式主要有两种client和cluster默认是client。可以在向Spark集群提交应用程序时使用–deploy-mode参数指定提交方式。 1、client提交方式 当提交方式为client时运行架构如下图所示
集群的主节点称为Master节点在集群启动时会在主节点启动一个名为Master的守护进程类似YARN集群的ResourceManager从节点称为Worker节点在集群启动时会在各个从节点上启动一个名为Worker的守护进程类似YARN集群的NodeManager。
Spark在执行应用程序的过程中会启动Driver和Executor两种JVM进程。
Driver为主控进程负责执行应用程序的main()方法创建SparkContext对象负责与Spark集群进行交互提交Spark作业并将作业转化为Task一个作业由多个Task任务组成然后在各个Executor进程间对Task进行调度和监控。通常用SparkContext代表Driver。在上图的架构中Spark会在客户端启动一个名为SparkSubmit的进程Driver程序则运行于该进程。
Executor为应用程序运行在Worker节点上的一个进程由Worker进程启动负责执行具体的Task并存储数据在内存或磁盘上。每个应用程序都有各自独立的一个或多个Executor进程。在Spark Standalone模式和Spark on YARN模式中Executor进程的名称为CoarseGrainedExecutorBackend类似运行MapReduce程序所产生的YarnChild进程并且同时与Worker、Driver都有通信。
2、cluster提交方式 当提交方式为cluster时运行架构如下图所示
Standalone cluster提交方式提交应用程序后客户端仍然会产生一个名为SparkSubmit的进程但是该进程会在应用程序提交给集群之后就立即退出。当应用程序运行时Master会在集群中选择一个Worker进程启动一个名为DriverWrapper的子进程该子进程即为Driver进程所起的作用相当于YARN集群的ApplicationMaster角色类似MapReduce程序运行时所产生的MRAppMaster进程。 二Spark集群拓扑 1、集群拓扑 一个主节点两个从节点
2、集群角色分配 Spark Standalone模式的集群搭建需要在集群的每个节点都安装Spark集群角色分配如下表所示。 节点 角色 master Master slave1 Worker slave2 Worker 三前提条件安装配置了分布式Hadoop环境 启动hadoop集群
访问Hadoop WebUI界面
四在master虚拟机上安装配置Spark 1、将spark安装包上传到master虚拟机 进入/opt目录查看上传的spark安装包
2、将spark安装包解压到指定目录 执行命令tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /usr/local
3、配置spark环境变量 执行命令vim /etc/profile
export SPARK_HOME/usr/local/spark-3.3.2-bin-hadoop3 export PATH S P A R K H O M E / b i n : SPARK_HOME/bin: SPARKHOME/bin:SPARK_HOME/sbin:$PATH
存盘退出后执行命令source /etc/profile让配置生效
查看spark安装目录bin、sbin和conf三个目录很重要
4、编辑spark环境配置文件 进入spark配置目录后执行命令cp spark-env.sh.template spark-env.sh与vim spark-env.sh
添加三行语句
export JAVA_HOME/usr/local/jdk1.8.0_231 export SPARK_MASTER_HOSTmaster export SPARK_MASTER_PORT7077
JAVA_HOME指定JAVA_HOME的路径。若集群中每个节点在/etc/profile文件中都配置了JAVA_HOME则该选项可以省略Spark集群启动时会自动读取。为了防止出错建议此处将该选项配置上。 SPARK_MASTER_HOST指定集群主节点master的主机名此处为master。 SPARK_MASTER_PORT指定Master节点的访问端口默认为7077。 存盘退出执行命令source spark-env.sh让配置生效
5、创建slaves文件添加从节点 执行命令vim slaves添加两个从节点主机名
五在slave1虚拟机上安装配置Spark 1、把master虚拟机上安装的spark分发给slave1虚拟机 执行命令scp -r S P A R K H O M E r o o t s l a v e 1 : SPARK_HOME rootslave1: SPARKHOMErootslave1:SPARK_HOME
2、将master虚拟机上环境变量配置文件分发到slave1虚拟机 在master虚拟机上执行命令scp /etc/profile rootslave1:/etc/profile
在slave1虚拟机上执行命令source /etc/profile让环境配置生效
3、在slave1虚拟机上让spark环境配置文件生效 在slave1虚拟机上进入spark配置目录执行命令source spark-env.sh
六在slave2虚拟机上安装配置Spark 1、把master虚拟机上安装的spark分发给slave2虚拟机 执行命令scp -r S P A R K H O M E r o o t s l a v e 2 : SPARK_HOME rootslave2: SPARKHOMErootslave2:SPARK_HOME
2、将master虚拟机上环境变量配置文件分发到slave2虚拟机 在master虚拟机上执行命令scp /etc/profile rootslave2:/etc/profile
在slave2虚拟机上执行命令source /etc/profile让环境配置生效
3、在slave2虚拟机上让spark环境配置文件生效 在slave2虚拟机上进入spark配置目录执行命令source spark-env.sh
七启动Spark Standalone集群 Spark Standalone集群使用Spark自带的资源调度框架但一般我们把数据保存在HDFS上用HDFS做数据持久化所以Hadoop还是需要配置但是可以只配置HDFS相关的而Hadoop YARN不需要配置。启动Spark Standalone集群不需要启动YARN服务因为Spark会使用自带的资源调度框架。 1、启动hadoop的dfs服务 在master虚拟机上执行命令start-dfs.sh
2、启动Spark集群 执行命令start-all.sh
查看start-all.sh的源码启动Master与Worker的命令
Start Master
“${SPARK_HOME}/sbin”/start-master.sh
Start Worker
s${SPARK_HOME}/sbin/start-slaves.sh
可以看到当执行start-all.sh命令时会分别执行start-master.sh命令启动Master执行start-slaves.sh命令启动Worker。
注意若spark-evn.sh中配置了SPARK_MASTER_HOST属性则必须在该属性指定的主机上启动Spark集群否则会启动不成功若没有配置SPARK_MASTER_HOST属性则可以在任意节点上启动Spark集群当前执行启动命令的节点即为Master节点。
启动完毕后分别在各节点执行jps命令查看启动的进程。若在master节点存在Master进程slave1节点存在Worker进程slave2节点存在Worker进程则说明集群启动成功。
查看master节点进程
查看slave1节点进程
查看slave2节点进程
八访问Spark的WebUI 在浏览器里访问http://master:8080
在浏览器访问http://slave1:8081
在浏览器访问http://slave2:8081
如果要用IP地址来访问得用浮动IP地址不能用私有IP地址
用私有IP地址访问是不行的 - http://192.168.1.101:8080/
用浮动IP地址来访问才可以 - 192.168.218.181
查看私有云上虚拟机的配置
九启动Scala版Spark Shell 执行命令spark-shell --master spark://master:7077 注意–master两个-不能少
在/opt目录里执行命令vim test.txt
在HDFS上创建park目录将test.txt上传到HDFS的/park目录
读取HDFS上的文件创建RDD执行命令val rdd sc.textFile(“hdfs://master:9000/park/test.txt”)说明val rdd sc.textFile(“/park/test.txt”)读取的依然是HDFS上的文件绝对不是本地文件
收集rdd的数据执行命令rdd.collect
进行词频统计按单词个数降序排列执行命令val wordcount rdd.flatMap(.split( )).map((, 1)).reduceByKey(_ ).sortBy(._2, false)与wordcount.collect.foreach(println)
十提交Spark应用程序 1、提交语法格式 Spark提供了一个客户端应用程序提交工具spark-submit使用该工具可以将编写好的Spark应用程序提交到Spark集群。 spark-submit的使用格式如下$ bin/spark-submit [options] [app options] options表示传递给spark-submit的控制参数 app jar表示提交的程序JAR包或Python脚本文件所在位置 app options表示jar程序需要传递的参数例如main()方法中需要传递的参数。 2、spark-submit常用参数 除了–master参数外spark-submit还提供了一些控制资源使用和运行时环境的参数。 参数 描述 –master Master节点的连接地址取值为spark://host:port、mesos://host:port、yarn、k8s://https://host:port 或 local默认为local[*] –deploy-mode 提交方式取值为client或cluster。client表示在本地客户端启动Driver程序cluster表示在集群内部的工作节点上启动Driver程序默认为client –class 应用程序的主类Java或Scala程序 –name 应用程序名称会在Spark Web UI中显示 –jars 应用依赖的第三方JAR包列表以逗号分隔 –files 需要放到应用工作目录中的文件列表以逗号分隔。此参数一般用来放需要分发到各节点的数据文件 –conf 设置任意的SparkConf配置属性格式为“属性名属性值” –properties-file 加载外部包含键值对的属性文件。如果不指定就默认读取Spark安装目录下的conf/spark-defaults.conf 文件中的配置 –driver-memory Driver进程使用的内存量例如512MB或1GB单位不区分大小写默认为1GB –executor-memory 每个Executor进程所使用的内存量。例如512MB或1GB单位不区分大小写默认为1GB –driver-cores Driver进程使用的CPU核心数仅在集群模式中使用默认为1 -executor-cores 每个Executor进程所使用的CPU核心数默认为1 num-executors Executor进程数量默认为2。如果开启动态分配那么初始Executor的数量至少是此参数配置的数量。需要注意的是此参数仅在Spark On YARN模式中使用 3、案例演示 - 提交Spark自带的圆周率计算程序 进入Spark安装目录
1Standalone模式采用client提交方式 执行下述命令将Spark自带的求圆周率的程序提交到集群
bin/spark-submit –class org.apache.spark.examples.SparkPi –master spark://master:7077 ./examples/jars/spark-examples_2.12-3.3.2.jar
提交Spark作业后观察Spark集群管理界面其中“Running Applications”列表表示当前Spark集群正在计算的作业执行几秒后刷新界面在Completed Applications表单下可以看到当前应用执行完毕返回控制台查看输出信息出现了“Pi is roughly 3.1424157120785603”说明Pi值已经被计算完毕。
上述命令中的–master参数指定了Master节点的连接地址。该参数根据不同的Spark集群模式其取值也有所不同常用取值如下表所示。
取值 描述 spark://host:port Standalone模式下的Master节点的连接地址默认端口为7077 yarn 连接到YARN集群。若YARN中没有指定ResourceManager的启动地址则需要在ResourceManager所在的节点上进行应用程序的提交否则将因找不到ResourceManager而提交失败 local 运行本地模式使用1个CPU核心 local [N] 运行本地模式使用N个CPU核心。例如local[2]表示使用两个CPU核心运行程序 local[] 运行本地模式尽可能使用最多的CPU核心 若不添加–master参数则默认使用本地模式local[]运行。 2Standalone模式采用cluster提交方式 在Standalone模式下将Spark自带的圆周率计算程序提交到集群并且设置Driver进程使用内存为512MB每个Executor进程使用内存为1GB每个Executor进程所使用的CPU核心数为2提交方式为clusterDriver进程运行在集群的工作节点中执行命令如下 bin/spark-submit –master spark://master:7077 –deploy-mode cluster –class org.apache.spark.examples.SparkPi –driver-memory 512m –executor-memory 1g –executor-cores 2 ./examples/jars/spark-examples_2.12-3.3.2.jar
当然可以写成一行 bin/spark-submit --master spark://master:7077 --deploy-mode cluster --class org.apache.spark.SparkPi --driver-memory 512m --executor-memory 1g --executor-cores 2 ./examples/jars/spark-examples_2.12-3.3.2.jar 1 执行命令后看到State of driver-20230406114733-0000 is RUNNING就表明运行成功~否则会显示State of driver-20230406114733-0000 is FAILED
在Spark WebUI界面上查看运行结果访问http://master:8080
单击圈红的Worker超链接 - worker-20230406114652-192.168.1.102-36708 注意必须把私有IP地址改成主机名slave1或者对应的浮动IP地址
单击stdout超链接可以查看到Pi的计算结果
十一停止Spark集群服务 在master节点执行命令stop-all.sh
