网站的功能需求分析,摄影公司,微信小程序怎么弄成二维码,wix做的网站在国内访问不一、YarnClient
二、YarnCluster
三、详细描述
客户端#xff08;Client#xff09;通过YARN的ResourceManager提交应用程序。在此过程中#xff0c;客户端进行权限验证#xff0c;生成Job ID和资源上传路径#xff0c;并将这些信息返回给客户端。客户端将jar包、配置…一、YarnClient
二、YarnCluster
三、详细描述
客户端Client通过YARN的ResourceManager提交应用程序。在此过程中客户端进行权限验证生成Job ID和资源上传路径并将这些信息返回给客户端。客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后客户端再次向ResourceManager提交作业执行请求。ResourceManager收到请求后将其封装为一个任务并将其插入Scheduler的任务队列中等待空闲资源。一旦集群中有空闲资源Scheduler将任务分配给NodeManagerNodeManager创建容器并启动ApplicationMaster。ApplicationMaster启动后从HDFS中拉取jar包解析数据流DAG根据数据流生成阶段Stage确定任务的并发度并向ResourceManager申请资源。ResourceManager接收到请求后将任务封装为Task并将其插入任务队列。一旦集群中有空闲资源ResourceManager将任务分配给NodeManagerNodeManager启动容器并与ApplicationMaster通信以在容器中启动Executor进程。Executor向ApplicationMaster注册并申请任务。ApplicationMaster对任务进行解析并将Task发送到Executor上。Executor执行Task并将执行结果或状态报告给ApplicationMaster。当所有任务执行完毕时ApplicationMaster通知ResourceManager注销应用回收资源。至此整个作业的提交流程结束。
