当前位置: 首页 > news >正文

龙华o2o网站建设搜索引擎优化指的是什么

龙华o2o网站建设,搜索引擎优化指的是什么,哈尔滨建设网站制作,dedecms 做影网站Spark on YARN运行过程 YARN是一种统一资源管理机制,在其上面可以运行多套计算框架。目前的大数据技术世界,大多数公司除了使用Spark来进行数据计算,由于历史原因或者单方面业务处理的性能考虑而使用着其他的计算框架,比如MapRed…

Spark on YARN运行过程

YARN是一种统一资源管理机制,在其上面可以运行多套计算框架。目前的大数据技术世界,大多数公司除了使用Spark来进行数据计算,由于历史原因或者单方面业务处理的性能考虑而使用着其他的计算框架,比如MapReduce、storm等计算框架。Spark基于此种情况开发了Spark on YARN的运行模式,由于借助了YARN良好的弹性资源管理机制,不仅部署Application更加方便,而且用户在YARN集群中运行的服务和Application的资源也完全隔离,更具实践应用价值的是YARN可以通过队列的方式,管理同时运行在集群中的多个服务。

Spark on YARN模式根据Driver在集群中的位置分为两种模式:一种是YARN-Client模式,另一种是YARN-Cluster。

YARN-Client

简单版本

1、在客户端执行提交命令,在本地启动一个Drive进程.

2、Drive进程启动完毕后,会向ResourceManager申请启动一个ApplicationMaster.

3、RM 收到请求,随机选择一台 NodeManager 启动 ApplicationMaster.

4、AM启动后,会向RM请求一批Container资源(用于启动Executor).

5、RM会找到一批NM返回给AM,AM会向NM发送命令启动Executor.

6、Executor启动后,会反向注册给Driver,Driver发送Task到Executor.

详细版本

YARN-Client模式中,Driver在客户端本地运行,这种模式可以使得Spark 

Application和客户端进行交互,因为Driver在客户端,所以可以通过webUI访问Driver的状态,默认是http://hadoop1:4040访问,而YARN通过http:// hadoop1:8088访问。

YARN-Client的工作流程分为以下几个步骤:

1.Spark YARN Client向YARN的ResourceManager申请启动ApplicationMaster。同时在SparkContent初始化中将创建DAGScheduler和TaskScheduler等,由于我们选择的是YARN-Client模式,程序会选择

YARNClientClusterScheduler和YARNClientSchedulerBackend;

2.ResourceManager收到请求后,在集群中选择一个NodeManager,为该应用程序分配第一个Container,要求它在这个Container中启动应用程序的ApplicationMaster,与YARN-Cluster区别的是在该ApplicationMaster不运行SparkContext,只与SparkContext进行联系进行资源的分派;

3.Client中的SparkContext初始化完毕后,与ApplicationMaster建立通讯,向ResourceManager注册,根据任务信息向ResourceManager申请资源(Container);

4.一旦ApplicationMaster申请到资源(也就是Container)后,便与对应的NodeManager通信,要求它在获得的Container中启动

CoarseGrainedExecutorBackend,CoarseGrainedExecutorBackend启动后会向Client中的SparkContext注册并申请Task;

5.Client中的SparkContext分配Task给CoarseGrainedExecutorBackend执行,CoarseGrainedExecutorBackend运行Task并向Driver汇报运行的状态和进度,以让Client随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务;

6.应用程序运行完成后,Client的SparkContext向ResourceManager申请注销并关闭自己。

  总结

YARN-Client模式适用于测试,因为Driver运行在本地,Driver会与YARN集群中的Executor进行大量的通信,会造成客户机网卡流量的大量增加

ApplicationMaster的作用:

1、为当前的Application申请资源

2、给NodeManager发送消息启动Executor。

注意:ApplicationMaster有launchExcutor和申请资源的功能,并没有作业调度的功能。

YARN-Cluster

简单版本

执行流程

1、客户端执行提交命令,并不会启动Drive进程,客户端向RM申请启动一个ApplicationMaster

2、RM收到请求后随机在一台NM上启动AM(相当于Driver端)

ApplicationMaster(Driver)启动成功后向RM申请资源

3、AM启动后,AM发送请求到RM,请求一批Container(用于启动Excutor)。

4、RM返回一批NM节点给AM,AM发送请求到NM启动Executor。

5、 Executor反向注册到AM所在的节点的Driver。Driver发送Task到Executor。

详细版本

在YARN-Cluster模式中,当用户向YARN中提交一个应用程序后,YARN将分两个阶段运行该应用程序:第一个阶段是把Spark的Driver作为一个ApplicationMaster在YARN集群中先启动;第二个阶段是由ApplicationMaster创建应用程序,然后为它向ResourceManager申请资源,并启动Executor来运行Task,同时监控它的整个运行过程,直到运行完成。

YARN-Cluster的工作流程分为以下几个步骤:

1.Spark YARN Cluster向YARN中提交应用程序,包括ApplicationMaster程序、启动ApplicationMaster的命令、需要在Executor中运行的程序等;

2.ResourceManager收到请求后,在集群中选择一个NodeManager,为该应用程序分配第一个Container,要求它在这个Container中启动应用程序的ApplicationMaster,其中ApplicationMaster进行SparkContext等的初始化;

3.ApplicationMaster向ResourceManager注册,这样用户可以直接通过ResourceManage查看应用程序的运行状态,然后它将采用轮询的方式通过RPC协议为各个任务申请资源,并监控它们的运行状态直到运行结束;

4.一旦ApplicationMaster申请到资源(也就是Container)后,便与对应的NodeManager通信,要求它在获得的Container中启动启动CoarseGrainedExecutorBackend,CoarseGrainedExecutorBackend启动后会向ApplicationMaster中的SparkContext注册并申请Task。这一点和Standalone模式一样,只不过SparkContext在Spark Application中初始化时,使用CoarseGrainedSchedulerBackend配合YARNClusterScheduler进行任务的调度,其中YARNClusterScheduler只是对TaskSchedulerImpl的一个简单包装,增加了对Executor的等待逻辑等;

5.ApplicationMaster中的SparkContext分配Task给CoarseGrainedExecutorBackend执行,CoarseGrainedExecutorBackend运行Task并向ApplicationMaster汇报运行的状态和进度,以让ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务;

6.应用程序运行完成后,ApplicationMaster向ResourceManager申请注销并关闭自己。

 总结

YARN-Cluster主要用于生产环境中,因为Driver运行在YARN集群中某一台NodeManager中,每次提交任务的Driver所在的机器都是随机的,不会产生某一台机器网卡流量激增的现象,缺点是任务提交后不能看到日志。只能通过YARN查看日志。

ApplicationMaster的作用:

1、为当前的Application申请资源。

2、给NameNode发送消息启动Excutor。

3、任务调度。

http://www.zhongyajixie.com/news/17875.html

相关文章:

  • 贵阳哪里可以做网站广东全网推广
  • 社区网站做的比较好的有哪些seo软件优化
  • 在QQ上做cpa网站说是恶意的投放广告
  • 新乡网站建设价格网络营销和传统营销的区别
  • 海报制作win7优化大师免安装版
  • 做游戏网站需要注意的问题整合营销案例
  • 做网站的一些费用企业网络推广的方法有哪些
  • xampp如何搭建wordpressseoul什么意思
  • 聊城专业做网站的公司自己开网站怎么开
  • 做团购网站需要注册哪些商标深圳推广公司介绍
  • 做暖暖视频网站观看2020做seo还有出路吗
  • 动易网站做值班表seo外包顾问
  • 网站架构设计招聘重庆seo服务
  • 深圳高端网站案例网络推广营销策划方案
  • 网站样式建网站seo
  • 成都大型网站建设南京百度推广开户
  • wordpress裁剪失败如何优化搜索引擎
  • 临沂网站制作公司哪家好百度如何发布作品
  • 国外做兼职网站有哪些热点营销案例
  • 网站建设的市场规模seo整站优化方案
  • 如何建英文网站seo自媒体运营技巧
  • 网站公告栏代码深圳谷歌优化seo
  • 陈铭生缉毒警察seo网站快排
  • 怎么自己免费创建网站电商网页
  • 淘宝联盟自建网站教程网上推广产品哪个网好
  • wordpress对网站排名推广软件的渠道有哪些
  • 延安网站建设网站推广包括
  • b2c网站架构链接购买
  • html做的旅游网站百度系app有哪些
  • 消防做设计有什么网站厦门最快seo