当前位置: 首页 > news >正文

网站公司哪家最专业网站建设公司好

网站公司哪家最专业,网站建设公司好,wordpress 时间线页面,jquery网站开发平台Spark架构图 Driver: 解析用户的应用程序代码,转化为作业(job)。创建SparkContext上下文对象,其负责与资源管理器(ClusterManager)通信,进行资源的申请、任务的分配和监控等。跟踪Executor的执行情况。可通过UI界面查询运行情况。…

Spark架构图

在这里插入图片描述

  1. Driver

    • 解析用户的应用程序代码,转化为作业(job)。
    • 创建SparkContext上下文对象,其负责与资源管理器(ClusterManager)通信,进行资源的申请、任务的分配和监控等。
    • 跟踪Executor的执行情况。
    • 可通过UI界面查询运行情况。
  2. Cluster Manager

    • Cluster Manager负责管理集群资源的分配。常用的Cluster Manager有Standalone模式、YARNMesos
    • 它负责从集群中的节点上获取计算资源并监控资源使用情况。
  3. Executors

    • Executors是实际执行任务的工作进程,运行在集群节点上。
    • 每个Executor负责执行任务并存储数据。
    • 向Driver节点注册并反馈任务执行状态。
  4. Tasks

    • 运行在Executor上的最小计算单元。

Spark运行流程图

在这里插入图片描述

当执行一个Spark Application时,整个过程如下:

  1. Driver初始化

    • 应用程序的main函数由Driver执行,Driver创建一个SparkContext
    • SparkContext负责与集群管理器通信,申请资源并协调任务的分配和监控。
  2. 资源申请与Executor启动

    • SparkContext向集群管理器注册并申请资源,具体来说,申请运行Executor的计算资源。
    • 集群管理器根据资源情况为Executor分配资源,并启动相应的Executor进程。
    • 启动的Executor会定期向集群管理器汇报自己的运行状态。
  3. DAG图构建与任务调度

    • SparkContext根据程序中的RDD依赖关系构建一个**DAG(有向无环图)**图。
    • DAG图提交给DAGScheduler进行解析,DAGScheduler将图分解成多个Stage
    • 每个Stage由多个任务组成,这些任务被打包成TaskSet,然后提交给TaskScheduler进行调度。
  4. 任务执行与结果返回

    • TaskScheduler将任务分发到Executor执行,同时SparkContext将应用程序代码发送给Executor。
    • 任务执行结束后,Executor将计算结果返回给Driver,或将结果写入HDFS、数据库等外部存储。
    • 运行完毕后释放所有资源。
http://www.zhongyajixie.com/news/15347.html

相关文章:

  • 百度云wordpress教程视频教程北京seo管理
  • 上海网站制作平台河北网站seo
  • 济南市建设局网站seopeixun com cn
  • 建设品牌公司网站西安网站托管
  • 如何创建自己的博客网站站内搜索工具
  • 深圳移动网站建设制作公司小程序搭建教程
  • 开发文档优化设计答案
  • 珠海新闻头条最新消息珠海seo排名收费
  • 电子商务网站建设考题与答案百度爱采购服务商查询
  • 建设厅网站怎样刷身份证推广普通话的宣传内容
  • 网络策划岗位要求seo宣传
  • 东莞做网站哪里好市场营销推广策划
  • 如何做攻击类型网站如何建立免费公司网站
  • 日出东方网站建设资源猫
  • 网站建设报价书西安网站建设
  • 做网站线稿软件有哪些免费大数据分析网站
  • 做网站开发实习生怎么样长沙网络推广外包
  • 公司名字大全集免费泰州百度seo公司
  • 怎么做优化网站排名网站营销软文
  • 代练中介网站有得做吗seo服务运用什么技术
  • 做设计的地图网站展示型网站有哪些
  • 做体力活的网站推广如何做网上引流
  • 设计师常用网站优化大师app下载安装
  • 江苏优质网站制作公司网站优化人员通常会将目标关键词放在网站首页中的
  • 服装设计找图网站网站seo在线诊断
  • 网站建设 政府百度人工客服在线咨询
  • 用jsp实现网站开发实例谷歌浏览器安卓下载
  • 广东深圳网站建设方便app运营推广策划方案
  • 河北保定建设集团招聘信息网站辽宁好的百度seo公司
  • 武汉网站建设企业百度识图扫一扫入口