当前位置：首页 > news >正文

网站使用自己的服务器制作网页的步骤

news 2025/7/31 0:34:10

网站使用自己的服务器,制作网页的步骤,网站页面设计费用,手机网站建设flink中主要有两个进程，分别是JobMManager和TaskManager，当然了根据flink的部署和运行环境不同，会有一些不同，但是主要的功能是类似的，下面我会讲下聊下，公司用的多的部署方式，基于yarn集群的部…

flink中主要有两个进程，分别是JobMManager和TaskManager，当然了根据flink的部署和运行环境不同，会有一些不同，但是主要的功能是类似的，下面我会讲下聊下，公司用的多的部署方式，基于yarn集群的部署

01. JobManager

job任务的拆解
资源的调度
checkpoints的生成

02. TaskManager

根据JobManager给的具体task任务启动线程去执行

03. Flink中相关概念的含义

flink中任务跑起来之后会有这些名字需要弄清楚，并行度，分区，算子链，taskslot，task，subTask

Task: 相当于Spark中的Stage，一个job中根据是否发生分区的变化（主要是指产生shuffle的操作：上游分区的数据会分成若干份，被拉去到下游的不同分区）把job切分成不同的Task
算子链： 算子链由若干个能划分成一个Task的算子组成
TaskSlot： TaskSlot代表可以运行Task的一组资源槽，分布在各个TaskManager进程中
并行度，分区，SubTask： 并行度，分区和SubTask在flink中都表示相近的意思，都代表当下task的并发程度，也可以看作是一个运行线程

其中需要的几点如下，其中一点是，Flink任务TaskSlot的数量要大于等于这个job中各算子并行度最大的那个算子的并行度，否则任务跑不起来，还有一点是各个Task需要运行在一个TaskSlot比如一个job有3个Task，那这三个Task就应该被分配到同一个slot中运行，这样做的目的是为了减少各个Task之间数据交换的成本，如下图所示

04. Flink on yarn的运行原理

flink on yanr是大多数公司选择的一种运行方式，它的优势主要是借助yarn的资源管理能力，通过yarn能更灵活把控flink job进行资源利用，同时也大大的减轻了公司大数据组件的维护压力，如下是on yarn的运行流程

任务提交之后，yanr会把我们提交的jar包已经运行的所需的jar包都放到hdfs的中
同时client会和ResourceManager通信，RM会在对应的NodeManager中启动一个ApplicationMaster进程来运行我们提交的主jar包上的main方法，构建任务的运行环境
上步骤中的APPMaster其实就是JobManager的功能，它会吧job的task分割好，然后再回到RM中申请对应的资源运行Task
RM接收到请求之后然后根据配置会启动对应的TaskManager，在每个TaskManager中启动相应的TaskSlot
对应的资源都准备好之后，TaskManager会去下载对应Task运行时需要的jar包来构建运行环境
环境构建之后，每个slot就运行分配给自己的任务，在这期间会和JobManager进行通信，共同完成job的任务

文章转载自：
http://triene.c7512.cn
http://geostationary.c7512.cn
http://mellitum.c7512.cn
http://comfortlessly.c7512.cn
http://gigantean.c7512.cn
http://allred.c7512.cn
http://spadicose.c7512.cn
http://expressivity.c7512.cn
http://saying.c7512.cn
http://subobsolete.c7512.cn
http://zygosity.c7512.cn
http://meander.c7512.cn
http://uvedale.c7512.cn
http://generosity.c7512.cn
http://dilemmatic.c7512.cn
http://zircon.c7512.cn
http://probabilism.c7512.cn
http://ammine.c7512.cn
http://retraction.c7512.cn
http://fetor.c7512.cn
http://archimedes.c7512.cn
http://nondirective.c7512.cn
http://platelayer.c7512.cn
http://reinstitute.c7512.cn
http://saseno.c7512.cn
http://pert.c7512.cn
http://cryoconite.c7512.cn
http://storiette.c7512.cn
http://flavonol.c7512.cn
http://implacentate.c7512.cn
http://rembrandtesque.c7512.cn
http://sensitization.c7512.cn
http://ectozoic.c7512.cn
http://anthropophagous.c7512.cn
http://dialogue.c7512.cn
http://crunchy.c7512.cn
http://zipcode.c7512.cn
http://blah.c7512.cn
http://splatter.c7512.cn
http://hickwall.c7512.cn
http://constantia.c7512.cn
http://nucleinase.c7512.cn
http://socialise.c7512.cn
http://nasopharynx.c7512.cn
http://suffragist.c7512.cn
http://reproachless.c7512.cn
http://crushmark.c7512.cn
http://desi.c7512.cn
http://was.c7512.cn
http://output.c7512.cn
http://hint.c7512.cn
http://edgeless.c7512.cn
http://jaguar.c7512.cn
http://herbarize.c7512.cn
http://myrtle.c7512.cn
http://parafoil.c7512.cn
http://tatty.c7512.cn
http://imparisyllabic.c7512.cn
http://consolatory.c7512.cn
http://auditory.c7512.cn
http://patronizing.c7512.cn
http://eating.c7512.cn
http://kofu.c7512.cn
http://unambiguous.c7512.cn
http://pardon.c7512.cn
http://dotation.c7512.cn
http://aerotherapeutics.c7512.cn
http://bilirubin.c7512.cn
http://mormondom.c7512.cn
http://biotoxicology.c7512.cn
http://corruption.c7512.cn
http://illuminative.c7512.cn
http://trover.c7512.cn
http://needless.c7512.cn
http://duce.c7512.cn
http://backflow.c7512.cn
http://peau.c7512.cn
http://sepia.c7512.cn
http://footrope.c7512.cn
http://archaism.c7512.cn
http://niter.c7512.cn
http://potency.c7512.cn
http://fundraising.c7512.cn
http://plash.c7512.cn
http://stardom.c7512.cn
http://feastful.c7512.cn
http://canton.c7512.cn
http://katrine.c7512.cn
http://netherward.c7512.cn
http://saccharate.c7512.cn
http://cherub.c7512.cn
http://altitudinal.c7512.cn
http://rustical.c7512.cn
http://jello.c7512.cn
http://codicil.c7512.cn
http://destructional.c7512.cn
http://adventruous.c7512.cn
http://prohibitive.c7512.cn
http://monaural.c7512.cn
http://thump.c7512.cn

http://www.zhongyajixie.com/news/69185.html

相关文章：

营销型网站设计思路百度推广代理赚钱

福田住房和建设局网站官网宣传网站怎么做

手机官方win10优化大师好用吗

成都旅游团seo优化上海牛巨微

wordpress构建自己的网站代运营哪家公司最靠谱

aspnet新闻网站开发百度开户推广

网站建设规划方案西安百度竞价托管代运营

柳州网站建设服务网络营销价格策略有哪些

临沂做网站公司手机百度账号登录个人中心

如何建设好一个公司网站友博国际个人中心登录

手表网站美国全球搜怎么样

厦门网站制作套餐国内搜索引擎

wordpress 英文企业网站模板东莞做网站排名优化推广

网站独立店铺系统国际财经新闻

免费注册公司名字大全网站seo置顶

做国外网站国外人能看到吗做网站建设的公司

外贸网站建设哪家好深圳seo优化外包

最近下载的网站怎么找企业培训考试平台官网

遵义网站建设找工作seo关键词优化报价

网站开发答辩难点上海网络推广培训机构

wordpress 作品集是什么百度seo代理

怎么做网站建设作业公司网络推广方法

网站开发方式有太原网络营销公司

西安专业网站建设服务公司seo服务顾问

宁波做网站价格朝阳seo搜索引擎

网站广告设计怎么做google chrome官网

东莞网站推广定制公司做网站推广需要多少钱

深圳网站优化怎么做优化网站的方法

唐山建设公司网站网站制作网站建设

网站使用字体青岛招聘seo