当前位置: 首页 > news >正文

购买域名后 可以做网站么微信朋友圈广告投放

购买域名后 可以做网站么,微信朋友圈广告投放,烟台高端网站制作公司,建设公司网站管理制度的意义Job那块的断点代码截图省略,直接进入切片逻辑 参考:Hadoop3:MapReduce源码解读之Map阶段的Job任务提交流程(1) 6、CombineFileInputFormat原理解析 类的继承关系 与TextInputFormat切片机制的区别 框架默认的TextI…

Job那块的断点代码截图省略,直接进入切片逻辑
参考:Hadoop3:MapReduce源码解读之Map阶段的Job任务提交流程(1)

6、CombineFileInputFormat原理解析

类的继承关系
在这里插入图片描述
TextInputFormat切片机制的区别

框架默认的TextInputFormat切片机制是对任务按文件规划切片,不管文件多小,都会是一个单独的切片,都会交给一个MapTask,这样如果有大量小文件,就会产生大量的MapTask,处理效率极其低下。
CombineTextInputFormat用于小文件过多的场景,它可以将多个小文件从逻辑上规划到一个切片中,这样,多个小文件就可以交给一个MapTask处理。

所以,这个切片机制是针对处理大量小文件的,效率比TextInputFormat更高。

切片过程说明
生成切片过程包括:虚拟存储过程和切片过程二部分。
在这里插入图片描述
注意
当剩余数据大小超过设置的最大值且不大于最大值2倍,此时将文件均分成2个虚拟存储块(防止出现太小切片)。
例如setMaxInputSplitSize值为4M,输入文件大小为8.02M,则先逻辑上分成一个4M。剩余的大小为4.02M,如果按照4M逻辑划分,就会出现0.02M的小的虚拟存储文件,所以将剩余的4.02M文件切分成(2.01M和2.01M)两个文件。

案例

准备4个文件
在这里插入图片描述
依然用wordcount案例进行演练
指定文件路径和切片类CombineFileInputFormat

		// 如果不设置InputFormat,它默认用的是TextInputFormat.classjob.setInputFormatClass(CombineTextInputFormat.class);//虚拟存储切片最大值设置4mCombineTextInputFormat.setMaxInputSplitSize(job, 4194304);

在这里插入图片描述

查看执行日志:
number of splits:3
在这里插入图片描述
所以,对应的MapTask线程数量就是3个,Reducer线程数是1个。

http://www.zhongyajixie.com/news/62646.html

相关文章:

  • wordpress阿里百秀5.2网站关键词排名优化推广软件
  • 义乌制作网站开发seo单词优化
  • 做投票的网站网络营销推广经验总结
  • 建设企业网站流程百度引擎搜索
  • 前端做网站直播深圳广告公司排名
  • 导航网站容易做吗宣传平台有哪些
  • 企业seo平台关键词优化外包
  • 干洗店投资多少钱可以营业了北京网站优化外包
  • wordpress的作用百度网站优化工具
  • 查询网站哪做的百度爱采购优化软件
  • 完善集团网站功能建设天津搜索引擎优化
  • wordpress修改固定连接插件郑州网站优化外包顾问
  • wordpress汉化器seo外链工具
  • 遵义疫情最新消息今天又封了百度搜索seo优化技巧
  • 网站建设 客户定位免费开发软件制作平台
  • 百度推广 做网站免费域名注册平台有哪些
  • 个人网站可以做论坛么seocui cn
  • 网站改版新闻营销推广有哪些公司
  • 一个ip 做2个网站吗哪个软件可以自动排名
  • 谁有人和兽做的网站荆州网站seo
  • 北京网站建设服务百度知道合伙人官网
  • 信息网站建设预算电商网站规划
  • php网站授权公司网站建设全包
  • muse怎么做网站谷歌推广优化
  • flash网站设计师优化 保证排名
  • 做网站卖产品怎么开展google秒收录方法
  • 电子商务网站建设运行环境新手学seo
  • 用asp.net做的网站有哪些海阳seo排名
  • 镇江门户网站是哪个营业推广名词解释
  • 如何给网站文字做超链接最近发生的新闻