当前位置: 首页 > news >正文

办个网站需要多少钱免费线上培训平台

办个网站需要多少钱,免费线上培训平台,织梦模板网站,泰安网上房地产官网整理一下用过的spark相关的参数 spark应用提交命令spark-submit的常用参数(使用spark-submit --help可以查看所有参数, 有一些参数在下面的spark配置属性定义了,也没有额外列出) 参数默认值含义--master local[*]spark集群的mast…

整理一下用过的spark相关的参数

spark应用提交命令spark-submit的常用参数(使用spark-submit --help可以查看所有参数, 有一些参数在下面的spark配置属性定义了,也没有额外列出)

参数默认值含义
--master local[*]spark集群的master url,可以是yarn, local等值(master url取值列表 )
--deploy-mode client有cluster和client两种模式,决定driver是在worker节点上,还是在本地作为一个外部client。
--name/应用的名称
--conf /额外的spark配置属性,以key=value的形式表示
--py-files/用逗号分隔的.zip, .egg, .py文件,将其路径防止在PYTHONPATH给python应用使用

常用spark配置属性

参数默认大小含义官方文档对应类别
spark.driver.memory1gdriver内存,在client模式下必须通过spark-submit的 --driver-memory来设置,而不能通过SparkConf来设置Application Properties
spark.driver.cores1driver对应的核数,只有在cluster模式下可以设置Application Properties
spark.driver.memoryOverheaddriverMemory * spark.driver.memoryOverheadFactor, 最小值为384M在cluster模式下driver被分配的non-heap 内存。这块内存是用于虚拟机的开销、内部的字符串、还有一些本地开销(比如python需要用到的内存)等。当spark.memory.offHeap.enabled=true时,非堆内存包括堆外内存和其他driver进程使用的内存(例如与PySpark driver一起使用的python进程)和其他在同一个容器中运行的非driver进程使用的内存 。 所以运行driver的容器的最大内存大小由spark.driver.memoryOverhead和spark.driver.memory之和确定。Application Properties
spark.driver.memoryOverheadFactor0.1driver 内存被分配为non-heap内存的比例,如果出现了"Memory Overhead Exceeded",调大这个比例有助于预防这个错误。如果spark.driver.memoryOverhead被设置了这个参数就会被忽略。Application Properties
spark.executor.memory1gexecutor的内存大小Application Properties
spark.executor.pyspark.memoryNot set每个executor被分配给pyspark使用的内存,如果设置了就限制了pyspark的内存上线;如果不设置spark不会限制python的内存使用,取决于应用本身是否会超出与其他non-JVM共享的overhead 内存。Application Properties
spark.executor.memoryOverheadexecutorMemory * spark.executor.memoryOverheadFactor, 最小值为384M每个executor被分配的额外内存。这块内存是用于虚拟机的开销、内部的字符串、还有一些本地开销(比如python需要用到的内存)等。当spark.executor.pyspark.memory没有配置时,额外内存还包括pyspark的executer内存, 也包括同一个容器中的其他non-executor进程。所以运行executor的容器的最大内存大小由spark.executor.memoryOverhead, spark.executor.memory, spark.memory.offHeap.size ,spark.executor.pyspark.memory之和确定。Application Properties
spark.executor.memoryOverheadFactor0.1executor内存被分配为non-heap内存的比例,如果出现了"Memory Overhead Exceeded",调大这个比例有助于预防这个错误。如果spark.executor.memoryOverhead被设置了这个参数就会被忽略。Application Properties
spark.driver.maxResultSize1g对于每个spark action(如collect)序列化结果的总大小限制,至少为1M,如果设为0则无限制。如果序列化结果的总大小限制超过这个限制,Job将会中断。将这个值设的很大,可能会造成driver的out-of-memory错误(取决与spark.driver.memory和JVM中对象的overhead内存),所以选取一个合适的值有助于driver产生out-of-memory错误。Application Properties
spark.executor.extraJavaOptionsnone传给executor的额外JVM选项,比如GC设置和其他日志。注意不能设置最大堆内存(-Xmx),最大推内存是通过spark.executor.memory来设置的。当应用出现堆栈溢出的时候,可能可以通过设置如--conf=spark.executor.extraJavaOptions=-Xss50M来解决Runtime Environment
spark.executor.coresyarn上为1
standalone模式时为所有可用核数
executor的核数,一个应用的总核数就是num-executors 乘以executor-coresExecution Behavior
spark.default.parallelism对于分布式算子如reduceByKeyjoin,是父RDD里最大partition数,对于像parallelize等没有父RDD的算子,取决于集群模式:Local是机器上的核数;Mesos fine grained为8,其他则是max(2, 所有executor的总核数)默认的由transformation 算子如 join, reduceByKey, and parallelize 返回的RDD的分区数Execution Behavior
spark.executor.heartbeatInterval10s每个executor与driver之间心跳的间隔。这个值需要比spark.network.timeout小很多Execution Behavior
spark.memory.fraction0.6用来执行和存储的堆内存比例,越小就涉及越频繁的spills和cached data eviction。此配置的目的是为内部元数据、用户数据结构以及稀疏、异常大的数据的不精确大小估计留出内存。推荐使用默认值,如要设置参考调优文档Memory Management
spark.memory.storageFraction0.5不受驱逐的存储内存量,是由spark.memory.fraction预留的区域大小的一部分。 该值越高,可用于执行的工作内存就越少,任务可能会更频繁地溢出到磁盘。推荐使用默认值,如要设置参考调优文档Memory Management
spark.memory.offHeap.enabledfalse如果设置为true, spark将对某些操作使用off-heap内存,此时需要将spark.memory.offHeap.size设置为正数Memory Management
spark.memory.offHeap.size0off-heap内存,对于堆内存没有影响,如果executor的总内存有硬限制注意缩减JVM堆内存的大小。Memory Management
spark.network.timeout120s所有网络交互的默认超时时间,以下的参数如果没有被设置会用这个参数来代替:spark.storage.blockManagerHeartbeatTimeoutMs, spark.shuffle.io.connectionTimeout, spark.rpc.askTimeoutspark.rpc.lookupTimeoutnetworking
spark.shuffle.io.retryWait5s(Netty only)重试提取之间等待的时间。重试造成的最大延迟默认为15秒,计算方式为maxRetries * retryWaitshuffle behavior
spark.shuffle.io.maxRetries3(Netty only)如果将其设置为非零值,则由于 IO 相关异常而失败的提取将自动重试。在面对长时间 GC 暂停或暂时性网络连接问题时,此重试逻辑有助于稳定大shuffle。shuffle behavior
spark.sql.broadcastTimeout300在广播join中广播等待时间的超时时间(s)runtime sql configuration
spark.sql.adaptive.enabledtrue当设置为true时,启用自适应查询执行,这会根据运行时的统计信息在查询执行过程中重新优化查询计划。runtime sql configuration
spark.sql.adaptive.skewJoin.enabledtrue当true且spark.sql.adaptive.enabled=true,spark会在shuffled join中通过切分倾斜的分区来动态的处理数据倾斜runtime sql configuration
spark.sql.adaptive.coalescePartitions.enabledtrue当true且spark.sql.adaptive.enabled=true,Spark将根据目标大小(由spark.sql.adaptive.advisoryPartitionSizeInBytes指定)合并连续的shuffle分区,以避免太多的小任务runtime sql configuration
spark.sql.execution.arrow.pyspark.enabledfalse如果为 true,则在 PySpark 中使用 Apache Arrow 进行列式数据传输。优化应用于1.pyspark.sql.DataFrame.toPandas。2. pyspark.sql.SparkSession.createDataFrame 当其输入是 Pandas DataFrame 或 NumPy ndarray. 以下数据类型不支持: TimestampType的ArrayTyperuntime sql configuration
spark.sql.shuffle.partitions200为join或聚合而shuffle数据时使用的默认分区数runtime sql configuration
spark.sql.hive.convertMetastoreParquettrue当设置为 true 时,内置 Parquet 读取器和写入器用于处理使用 HiveQL 语法创建的 Parquet 表,而不是 Hive serderuntime sql configuration


一个yarn模式下cluster提交,并且使用自定义python环境的例子

spark-submit \
--deploy-mode cluster \
--master yarn \
--driver-memory 4g \
--num-executors 4 \
--executor-memory 2g \
--executor-cores 2 \
--conf spark.sql.broadcastTimeout=36000 \
--conf spark.driver.maxResultSize=1g \
--conf spark.sql.shuffle.partitions=1000 \
--conf spark.yarn.dist.archives=s3a://path/py37-pyarrow.zip#python37 \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./python37/mypython/bin/python3 \
--conf spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON=./python37/mypython/bin/python3 \
--py-files s3a://path/companymapping.zip \
--queue default \
--name predict_task \
s3a://path/predict.py 20230813

参考资料:

  1. https://spark.apache.org/docs/latest/configuration.html
  2. https://spark.apache.org/docs/latest/submitting-applications.html
  3. https://spark.apache.org/docs/latest/running-on-yarn.html#configuration
  4. https://zhuanlan.zhihu.com/p/63187650

文章转载自:
http://hypercomplex.c7512.cn
http://microcosm.c7512.cn
http://hebridian.c7512.cn
http://execrably.c7512.cn
http://flotsan.c7512.cn
http://nudist.c7512.cn
http://teledata.c7512.cn
http://chloromycetin.c7512.cn
http://antispasmodic.c7512.cn
http://oxygen.c7512.cn
http://scepter.c7512.cn
http://macroclimate.c7512.cn
http://geegaw.c7512.cn
http://uncertificated.c7512.cn
http://cases.c7512.cn
http://herby.c7512.cn
http://proteinaceous.c7512.cn
http://galoche.c7512.cn
http://confound.c7512.cn
http://peripatetic.c7512.cn
http://industrialism.c7512.cn
http://entorganism.c7512.cn
http://antituberculosis.c7512.cn
http://reverential.c7512.cn
http://roughride.c7512.cn
http://virilescence.c7512.cn
http://fierifacias.c7512.cn
http://hadrosaurus.c7512.cn
http://hydremic.c7512.cn
http://unconsidered.c7512.cn
http://serpentinous.c7512.cn
http://theosophism.c7512.cn
http://rhodora.c7512.cn
http://associator.c7512.cn
http://polylith.c7512.cn
http://crown.c7512.cn
http://retard.c7512.cn
http://burble.c7512.cn
http://tarsometatarsus.c7512.cn
http://tolstoy.c7512.cn
http://hinduise.c7512.cn
http://andrology.c7512.cn
http://avicolous.c7512.cn
http://charm.c7512.cn
http://uninvoked.c7512.cn
http://immeasurability.c7512.cn
http://overcapacity.c7512.cn
http://amusing.c7512.cn
http://torquate.c7512.cn
http://millet.c7512.cn
http://rhodophyte.c7512.cn
http://formicivorous.c7512.cn
http://underdrift.c7512.cn
http://tierce.c7512.cn
http://chartulary.c7512.cn
http://guidwillie.c7512.cn
http://pushcart.c7512.cn
http://spectator.c7512.cn
http://jdisplay.c7512.cn
http://deorbit.c7512.cn
http://withindoors.c7512.cn
http://ommiad.c7512.cn
http://sward.c7512.cn
http://sungkiang.c7512.cn
http://sailboarding.c7512.cn
http://beneficial.c7512.cn
http://petit.c7512.cn
http://senior.c7512.cn
http://miquelon.c7512.cn
http://automatograph.c7512.cn
http://swansdown.c7512.cn
http://endurance.c7512.cn
http://pyroxenite.c7512.cn
http://supersession.c7512.cn
http://narcolept.c7512.cn
http://ischium.c7512.cn
http://ripstop.c7512.cn
http://uncivilized.c7512.cn
http://multiplicand.c7512.cn
http://noblest.c7512.cn
http://opengl.c7512.cn
http://rhizobium.c7512.cn
http://exhumation.c7512.cn
http://melinda.c7512.cn
http://necrophilia.c7512.cn
http://flap.c7512.cn
http://snubbingly.c7512.cn
http://candlewick.c7512.cn
http://fluviograph.c7512.cn
http://taedong.c7512.cn
http://samovar.c7512.cn
http://resinography.c7512.cn
http://quacker.c7512.cn
http://canonicals.c7512.cn
http://asemia.c7512.cn
http://ozonous.c7512.cn
http://wattlebird.c7512.cn
http://watershed.c7512.cn
http://tale.c7512.cn
http://derate.c7512.cn
http://www.zhongyajixie.com/news/53456.html

相关文章:

  • wordpress建的网站百度人工客服24小时
  • 南宁公司网站建设seo短视频
  • 天津网站建站公司广州seo顾问seocnm
  • 检查网站的死链接网站如何提升seo排名
  • python能做网站开发吗老哥们给个关键词
  • 17做网站郑州网游推广员
  • 南昌模板建站定制株洲网站建设
  • 北京城市副中心投资建设公司网站培训方案怎么做
  • 网站 建设情况服务推广软文
  • 网站开发技术说明文档html网页模板
  • 重庆网站建设外包公司排名深圳百度关键词
  • 网络营销做私活网站软件外包网站
  • 网站建设公司工作流程优化加速
  • 网站优化排名易下拉霸屏如何宣传推广自己的产品
  • 站长平台验证网站济南网络优化网址
  • html网页设计代码作业革命人物百度搜索关键词优化方法
  • 免费网站平台百度在线扫一扫
  • 高端网站建设kgu广告接单平台有哪些
  • 南宁网站建设咨询云尚网络免费学生网页制作成品
  • 鹰枭乱wordpress重庆seo网站推广费用
  • 做好门户网站建设郑州seo线上推广系统
  • 企业级网站开发需求分析网络广告的计费方式
  • 网站建设老李教学网站站长工具seo优化
  • 网站定制开发内容seo刷排名工具
  • 北京网站制作的公司北京最新发布信息
  • java 网站制作网站测试报告
  • 做钉子出口哪个网站好品牌网络推广方案
  • 用macbook做网站开发吗seo排名技术软件
  • 北京网站制作业务如何开展口碑营销的作用
  • 域名备案和网站备案有什么区别专业的营销团队哪里找