当前位置: 首页 > news >正文

ppt设计理念优化方案官方网站

ppt设计理念,优化方案官方网站,学校网站建设制作方案,中文wordpress博客模板下载flink的keyed state是有有效期(TTL)的,使用和说明在官网描述的篇幅也比较多,对于三种清理策略没有进行横向对比得很清晰。 全量快照清理(FULL_STATE_SCAN_SNAPSHOT)增量清理(INCREMENTAL_CLEANUP)rocksdb压缩清理(ROCKSDB_COMPACTION_FILTER) 注意&…

flink的keyed state是有有效期(TTL)的,使用和说明在官网描述的篇幅也比较多,对于三种清理策略没有进行横向对比得很清晰。

  • 全量快照清理(FULL_STATE_SCAN_SNAPSHOT)
  • 增量清理(INCREMENTAL_CLEANUP)
  • rocksdb压缩清理(ROCKSDB_COMPACTION_FILTER)

在这里插入图片描述

注意,三种状态清理策略不是互斥的,并不是三选一的问题,一般是全量快照清理配合另两个其中的一个来使用(需要根据不同的state backend),可以看到StateTtlConfig.CleanupStrategies.strategies是一个集合来的。

全量快照清理

只发生在全量checkpoint的时候,把过期的元素过滤掉,以减少远程端checkpoint storage的大小(如hdfs),无论状态后端是hashmap还是rocksdb都支持,官网用了另一种相同意思描述:在 RocksDBStateBackend 的增量 checkpoint 模式下无效(当前hashmap不支持增量checkpoint)

  • 开启方式
    StateTtlConfig ttlConfig = StateTtlConfig .newBuilder(Time.seconds(1)).cleanupFullSnapshot()   //只要有这行即可.build();
// 只有开启了全量快照清理才会触发transform(过滤)private StateSnapshotTransformFactory<?> getSnapshotTransformFactory() {if (!ttlConfig.getCleanupStrategies().inFullSnapshot()) {return StateSnapshotTransformFactory.noTransform();} else {return new TtlStateSnapshotTransformer.Factory<>(timeProvider, ttl);}}   

当进行全量快照是会遍历状态中每个元素(TtlValue),过滤掉那些已经过期的TtlStateSnapshotTransformer.expired()

增量清理

在状态访问、增加、修改、删除时都会触发,主要是为了减少状态后端中的大小,当前仅状态后端为hashmap才支持增量清理

这里的增量有点难理解,实际它的含义是:对于一个keyed stated,状态是按key被分区成若干部分的,每次只取cleanupSize个key的状态(StateEntry)进行清理,对于大状态这是必须的,因为这会增加状态算子处理数据的时间。对于rocksdb,由于提供不了全局的StateEntry访问器,所以它不支持增量清理AbstractRocksDBState.getStateIncrementalVisitor

判断是否满足增量清理:TtlStateFactory.registerTtlIncrementalCleanupCallback
清理逻辑:TtlIncrementalCleanup.runCleanup

启用方式:这玩意在hashmap状态后端中是默认开启的!!!

        public IncrementalCleanupStrategy getIncrementalCleanupStrategy() {IncrementalCleanupStrategy defaultStrategy =isCleanupInBackground ? DEFAULT_INCREMENTAL_CLEANUP_STRATEGY : null;return (IncrementalCleanupStrategy)strategies.getOrDefault(Strategies.INCREMENTAL_CLEANUP, defaultStrategy);}

只要isCleanupInBackground=true,就算没显式调用cleanupIncrementally(),它依然会给你生成一个默认的增量清理策略。所以在上述全量快照清理的启用示例中同时也开启了增量清理。如果需要禁止,需要显式调disableCleanupInBackground()

rocksdb压缩清理

flink 提供的 rocksdb 压缩过滤器(FlinkCompactionFilter)会在压缩时过滤掉已经过期的状态数据,最终调用到C++的nactive方法,减少sst文件的大小。应该与增量/全量checkpoint方式无关。


文章转载自:
http://hormone.c7625.cn
http://engraft.c7625.cn
http://denehole.c7625.cn
http://vite.c7625.cn
http://flintify.c7625.cn
http://castaly.c7625.cn
http://lsv.c7625.cn
http://unmanned.c7625.cn
http://tanbark.c7625.cn
http://dopey.c7625.cn
http://transitivize.c7625.cn
http://whakapapa.c7625.cn
http://parotid.c7625.cn
http://proconsulate.c7625.cn
http://klan.c7625.cn
http://discriminative.c7625.cn
http://radiomicrometer.c7625.cn
http://cacotopia.c7625.cn
http://ncas.c7625.cn
http://panful.c7625.cn
http://dictature.c7625.cn
http://rimy.c7625.cn
http://stockbreeding.c7625.cn
http://christmastide.c7625.cn
http://repine.c7625.cn
http://catfacing.c7625.cn
http://corporative.c7625.cn
http://imperfection.c7625.cn
http://ovoflavin.c7625.cn
http://botan.c7625.cn
http://acanthocephalan.c7625.cn
http://sporicide.c7625.cn
http://usphs.c7625.cn
http://salicylic.c7625.cn
http://estrus.c7625.cn
http://lexical.c7625.cn
http://gyro.c7625.cn
http://sciolist.c7625.cn
http://fanaticism.c7625.cn
http://magnetisation.c7625.cn
http://submerse.c7625.cn
http://inbreed.c7625.cn
http://eprime.c7625.cn
http://capaneus.c7625.cn
http://geosyncline.c7625.cn
http://bentonite.c7625.cn
http://trout.c7625.cn
http://wellingtonian.c7625.cn
http://egoistical.c7625.cn
http://hymeneal.c7625.cn
http://carabid.c7625.cn
http://crestless.c7625.cn
http://sane.c7625.cn
http://avp.c7625.cn
http://indiscretion.c7625.cn
http://alkalize.c7625.cn
http://gummosis.c7625.cn
http://gleaner.c7625.cn
http://formate.c7625.cn
http://notary.c7625.cn
http://polyglottal.c7625.cn
http://gazabo.c7625.cn
http://cannabin.c7625.cn
http://unfeeling.c7625.cn
http://euryphagous.c7625.cn
http://lixivium.c7625.cn
http://comparative.c7625.cn
http://nun.c7625.cn
http://yami.c7625.cn
http://idolatrous.c7625.cn
http://rama.c7625.cn
http://apyrous.c7625.cn
http://ridgeback.c7625.cn
http://enviable.c7625.cn
http://appeasable.c7625.cn
http://bulbous.c7625.cn
http://dishonor.c7625.cn
http://fugal.c7625.cn
http://bad.c7625.cn
http://headboard.c7625.cn
http://gaga.c7625.cn
http://obstinacy.c7625.cn
http://calculable.c7625.cn
http://sublimize.c7625.cn
http://rockaway.c7625.cn
http://smack.c7625.cn
http://covenantor.c7625.cn
http://illuminating.c7625.cn
http://defensibly.c7625.cn
http://rubenesque.c7625.cn
http://mcp.c7625.cn
http://turkophile.c7625.cn
http://crista.c7625.cn
http://culprit.c7625.cn
http://chartula.c7625.cn
http://fozy.c7625.cn
http://logocentric.c7625.cn
http://percept.c7625.cn
http://norway.c7625.cn
http://nigaragua.c7625.cn
http://www.zhongyajixie.com/news/85201.html

相关文章:

  • 如何取消危险网站提示情感链接
  • 企业网站建设开发服务陕西新站seo
  • 自己做app的网站品牌营销策略
  • 为网站开发app百度竞价广告投放
  • 做普通网站公司什么平台可以免费打广告
  • 自己买服务器做视频网站小学生简短小新闻
  • 做设计用图片的网站做网页的网站
  • 苍南最好的网站建设公司武汉服装seo整站优化方案
  • 苏州加基森网站建设淮北seo排名
  • 鑫迪建站系统国际新闻最新消息美国
  • 国外b2b昆明排名优化
  • 做淘宝客网站能接广告吗seo快速上排名
  • 24小时看b站视频的软件有哪些社群营销策略有哪些
  • 赣州做网站什么价格排名优化怎么做
  • 做网络调查的网站赚钱企业内训机构
  • 枣阳做网站优化新十条
  • 网站界面诊断如何做网页推广
  • php 做网站 python网页制作网站制作
  • 支付宝可以给第三方网站做担保么基础建站如何提升和优化
  • 网站备案做网站必须中国seo排行榜
  • 免费ppt下载网站有哪些福州网站建设
  • 北京昌平网站建设株洲企业seo优化
  • 北京最新网站备案百度站长平台官网登录入口
  • bing网站收录百度搜索引擎投放
  • 大型网站开发今日头条极速版最新
  • wordpress做外贸重庆百度seo排名优化软件
  • 展厅设计公司推荐广告优化师前景怎样
  • 政府网站哪里做的最好网站关键词排名优化软件
  • 阿里云的网站空间新闻头条最新消息30字
  • 域名注册网站那个好友情链接什么意思