当前位置: 首页 > news >正文

迎中国建设银行网站自己创建网页

迎中国建设银行网站,自己创建网页,助农网站策划书,公司网站大顶图怎么做hive运行失败会导致临时目录无法自动清理,因此需要自己写脚本去进行清理 实际发现hive临时目录有两个: /tmp/hive/{user}/* /warehouse/tablespace//hive/**/.hive-staging_hive 分别由配置hive.exec.scratchdir和hive.exec.stagingdir决定: 要注意的…

hive运行失败会导致临时目录无法自动清理,因此需要自己写脚本去进行清理

实际发现hive临时目录有两个:
/tmp/hive/{user}/*
/warehouse/tablespace//hive/**/.hive-staging_hive

分别由配置hive.exec.scratchdir和hive.exec.stagingdir决定:
在这里插入图片描述
在这里插入图片描述
要注意的是stagingdir可能存在多个层级的目录中,比如xxx.db/.hive-staging_xxx,xxx.db/${table}/.hive-staging_xxx。这里为了偷懒,只清理两层即可,如果发现有更多层,再多加一层的调用即可

创建清理脚本clean_hive_tmpfile.sh

#!/bin/bash
usage="Usage: cleanup.sh [days]"if [ ! "$1" ]thenecho $usageexit 1
finow=$(date +%s)
days=$1cleanTmpFile() {echo "clean path:"$1su hdfs -c "hdfs dfs -ls -d $1" | grep "^d" | while read f; dodir_date=`echo $f | awk '{print $6}'`difference=$(( ( $now - $(date -d "$dir_date" +%s) ) / (24 * 60 * 60 ) ))if [ $difference -gt $days ]; thenecho $fname=`echo $f| awk '{ print $8 }'`echo "delete:"$namesu hdfs -c "hadoop fs -rm -r -skipTrash $name"fidone}cleanTmpFile /tmp/hive/*/*
cleanTmpFile "/warehouse/tablespace/*/hive/*/.hive-staging_*"
cleanTmpFile "/warehouse/tablespace/*/hive/*/*/.hive-staging_*"

配置crontab,每天凌晨2点执行,清理30天以前的目录

0 2 * * * sh /data/script/clean_hive_tmpfile.sh 30 >> /tmp/clean_hive_tmpfile.log

参考:
https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-hive.start.cleanup.scratchdir
https://www.cnblogs.com/ucarinc/p/11831280.html
https://blog.csdn.net/zhoudetiankong/article/details/51800887
http://t.zoukankan.com/telegram-p-10748530.html

http://www.zhongyajixie.com/news/40284.html

相关文章:

  • 自己怎样用手机建网站网页设计实训报告
  • 手机怎样用网站做成软件事件营销成功案例
  • 周宁县建设局网站上海关键词优化排名哪家好
  • 成都网站开发多少钱b站推广网站
  • 做基因结构可以用哪个网站哪个平台推广效果好
  • 政府网站建设技术问题什么是关键词推广
  • 网站建设中源码下载网站推广主要是做什么
  • 国内网站做得好的公司win7运行速度提高90%
  • 常州网站建设专业的公司湖南网站营销seo方案
  • 河南省工程建设信息官方网站太原网站优化公司
  • 网站建设网址网站制作网络营销ppt怎么做
  • 旅游网站建设方案书2023年小学生简短小新闻
  • 已有网站备案更换idc 多久公司免费推广网站
  • 做一个个人网页多少钱seo分析报告
  • 建设主管部门官方网站百度推广如何代理加盟
  • ic商城网站建设南大网络营销的网站建设
  • 静态网站做新闻系统南宁网络推广服务商
  • 淘宝上做网站SEO靠谱吗外链工具下载
  • 怎么利用公网做网站如何制作网址链接
  • 信息发布网站怎么做百度免费发布信息网站
  • WordPress会员积分插件搜索关键词优化排名
  • 外卖网站那家做的好十大跨界营销案例
  • 推广优化网站排名建网站怎么建
  • wordpress 换域名 全站301重定向seo在线优化工具 si
  • 怎么查看网站访问速度西安刚刚宣布
  • 潍坊做网站张家口免费推广app
  • 做网站通过什么挣钱seo的作用有哪些
  • 做网站的人怎么联系百度网址安全中心怎么关闭
  • 做淘宝美工的网站品牌广告文案
  • 做网站怎么加弹幕百度快速排名优化技术