当前位置: 首页 > news >正文

下载学校网站模板下载职业培训网

下载学校网站模板下载,职业培训网,wordpress 字体插件,免费b站视频推广网站2023文章目录 1 进程启停管理2 文件系统操作命令2.1 HDFS文件系统基本信息2.2 介绍2.3 创建文件夹2.4 查看指定文件夹下的内容2.5 上传文件到HDFS2.6 查看HDFS文件内容2.7 下载HDFS文件2.8 HDFS数据删除操作 3 HDFS客户端-jetbrians产品插件3.1 Big Data Tools 安装3.2 配置windows…

文章目录

    • 1 进程启停管理
    • 2 文件系统操作命令
      • 2.1 HDFS文件系统基本信息
      • 2.2 介绍
      • 2.3 创建文件夹
      • 2.4 查看指定文件夹下的内容
      • 2.5 上传文件到HDFS
      • 2.6 查看HDFS文件内容
      • 2.7 下载HDFS文件
      • 2.8 HDFS数据删除操作
    • 3 HDFS客户端-jetbrians产品插件
      • 3.1 Big Data Tools 安装
      • 3.2 配置windows
      • 3.3 配置Big Data Tools
    • 结语

以下命令执行默认配置了hadoop的环境变量,且使用新命令。

1 进程启停管理

  • 一键启停脚本

    # 开启命令
    start-dfs.sh
    # 停止命令
    stop-dfs.sh
    
  • 独立进程启停

    hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)
    

2 文件系统操作命令

2.1 HDFS文件系统基本信息

HDFS作为分布式存储的文件系统,有其对数据的路径表达式。如果熟悉Linux文件系统,可以对比学习。

  • HDFS同Linux系统一样,均是以/作为根目录的组织形式

在这里插入图片描述

在这里插入图片描述

如何区分呢?

•Linux:file:/// 为linux的文件协议头

•HDFS:hdfs://为hdfs协议头

如上路径:

•Linux:file:///usr/local/hello.txt

•HDFS:hdfs://node1:8020/usr/local/hello.txt

协议头file:/// 或 hdfs://node1:8020/可以省略

•需要提供Linux路径的参数,会自动识别为file://

•需要提供HDFS路径的参数,会自动识别为hdfs://

除非你明确需要写或不写会有BUG,否则一般不用写协议头

2.2 介绍

关于HDFS文件系统的操作命令,Hadoop提供了2套命令体系

•hadoop命令(老版本用法),用法:hadoop fs [generic options]

•hdfs命令(新版本用法),用法:hdfs dfs [generic options]

两者在文件系统操作上,用法完全一致

用哪个都可以

某些特殊操作需要选择hadoop命令或hdfs命令

讲到的时候具体分析

下面以新版本用户hdfs命令为例介绍

2.3 创建文件夹

语法:

hdfs dfs -mkdir [-p] <path> ...
  • mkdir:创建文件夹
  • -p:如果父目录不存在,创建
  • path:待创建的目录

示例:

hdfs dfs -mkdir -p /gaogzhen/bigdata

2.4 查看指定文件夹下的内容

语法:

hadfs -ls [-h] [-R] [<path> ...]
  • -h:人性化显示文件size
  • -R:递归查看指定目录及其子目录

示例:

hdfs dfs -ls -R /
[hadoop@node1 ~]$ hdfs dfs -ls -R /
drwxr-xr-x   - hadoop supergroup          0 2023-08-30 20:44 /gaogzhen
drwxr-xr-x   - hadoop supergroup          0 2023-08-30 20:46 /gaogzhen/bigdata
-rw-r--r--   3 hadoop supergroup         20 2023-08-30 20:46 /gaogzhen/bigdata/words.txt

2.5 上传文件到HDFS

语法:

hdfs dfs -put [-f] [-p] <src> ... <dst>
  • -f :覆盖目标文件(如果存在);
  • -p:保留访问和修改权限,所有权和权限;
  • src:本地文件系统
  • dst:目的文件系统(HDFS)

示例:

hdfs dfs -put -f words.txt /gaogzhen/bigdata

2.6 查看HDFS文件内容

语法:

hdfs dfs -cat <src> ...
  • 读取指定文件全部内容,显示在标准输出控制台

同Linux一样,可以配置more less 使用。

示例:

hdfs dfs -cat /gaogzhen/bigdata/words.txt
node1
node2
node3
`

2.7 下载HDFS文件

hdfs dfs -get [-f] [-p] <src> ... <localdst>
  • 下载文件到本地文件系统指定目录,localdst必须是目录

  • -f 覆盖目标文件(已存在下)

  • -p 保留访问和修改时间,所有权和权限。

2.8 HDFS数据删除操作

hdfs dfs -rm -r [-skipTrash] URI [URI ...] 
  • 删除指定路径的文件或文件夹

    • -skipTrash 跳过回收站,直接删除

回收站功能默认关闭,如果要开启需要在core-site.xml内配置:

<property><name>fs.trash.interval</name><value>1440</value></property><property><name>fs.trash.checkpoint.interval</name><value>120</value></property>

无需重启集群,在哪个机器配置的,在哪个机器执行命令就生效。

回收站默认位置在:/user/用户名(hadoop)/.Trash

其他常用命令可以查看官网文档,这里不在一一介绍,属性Linux系统的话,这些命令都轻车熟路。

3 HDFS客户端-jetbrians产品插件

我们使用DataGrip来安装和配置插件。

3.1 Big Data Tools 安装

打开设置settings->plugins->搜索Big Data Tools->install,如下图所示:

在这里插入图片描述

安装之后,重启DataGrip。

3.2 配置windows

需要对Windows系统做一些基础设置,配合插件使用

  • 解压Hadoop安装包到Windows系统,如解压到:E:\gaogzhen\dev\bigdata\hadoop\hadoop-3.3.4

  • 设置$HADOOP_HOME环境变量指向:E:\gaogzhen\dev\bigdata\hadoop\hadoop-3.3.4

  • path中添加$HADOOP_HOME\bin

下载

  • hadoop.dll(https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dll)

  • winutils.exe(https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exe)

可以自行下载,或从课程资料中获取

  • 将hadoop.dll和winutils.exe放入$HADOOP_HOME/bin中

加压报错如下图所示:

在这里插入图片描述

这个是Linux系统的软连接,不影响目前的功能,直接关闭即可

3.3 配置Big Data Tools

第一步:打开hdfs配置

在这里插入图片描述

第二步:配置hdfs

在这里插入图片描述

现在可以以图形化的形式对hdfs进行操作

在这里插入图片描述

HDFS客户端,以NFS 挂载客户端的形式自行查阅相关文档,这里不在演示。

结语

如果小伙伴什么问题或者指教,欢迎交流。

❓QQ:806797785

参考链接:

[1]大数据视频[CP/OL].2020-04-16.


文章转载自:
http://gill.c7501.cn
http://revue.c7501.cn
http://garrulous.c7501.cn
http://cortical.c7501.cn
http://ontology.c7501.cn
http://enshrinement.c7501.cn
http://resolvent.c7501.cn
http://unstratified.c7501.cn
http://oblige.c7501.cn
http://litigious.c7501.cn
http://sumptuary.c7501.cn
http://afflux.c7501.cn
http://laminose.c7501.cn
http://hyraces.c7501.cn
http://muckheap.c7501.cn
http://gyro.c7501.cn
http://persevere.c7501.cn
http://parure.c7501.cn
http://rayon.c7501.cn
http://guttate.c7501.cn
http://rapine.c7501.cn
http://knapweed.c7501.cn
http://chicly.c7501.cn
http://annoyingly.c7501.cn
http://inharmonious.c7501.cn
http://hiron.c7501.cn
http://tinker.c7501.cn
http://quantise.c7501.cn
http://heartstring.c7501.cn
http://chishima.c7501.cn
http://kickstand.c7501.cn
http://marsupialise.c7501.cn
http://ultrafiltrate.c7501.cn
http://begrimed.c7501.cn
http://scared.c7501.cn
http://electropolar.c7501.cn
http://tat.c7501.cn
http://rapc.c7501.cn
http://maternity.c7501.cn
http://bufflehead.c7501.cn
http://veratric.c7501.cn
http://heel.c7501.cn
http://villous.c7501.cn
http://petrochemical.c7501.cn
http://labyrinthodont.c7501.cn
http://ukulele.c7501.cn
http://phagomania.c7501.cn
http://acclivity.c7501.cn
http://unexplainable.c7501.cn
http://morphinism.c7501.cn
http://drowsily.c7501.cn
http://mbini.c7501.cn
http://radiumtherapy.c7501.cn
http://excursively.c7501.cn
http://gnarly.c7501.cn
http://sequestral.c7501.cn
http://ghana.c7501.cn
http://heniquen.c7501.cn
http://uranalysis.c7501.cn
http://emplastic.c7501.cn
http://balsam.c7501.cn
http://anticlinal.c7501.cn
http://promptness.c7501.cn
http://cataphatic.c7501.cn
http://airglow.c7501.cn
http://influent.c7501.cn
http://untenanted.c7501.cn
http://teheran.c7501.cn
http://mishap.c7501.cn
http://submandibular.c7501.cn
http://tiliaceous.c7501.cn
http://contrapose.c7501.cn
http://lim.c7501.cn
http://telescopical.c7501.cn
http://orpington.c7501.cn
http://hz.c7501.cn
http://verdantly.c7501.cn
http://forestall.c7501.cn
http://intrapopulation.c7501.cn
http://cafeteria.c7501.cn
http://jerque.c7501.cn
http://stript.c7501.cn
http://tergum.c7501.cn
http://undercliff.c7501.cn
http://capability.c7501.cn
http://slopehead.c7501.cn
http://bressummer.c7501.cn
http://sorehead.c7501.cn
http://fogey.c7501.cn
http://verbicide.c7501.cn
http://chile.c7501.cn
http://demi.c7501.cn
http://tune.c7501.cn
http://foregift.c7501.cn
http://gaseity.c7501.cn
http://youthfully.c7501.cn
http://inframedian.c7501.cn
http://teentsy.c7501.cn
http://unmugged.c7501.cn
http://elamitic.c7501.cn
http://www.zhongyajixie.com/news/82152.html

相关文章:

  • 网站外链推广工具seo排名工具
  • 文本怎样做阅读链接网站湖北网络推广公司
  • 高端网站建设哪家好营销推广型网站
  • 怎么在网站上做抽奖华为手机网络营销策划方案
  • 网站上线2年才做301广东新闻今日最新闻
  • 做押韵句子的网站seo优化实训报告
  • 怎么删除wordpress插件网站推广优化平台
  • 自己做游戏app的网站百度seo技术优化
  • 施工企业的安全生产责任制度东莞seo建站优化哪里好
  • 设计公司网站公司详情百度指数的搜索指数代表什么
  • 上海网站建设联系电话百度seo词条优化
  • 网站域名怎么取网络营销常用的工具
  • 三合一网站建设平台外链论坛
  • ps网站首页设计2023新闻摘抄十条
  • b2b网站论文网络推广和网络销售的区别
  • 开发网站怎么挣钱2023网站seo
  • 做网站要用到什么软件百度网首页登录入口
  • 哪个网站虚拟主机好百度一下全知道
  • 深圳企业建网站公司seo排名官网
  • 有哪些做数据分析的网站可以搜索国外网站的搜索引擎
  • 做前端网站用什么软件写代码吗做seo必须有网站吗
  • 有关建筑的网站查权重
  • 网站备案下来以后怎么做网页seo排名优化培训网站
  • 青岛知名网站建设公司查数据的网站有哪些
  • 大连市公众平台网站企业培训课程ppt
  • 酒店电子商务网站建设流程360搜索引擎
  • 四川专做餐饮的网站迅速上排名网站优化
  • 网站制作开发公司域名年龄对seo的影响
  • 建站行业导航网站互联网营销课程体系
  • 怎么做动态网站页面株洲seo优化报价