当前位置: 首页 > news >正文

做团购网站需要注册哪些商标深圳推广公司介绍

做团购网站需要注册哪些商标,深圳推广公司介绍,有做soho网站的吗,新河企业做网站目录 一、动态扩容、节点上线 1.1 背景 1.2 扩容步骤 1.2.1 新机器基础环境准备 1.2.2 Hadoop 配置 1.2.3 手动启动 DataNode 进程 1.2.4 Web 页面查看情况 1.2.5 DataNode 负载均衡服务 二、动态缩容、节点下线 2.1 背景 2.2 缩容步骤 2.2.1 添加退役节点 …

目录

一、动态扩容、节点上线

1.1 背景

1.2 扩容步骤 

1.2.1 新机器基础环境准备

1.2.2 Hadoop 配置 

1.2.3 手动启动 DataNode 进程

1.2.4 Web 页面查看情况 

1.2.5 DataNode 负载均衡服务 

二、动态缩容、节点下线

2.1 背景 

2.2 缩容步骤 

2.2.1 添加退役节点

2.2.2 刷新集群 

2.2.3 手动关闭 DataNode 进程 

2.2.4 DataNode 负载均衡服务 

三、HDFS 集群黑、白名单机制

3.1 白名单 

3.2 黑名单 


 

一、动态扩容、节点上线

1.1 背景

节点上线:已有 HDFS 集群容量已不能满足存储数据的需求,需要在原有集群基础上动态添加新的 DataNode 节点

俗称动态扩容、节点服役。

1.2 扩容步骤 

1.2.1 机器基础环境准备

        准备一台新的机器,设置好主机名、IP(192.168.170.139),做好 Hosts 映射、SSH 免密登录和时间同步,关闭防火墙以及安装 JDK 环境。

具体操作请看这篇文章:Hadoop 3.2.4 集群搭建详细图文教程_Stars.Sky的博客-CSDN博客 

1.2.2 Hadoop 配置 

  1. 修改 namenode 节点 workers 配置文件,增加新节点主机名,便于后续一键启停
  2. 从 namenode 节点复制 scp hadoop 安装包到新节点,注意不包括 hadoop.tmp.dir 指定的数据存储目录
  3. 新机器上配置 hadoop 环境变量(/etc/profile)。 

1.2.3 手动启动 DataNode 进程

[root@hadoop04 ~]# hdfs --daemon start datanode

1.2.4 Web 页面查看情况 

地址:http://hadoop01:9870/ 

1.2.5 DataNode 负载均衡服务 

        新加入的节点,没有数据块的存储,使得集群整体来看负载不均衡。因此最后还需要对 hdfs 负载设置均衡。(在 Hadoop01 执行)

# 首先设置数据传输带宽
hdfs dfsadmin -setBalancerBandwidth 104857600# 然后启动 Balancer,等待集群自均衡完成即可
hdfs balancer -threshold 5

二、动态缩容、节点下线

2.1 背景 

节点下线:服务器需要进行退役更换,需要在当下的集群中停止某些机器上 datanode 的服务。

俗称动态缩容、节点退役。

2.2 缩容步骤 

2.2.1 添加退役节点

        在 namenode 机器的 hdfs-site.xml 配置文件中需要提前配置 dfs.hosts.exclude 属性,该属性指向的文件就是所谓的黑名单列表,会被 namenode 排除在集群之外。如果文件内容为空,则意味着不禁止任何机器。

        提前配置好的目的是让 namenode 启动的时候就能加载到该属性,只不过还没有指定任何机器。否则就需要重启 namenode 才能加载,因此这样的操作我们称之为具有前瞻性的操作

[root@hadoop01 ~]# cd /bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop/
[root@hadoop01 /bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]# vim hdfs-site.xml 
<property><name>dfs.hosts.exclude</name><value>/bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop/excludes</value>
</property>[root@hadoop01 /bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]# scp hdfs-site.xml hadoop02:$PWD
hdfs-site.xml                                                                                                         100% 1256   632.5KB/s   00:00    
[root@hadoop01 /bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]# scp hdfs-site.xml hadoop03:$PWD
hdfs-site.xml                                                                                                         100% 1256   112.6KB/s   00:00    
[root@hadoop01 /bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]# scp hdfs-site.xml hadoop04:$PWD
hdfs-site.xml                                                                                                         100% 1256   516.4KB/s   00:00

        编辑 dfs.hosts.exclude 属性指向的 excludes 文件,添加需要退役的主机名称。注意:如果副本数是 3,服役的节点小于等于 3,是不能退役成功的,需要修改副本数后才能退役

# 重新启动 HDFS 集群,使配置生效
[root@hadoop01 /bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]# stop-dfs.sh 
[root@hadoop01 /bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]# start-dfs.sh [root@hadoop01 /bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]# vim excludes
hadoop04

2.2.2 刷新集群 

在 namenode 所在的机器刷新节点:hdfs dfsadmin -refreshNodes

等待退役节点状态为 decommissioned(所有块已经复制完成)。

[root@hadoop01 /bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]# hdfs dfsadmin -refreshNodes
Refresh nodes successful

正在退役:

退役完成:

2.2.3 手动关闭 DataNode 进程 

[root@hadoop04 ~]# hdfs --daemon stop datanode
[root@hadoop04 ~]# jps
20310 Jps

2.2.4 DataNode 负载均衡服务 

如果需要可以对已有的 HDFS 集群进行负载均衡服务:

hdfs balancer –threshold 5

三、HDFS 集群黑、白名单机制

3.1 白名单 

        所谓的白名单指的是允许哪些机器加入到当前的 HDFS 集群中,是一种准入机制。白名单由 dfs.hosts 参数指定,该参数位于 hdfs-site.xml。默认值为空。dfs.hosts 指向文件,该文件包含允许连接到 namenode 的主机列表。必须指定文件的完整路径名。如果该值为空,则允许所有主机准入。

3.2 黑名单 

        所谓的黑名单指的是禁止哪些机器加入到当前的 HDFS 集群中,是一种禁入机制。黑名单由dfs.hosts.exclude 参数指定,该参数位于 hdfs-site.xml。默认值为空。dfs.hosts.exclude 指向文件,该文件包含不允许连接到名称节点的主机列表。必须指定文件的完整路径名。如果该值为空,则不禁止任何主机加入。 

上一篇文章:Hadoop 3.2.4 集群搭建详细图文教程_Stars.Sky的博客-CSDN博客

http://www.zhongyajixie.com/news/17865.html

相关文章:

  • 做暖暖视频网站观看2020做seo还有出路吗
  • 动易网站做值班表seo外包顾问
  • 网站架构设计招聘重庆seo服务
  • 深圳高端网站案例网络推广营销策划方案
  • 网站样式建网站seo
  • 成都大型网站建设南京百度推广开户
  • wordpress裁剪失败如何优化搜索引擎
  • 临沂网站制作公司哪家好百度如何发布作品
  • 国外做兼职网站有哪些热点营销案例
  • 网站建设的市场规模seo整站优化方案
  • 如何建英文网站seo自媒体运营技巧
  • 网站公告栏代码深圳谷歌优化seo
  • 陈铭生缉毒警察seo网站快排
  • 怎么自己免费创建网站电商网页
  • 淘宝联盟自建网站教程网上推广产品哪个网好
  • wordpress对网站排名推广软件的渠道有哪些
  • 延安网站建设网站推广包括
  • b2c网站架构链接购买
  • html做的旅游网站百度系app有哪些
  • 消防做设计有什么网站厦门最快seo
  • 做网站如何文字链接文字360关键词指数查询
  • 网站统计源码搜索引擎营销的优势
  • 做网站需要解析吗苏州seo服务热线
  • 买了个域名 如何自己做网站关键词工具软件
  • wordpress 模版 婚礼东莞seo顾问
  • web网站设计要怎么做竞价账户托管公司哪家好
  • 汉高建设公司网站semen
  • 长沙seo优化首选合肥seo推广培训班
  • 成都响应式网站杭州网站制作排名
  • 做一个中英文双语网站建设多少钱什么叫做关键词