二：zeekeeper+hadoop HA配置及启动停止_魏忠贵的博客-CSDN博客
二：zeekeeper+hadoop HA配置及启动停止
魏忠贵
于 2018-11-28 16:30:02 发布
467
收藏
分类专栏：
Hadoop
文章标签：
hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weizhonggui/article/details/84582285
版权
Hadoop
专栏收录该内容
4 篇文章
0 订阅
订阅专栏
内容：在前面准备工作（多机共享+文件已经上传+JDK已安装）情况下，我们将关注zeekeeper配置启动，hadoop配置启动，并观察各项具体配置和启动流程和相应的进程顺序，同时关闭相关HA,查看其关闭流程。
目录结构：
解压文件配置环境zookeeper配置hadoop配置zook/hadoop启动web浏览关闭流程
1、解压文件和配置环境
tar -xzvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ../app/
mkdir $HADOOP_HOME/data; logs; tmp
chmod -R 777 tmp
2、zookeeper配置
cd /home/hadoop/app/zookeeper-3.4.6/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
scp zoo.cfg hadoop002:/home/hadoop/app/zookeeper-3.4.6/conf
cd /home/hadoop/app/zookeeper-3.4.6
mkdir data
touch data/myid
echo 1 >data/myid
cat data/myid
3、hadoop配置
对几个配置文件需要做更深入探讨
cd /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
vim hadoop-env.sh
scp hadoop-env.sh hadoop002:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
rm -f core-site.xml hdfs-site.xml slaves yarn-site.xml
rz core-site.xml hdfs-site.xml slaves yarn-site.xml
4、hadoop启动
$ZOOKEEPER_HOME/bin/zkServer.sh start
cd /home/hadoop/app/hadoop-2.6.0-cdh5.7.0
hadoop-daemon.sh start journalnode
hadoop namenode -format
scp -r data hadoop002:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/
hdfs zkfc -formatZK
yum install -y dos2unix
start-dfs.sh
start-yarn.sh
5、WEB界面：
5.1：year界面登陆：IP:8088
5.2：登陆hadoop:IP :50070
6、关闭流程：
stop-yarn.sh
stop-dfs.sh
$ZOOKEEPER_HOME/bin/zkServer.sh stop
魏忠贵
关注
关注
点赞
收藏
打赏
评论
二：zeekeeper+hadoop HA配置及启动停止
内容：在前面准备工作（多机共享+文件已经上传+JDK已安装）情况下，我们将关注zeekeeper配置启动，hadoop配置启动，并观察各项具体配置和启动流程和相应的进程顺序，同时关闭相关HA,查看其关闭流程。目录结构：zookeeper配置hadoop配置zookeeper启动hadoop配置整体启动流程整体关闭流程1:解压文件和配置环境tar -xzvf hadoo...
复制链接
扫一扫
专栏目录
dubbo+zeekeeper Demo
11-08
Dubbo + zeekeeper 初学者的的的Demo 整合了很久 其中zeekeeper是搭建在我本地虚拟机中的
ZeeKeeper 集群 伪分布式配置 zookeeper的使用
云计算?
11-21
175
纯粹笔记 ：不多说了。
解压tar.gz文件,配置修改配置conf
1,将zoo_sample.cfg 拷贝3分 zoo1.cfg，zoo2.cfg，zoo3.cfg
******************************************************************
1，zoo1.cfg:
－－－－－－－－－－－－－－－－－－－－－－－－－－－
tin...
评论 2
您还未登录，请先
登录
后发表或查看评论
hadoop集群关闭命令顺序_hadoop HA分布式集群搭建后再次启动步骤
weixin_42153615的博客
01-14
243
(注:此搭建的hadoop HA只含有zookeeper,hadoop;若有其他组件，需按相应组件启动顺序。)hadoop HA分布式集群搭建成功后一些首次启动需要格式化的步骤可以省略。根据需要可只启动如下：第一步：启动zookeeper在安装zookeeper集群的主机的目录zookeeper-3.4.5/bin/分别启动./zkServer.sh start#查看状态：分别有leader，fo...
zookeeper安装以及使用
燕少江湖
07-05
1万+
1、zookeeper简介zookeeper(以下简称ZK)是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop、Hbase、Kafka、Jstorm等开源软件的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZK的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功......
Hadoop搭建HA的步骤与讲解--详细
大黑牛的博客
07-27
1231
前提: 已经有搭建过hadoop集群了，本文章主要是在Hadoop条件下搭建HA，
现在让我们先在主节点master搭建HA,并测试：
搭建HA的步骤：（要保证各master，slave1，slave2三个可以互相ssh无密登陆）
1. 创建软链接：
ln -s hadoop_cluster_ha ...
zookeeper详解
weixin_38612401的博客
06-13
4万+
zookeeper详解，zookeeper的选主流程，zookeeper的数据一致性，原子广播协议，分布式协调服务，分布式锁，配置中心
hadoop集群安装好之后的启动操作
weixin_30381793的博客
11-18
294
hadoop状态的手动切换：不推荐，但是可用
hdfs haadmin -transitionToActive/standby nn2 -forcemanaual
hdfs haadmin -getservicestate nn1/nn2 查看状态
1，启动456的zookeeper cd /root/soft/zookeeper-3.4.6/bin ./zkServer.sh st...
Hadoop的启动和停止说明
aabb7654321的博客
04-13
3395
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager
sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、Nod...
zookeeper介绍
最新发布
weixin_49107940的博客
07-06
9589
Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。
Hadoop的HA集群启动和停止流程
weixin_34056162的博客
01-01
293
假设我们有3台虚拟机，主机名分别是hadoop01、hadoop02和hadoop03。
这3台虚拟机的Hadoop的HA集群部署计划如下：
　　　　
3台虚拟机的Hadoop的HA集群部署计划
hadoop01
zookeeper
journalnode
nodemanager
datanode
resourcemanager
namenode
zkfc
...
Hadoop高可用HA原理-全流程讲解
青冬的博客
05-22
772
Hadoop高可用全流程讲解
since：2021年5月22日 21:36
auth：Hadi
参考：
https://blog.csdn.net/weixin_40652340/article/details/78557775
https://blog.csdn.net/weixin_42782897/article/details/89335674
https://blog.csdn.net/qq_24852439/article/details/104185496
前言
玩...
HadoopHa介绍及执行流程
大数据记录
03-11
8124
HadoopHa 介绍
HA(High Available), 高可用，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，分为活动节点（Active）及备用节点（Standby）。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而...
Hadoop HA 集群启动时各进程的启动顺序以及停止顺序
qq_40727267的博客
08-23
2107
启动顺序
zkServer.sh start
start-all.sh
namenode
datanode
journalnode
zkfc
resourcemanager
nodemanager
手动启动standby reourcemanager
historyserver
停止顺序与启动相反
三台机器集群Hadoop HA的启动和停止-小总结
liweihope的博客
04-17
1004
三台机器hadoop001、hadoop002、hadoop003
部署了hdfs ha、yarn ha
启动集群顺序：
1.进入zookeeper的bin目录，启动zookeeper
./zkServer.sh start
另外两台都手动启一下
2.进入hadoop的sbin目录，启动journalnode，
hadoop-daemon.sh start journalnode
另外两台都手动启...
Hadoop：启动与停止命令
oraclestudyroad的博客
07-25
7万+
Hadoop认证培训：启动与停止命令，在安装配置了Hadoop的伪分布式环境后就可以启动Hadoop了，首先需要格式化HDFS分布式文件系统，进入Hadoop的bin目录，操作命令如下：
hadoop namenode -format
正常格式化HDFS的显示截图，如图2-1所示。
然后就可以启动Hadoop，进入Hadoop的bin目录，操作命令如下：
分布式任务&分布式锁
angjiu8534的博客
07-28
63
　　目前系统中存在批量审批、批量授权等各个操作，批量操作中可能因为处理机器、线程不同，造成刷新缓存丢失授权等信息，如批量审批同一用户权限多个权限申请后，流程平台并发的发送多个http请求到acl不同服务器，a机器处理了授权a，b机器同时处理了授权b，然后刷新用户缓存。因为在事务里彼此看不见对方提交的数据，刷新时又完全从db中读取要刷新的数据，就造成了互相丢失对方的数据。因此，需要一个分布...
记录springcloud ==Hoxtonl版本
weixin_44540130的博客
06-02
120
系列文章目录
提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加
例如：第一章 Python 机器学习入门之pandas的使用
提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档
文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结Spring Cloud 是什么？Spring Cloud 优缺点Spring Cloud 和 Dubbo +zeekeep ()对比Eureka的使用：Feign（Ribbon）组件的使用RibbonFeign 服
Zookeeper的详细介绍
hcyxsh的博客
07-27
524
Zookeeper的详细介绍
文章目录Zookeeper的详细介绍1. Zookeeper概述2. 分布式数据一致性3. CAP原则4. 一致性协议5. Paxos算法6. ZAB协议7. zookeeper的三种角色8. zookeeper的两种模式9. zxid10. Leader选举算法11. 消息广播算法
1. Zookeeper概述
zookeeper是一个开源的分布式协调服务，提供分布式数据一致性解决方案，分布式应用程序可以实现数据发布订阅，负载均衡，命名服务，集群管理分布式锁和分布式队列等功能
ZeeKeeper 安装和运行
weixin_34248023的博客
03-09
200
2019独角兽企业重金招聘Python工程师标准>>>
...
ZooKeeper系列之二:Zookeeper常用命令
热门推荐
xiaolang85的专栏
10-25
32万+
ZooKeeper服务命令:
在准备好相应的配置之后，可以直接通过zkServer.sh 这个脚本进行服务的相关操作
1. 启动ZK服务: sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh status 3. 停止ZK服务: sh bin/zkServer.sh stop 4. 重启ZK服务:
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：创作都市
设计师：CSDN官方博客
返回首页
魏忠贵
CSDN认证博客专家
CSDN认证企业博客
码龄10年
暂无认证
26
原创
26万+
周排名
65万+
总排名
4万+
访问
等级
655
积分
13
粉丝
获赞
评论
22
收藏
私信
关注
热门文章
九：Operation category READ/WRITE is not supported in state standby解决案例
15316
十：WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set,解决案例
5528
二十：CDH5.14离线安装kafka (含版本选择)
3134
十七：CDH介绍及官网信息
2993
二十五：Caused by: java.net.UnknownHostException: nameservice1(CDH 5.14 部署spark2第一次运行报错)
2187
分类专栏
实操
2篇
原理
Scala
4篇
Flume
4篇
SparkCore
3篇
Hadoop
4篇
kafka
3篇
CDH
4篇
JAVA
SparkSQL
最新评论
二十：CDH5.14离线安装kafka (含版本选择)
a19920714liou:
我也求一份kafka parcel离线包
二十：CDH5.14离线安装kafka (含版本选择)
qq_38810956:
大佬，大佬，跪求一份的kafka parcel离线包KAFKA-2.1.0-1.2.1.0.p0.11....,现在官网下载不了了。谢谢
十：WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set,解决案例
微电子学与固体电子学-俞驰:
这是啥？
archive: jar cv0f spark-libs.jar -C $SPARK_HOME/jars/ .
十一：Flume常用Source配置-taildir-source
nitaimeia:
楼主，我这边报java.nio.file.AccessDeniedException：/ home / hadooop类似的错误，该怎么解决啊
二：zeekeeper+hadoop HA配置及启动停止
魏忠贵
回复
LovelyBear2019:
边学边记录，好多不记录过久了就忘记了
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
二十六：Spark-submit提交一个WC任务源码解析：
二十五：Caused by: java.net.UnknownHostException: nameservice1(CDH 5.14 部署spark2第一次运行报错)
二十四：RDD源码分析
2019年17篇
2018年9篇
目录
目录
分类专栏
实操
2篇
原理
Scala
4篇
Flume
4篇
SparkCore
3篇
Hadoop
4篇
kafka
3篇
CDH
4篇
JAVA
SparkSQL
目录
评论 2
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
魏忠贵
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值