hadoop、ZooKeeper、hbase集群安装史上最全流程（亲测有效）_打开右侧命令窗口,启动 hadoop 、zookeeper、hbase 服务,完成任务。-CSDN博客
hadoop、ZooKeeper、hbase集群安装史上最全流程（亲测有效）
词一丶
已于 2022-05-09 19:13:01 修改
阅读量2.5k
收藏
15
点赞数
分类专栏：
hadoop
文章标签：
hbase
zookeeper
于 2022-05-09 18:45:35 首次发布
版权声明：本文为博主原创文章，遵循
CC 4.0 BY-SA
版权协议，转载请附上原文出处链接和本声明。
本文链接：
https://blog.csdn.net/weixin_45970532/article/details/124619969
版权
专栏收录该内容
3 篇文章
1 订阅
订阅专栏
配置集群：主机master、从机s1、s2
``
`一、安装hadoop
需要的文件
VMware
Xshell
jdk 1.8.0_171
CentOS-7-x86_64-DVD-2003.iso
hadoop2.7.7
zookeeper3.6.3
hbase1.3.1
文件已上传百度网盘，密码1024
CentOS-7-x86_64-DVD-2003.iso文件清华镜像网下载
注意hadoop、ZooKeeper和hbase的版本冲突
1、先确定使用本地DHCP服务将IP地址分配到虚拟机（即自动分配动态IP地址），但是后面需要配置静态地址，这里先勾上
2、进入VMware开始新建虚拟机
这里首先创建master主机
由于我们经常使用主机master进行命令操作，copy到从机
从机只是后台运行挂起，最大磁盘大小最好大一点，
这里我设置为30G
从机磁盘的大小就可以小一点，
这里我设置为20G
如果你的电脑配置不好，最好配置和我一样
（个人建议，
因为我的内存条是两条4G的，虚拟机的运行内存过大，同时启动三台虚拟机的话你的电脑会严重卡顿
，我的就是卡到只能长按开机重启。。血的教训。。）
最后直接点击完成，启用虚拟机，我的虚拟机配置结果——如图所示
从机的安装流程和master主机基本一致，区别在于，磁盘大小用默认20GB大小即可
进入虚拟机后，首先需要配置语言
接着是安装位置
——这里我安装目标位置需要点击两次
然后是打开网络
这里如果网络配置打不开也无所谓，因为我们后面需要自己手动去配置静态网络的
最后选择软件选择，
这里我选择GNOME桌面安装
，如果是Linux大牛的话，可以跳过
小白最好选择桌面，最小安装对新手不是特别友好
配置ROOT密码并确认后，重启虚拟机
设置这台电脑的用户名并输入你的开机密码
注意是
开机密码！！！开机密码！！！开机密码！！！
而不是终端切换管理员权限的密码
同意协议后进入初始页面
配置root用户
3、进入虚拟机终端配置相关配置信息
配置静态网络
电脑密码zhang2001
进入root用户su root
密码111111
cd /etc/sysconfig/network-scripts/
进入ifcfg-ens33文件编辑修改配置vi ifcfg-ens33
小知识
cd etc相对路径
cd /etc 绝对路径
cd etc是在当前文件夹下寻找名字为etc的文件夹并切换到该目录下
cd /etc是不管你在哪个目录下，都是切换到“/”目录下名字为etc的文件夹目录下
配置具体如下
TYPE
=
Ethernet
PROXY_METHOD
none
BROWSER_ONLY
no
BOOTPROTO
static
DEFROUTE
yes
IPV4_FAILURE_FATAL
IPV6INIT
IPV6_AUTOCONF
IPV6_DEFROUTE
IPV6_FAILURE_FATAL
IPV6_ADDR_GEN_MODE
stable-privacy
NAME
ens33
UUID
85698115
-0678-42bc-bac6-cc6294b8d285
DEVICE
ONBOOT
IPADDR
192.168
.137.110
NETWORK
255.255
.255.0
GATWAY
.137.2
DNS1
180.76
.76.76
ip地址最后小数点后随意设置（
有时候会出现ip冲突，意思就是说有人用你想用的ip，换一个就好
）
network网关在虚拟机“编辑”->“虚拟网络编辑器”中查看
点击“更改设置”
点击“NAT设置”查看GATWAY
DNS1备用网络看百度DNS
具体如图所示
操作完成后执行命令service network restart运行配置
ping www.baidu.com 查看是否连上网络
报错：主机能ping外网，能ping到从机
从机slave1、slave2 ping不上百度，能ping上主机master
解决：
从机不是必须要ping通外网，因为我们主要使用的是master
4、关闭防火墙 输入两条命令
systemctl stop firewalld
systemctl disable firewalld
查看当前防火墙的状态 输入命令
systemctl status firewalld
看到Active: inactive (dead)，说明防火墙已关闭
Active: active (live)说明防火墙还没有关闭，返回以上操作
5、配置主机
切换root目录cd ~ 输入命令 hostnamectl set-hostname master
然后执行重启虚拟机应用 输入命令reboot
重启后，修改hosts文件
cd /etc/hosts
添加以下配置：
.137.140 master
.137.141 s1
.137.142 s2
如图所示
作用是让所有的虚拟机可以互相连接
6、使用ssh传输文件
打开ssh，新建会话
点击确定
点击接受并保存
结果如下图所示
配置好会话后，开始ssh传输文件
yum
install
lrzsz -y
-y的作用是，默认全部回答为yes
rz传输本地文件到linus虚拟机系统
master可以远程连接s1、s2
ssh s1 ssh s2
结果如图所示
7、ssh配置免密码登录
cd ~
在各个机器下输入命令
ssh-keygen -b 1024 -t rsa
然后一直回车，结果如图所示
在~/.ssh/目录下生成文件id_rsa、id_rsa.pub
（ls是不会显示隐藏文件的，/.ssh中的“.”就是隐藏文件
输入命令ls –all显示全部文件）
免密码登录
需要把master的id_rsa.pub公钥发送到s1、s2中
s1、s2接收了master的id_rsa.pub公钥，master就可以免密码登录
把master的公钥放到s1、s2的authorized_keys文件里
输入命令ssh-copy-id s1（s2同上）
s1、s2配置免密码登录
s1的公钥发给s2
s2的公钥发给s1
完成以上操作后，结果如图所示
master给master配置免密码登录
切换到ssh目录下 cd .ssh
输入命令 ssh-copy-id master
配置权限
chmod 600 authorized_keys
chmod 修改权限的命令
600
参数含义请参考菜鸟教程
具体查看chmod命令
s1、s2同样的操作
（注：xshell中的粘贴不是ctrl+v，而是shift+insert）
8、解压jdk和hadoop并安装
tar –xvzf 待解压压缩包名字–C 目标存放路径
tar –czvf 目标压缩文件名 文件或目录
下载vim
yum install vim –y
vi 编辑文件内容，没有该文件时会新建文件
vim 编辑文件时会有高亮显示
输入命令 vim .bash_profile
进入 .bash_profile文件进行添加JAVA_HOME
export JAVA_HOME=/root/jdk1.8.0_171
export PATH=
JAVA_HOME/bin:
PATH
配置完成后，执行命令 source .bash_profile应用配置
然后将master配置好的java文件发送到s1、s2
输入命令 scp -r jdk1.8.0_171 root@s1:~/
9、配置hadoop文件
（hadoop配置文件只需先在master主机上配置，后面直接scp复制到从机即可）
进入hadoop配置文件目录下cd /hadoop/etc/hadoop
（1） hadoop-env.sh
输入命令vim hadoop-env.sh
修改如下：
export
JAVA_HOME
/root/jdk1.8.0_171
截图如下：
（2） yarn-env.sh
输入命令vim yarn-env.sh
（3） core-site.xml
输入命令vim core-site.xml
<
configuration
>
property
name
fs.default.name
/name
value
hdfs://master:900
/value
/property
hadoop.tmp.dir
/root/hadoopdata
/configuration
（4） hdfs-site.xml
输入命令vim hdfs-site.xml
dfs.replication
（5） yarn-site.xml
输入命令vim yarn-site.xml
-- Site specific YARN configuration properties --
yarn.resourcemanager.hostname
master
yarn.nodemanager.aux.services
mapreduce_shuffle
（6） mapred-site.xml. template
输入命令vim mapred-site.xml. template
mapreduce.framework.name
yarn
修改完成后，需要改名成mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
（7）hadoopMaster节点配置slaves
输入命令vim slaves
s1
s2
完成以上操作后切换到root目录下
输入命令scp -r hadoop s1:~/
将配置好的hadoop配置文件，直接将hadoop文件夹发送到s1、s2
10、配置hadoop启动的系统环境变量
各个机器都需要在文件尾配置追加
切换到root目录下
输入命令vim .bash_profile
$PATH
$HOME
/bin
$JAVA_HOME
/bin:
HADOOP_HOME
/root/hadoop
$HADOOP_HOME
/sbin:
完成后需要输入命令source .bash_profile应用配置
11、创建数据目录
各个机器创建都是一样的数据目录
输入命令：
mkdir /root/hadoopdata
12、启动hadoop集群
格式化文件系统，只能格式化一次
如果多次格式化文件系统，DataNode或NameNode或两个都启动不了
在master主机上的root目录下
hdfs namenode –format
（1）启动服务
一步启动hadoop集群服务
切换到hadoop的安装目录中的sbin文件夹中
cd $HADOOP_HOME/sbin
命令./start-all.sh
分步启动hadoop集群服务
切换到hadoop的安装目录中的bin文件夹下
cd $HADOOP_HOME/bin
命令start-dfs.sh start-yarn.sh
（2）关闭服务
一步关闭hadoop集群服务
~/hadoop/sbin/stop-all.sh
分步关闭hadoop集群服务
stop-yarn.sh stop-dfs.sh
报错一
记录：
使用一次启动所有hadoop集群服务命令start-all.sh
jps查看时少了DataNode
关闭集群服务
二、安装ZooKeeper
切换的/opt目录下，创建data文件夹（存放ZooKeeper、hbase的数据文件夹）、server文件夹（ZooKeeper、hbase的安装文件夹）、soft文件夹 （ZooKeeper、hbase的压缩包文件夹）
1、上传并解压ZooKeeper压缩包
cd /opt/soft -> rz上传压缩包
cd /opt/server -> tar –xvzf * -C *解压压缩包到指定文件夹路径下
2、配置zoo.cfg
切换路径cd /opt/server/zookeeper/conf
输入命令cp zoo_sample.cfg zoo.cfg copy一份到当前目录下，并命名为zoo.cfg
输入命令vim zoo.cfg修改zoo.cfg文件
配置如图所示
更新
需要在文件尾部追加以下文件
server.1=master:2888:3888
server.2=s1:2888:3888
server.3=s2:2888:3888
配置ZooKeeper的环境变量
vim /etc/profile
添加以下信息
export ZOOKEEPER =/opt/server/zookeeper
后面需要改成以下内容，方便切换ZooKeeper安装目录
ZOOKEEPER_HOME
/opt/server/zookeeper
$ZOOKEEPER
完成以上操作后输入命令source /etc/profile应用配置
1）tickTime：通信心跳数，Zookeeper服务器心跳时间，单位毫秒
Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。
它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)
2）initLimit：LF初始通信时限
集群中的follower跟随者服务器(F)与leader领导者服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。
投票选举新leader的初始化时间
Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。
Leader允许F在initLimit时间内完成这个工作。
3）syncLimit：LF同步通信时限
集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，
Leader认为Follwer死掉，从服务器列表中删除Follwer。
在运行过程中，Leader负责与ZK集群中所有机器进行通信，例如通过一些心跳检测机制，来检测机器的存活状态。
如果L发出心跳包在syncLimit之后，还没有从F那收到响应，那么就认为这个F已经不在线了。
4）dataDir：数据文件目录+数据持久化路径
保存内存数据库快照信息的位置，如果没有其他说明，更新的事务日志也保存到数据库。
5)clientPort:监听客户端连接的端口
主要修改了dataDir文件夹的路径和添加了dataLogDir文件夹的路径
完成后，启动ZooKeeper
切换到bin目录下输入命令./zkServer.sh start
jps查看是否启动成功
启动成功的截图如图所示
我的截图如图所示
报错二
配置ZooKeeper环境变量时
vim /etc/profile上添加环境变量信息
/etc/profile文件是配置ZOOKEEPER_HOME、HBASE_HOME
可以方便切换ZooKeeper、hbase的安装目录
方便启动集群服务
export ZOOKEEPER=/opt/server/zookeeper
PATH:
ZOOKEEPER/bin
出现报错，截图如下
原因：在/etc/profile文件中某处多了个p（我也不道啊。。我就是歌姬吧QAQ）
三、hbase安装
（1）上传下载好的压缩包hbase-1.2.1-bin.tar.gz到/opt/soft/，解压到 /opt/server
cd /opt/soft
rz命令上传压缩包
tar
–xvzf hbase-1.2.1-bin.tar.gz –C /opt/server
命令解压压缩包
（2）软连接
ln
-s /root/hadoop/etc/hadoop/core-site.xml /opt/server/hbase/conf/core-site.xml
-s /root/hadoop/etc/hadoop/hdfs-site.xml /opt/server/hbase/conf/hdfs-site.xml
截图如图所示
（3）配置hbase文件
在hbase的conf目录下进行
cd /opt/server/hbase/conf
1、vim hbase-site.xml
配置信息如下
hbase.rootdir
-- hbase存放数据目录 --
hdfs://master:9000/hbase
-- 端口要和Hadoop的fs.defaultFS端口一致 --
hbase.cluster.distributed
-- 是否分布式部署 --
true
--
0.98
后的新变动，之前版本没有.port,默认端口为60000 --
hbase.master.port
1600
hbase.zookeeper.quorum
-- zookeeper服务启动的节点，最好为奇数个 --
master,s1,s
-- zookeeper配置、日志等的存储位置，必须为已存在 --
hbase.zookeeper.property.dataDir
/opt/data/zookeeper
2、vim hbase-env.sh
（1）注释掉export JAVA_HOME=/root/jdk1.8.0_171并修改成JAVA_HOME的路径
（2）去掉注释，将true改为false
export HBASE_MANAGES_ZK=false
3、vim regionservers
注册需要启动hbase的主机名
cat regionservers运行一下
报错三
[root@master bin]# ./start-hbase.sh
/opt/server/hbase/bin/hbase:行437: /root/java/jdk1.8.0_181-amd64/bin/java: 没有那个文件或目录
running master, logging to /opt/server/hbase/bin/…/logs/hbase-root-master-master.out
/opt/server/hbase/bin/…/bin/hbase:行437: /root/java/jdk1.8.0_181-amd64/bin/java: 没有那个文件或目录
s2: running regionserver, logging to /opt/server/hbase/bin/…/logs/hbase-root-regionserver-s2.out
master: running regionserver, logging to /opt/server/hbase/bin/…/logs/hbase-root-regionserver-master.out
s1: running regionserver, logging to /opt/server/hbase/bin/…/logs/hbase-root-regionserver-s1.out
s2: /opt/server/hbase/bin/…/bin/hbase:行437: /root/java/jdk1.8.0_181-amd64/bin/java: 没有那个文件或目录
master: /opt/server/hbase/bin/…/bin/hbase:行437: /root/java/jdk1.8.0_181-amd64/bin/java: 没有那个文件或目录
s1: /opt/server/hbase/bin/…/bin/hbase:行437: /root/java/jdk1.8.0_181-amd64/bin/java: 没有那个文件或目录
问题出自与配置文件hbase-env.sh中的java目录的路径
由于java解压后的文件夹不是正常的jdk1.8.0_171，如图所示
这是报错时的配置文件截图
导致找不到JAVA_HOME
修改为java的安装目录
报错四
在启动HBase之前要先把三台机的zookeeper给启动起来，不然会出现刚启动hbase的进程就消失，我通过查看日志文件，找出的原因是zookeeper没有启动。报错信息如下：
020-06-20 11:31:30,550 INFO [main-SendThread(node1:2181)] zookeeper.ClientCnxn: Opening socket connection to server node1/10.211.55.59:2181. Will not attempt to authenticate using SASL (unknown error)
2020-06-20 11:31:30,550 WARN [main-SendThread(node1:2181)] zookeeper.ClientCnxn: Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect
java.net.ConnectException: 拒绝连接
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:350)
at org.apache.zookeeper.ClientCnxn
1081
2020
06
2011
31
30
652
2181
10.211.55.60
2181.
2486
231
137
70
127
2496
600000
206
187
594
420
62
45
423
2479
SendThread.run(ClientCnxn.java:1081) 2020-06-20 11:31:30,652 INFO [main-SendThread(node2:2181)] zookeeper.ClientCnxn: Opening socket connection to server node2/10.211.55.60:2181. Will not attempt to authenticate using SASL (unknown error) 2020-06-20 11:31:30,652 ERROR [main] zookeeper.RecoverableZooKeeper: ZooKeeper create failed after 4 attempts 2020-06-20 11:31:30,652 ERROR [main] master.HMasterCommandLine: Master exiting java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMaster. at org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:2486) at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:231) at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:137) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:127) at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:2496) Caused by: org.apache.hadoop.hbase.ZooKeeperConnectionException: master:600000x0, quorum=node1:2181,node2:2181,node3:2181, baseZNode=/hbase Unexpected KeeperException creating base node at org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher.createBaseZNodes(ZooKeeperWatcher.java:206) at org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher.<init>(ZooKeeperWatcher.java:187) at org.apache.hadoop.hbase.regionserver.HRegionServer.<init>(HRegionServer.java:594) at org.apache.hadoop.hbase.master.HMaster.<init>(HMaster.java:420) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:2479) ... 5 more Caused by: org.apache.zookeeper.KeeperException
ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase
at org.apache.zookeeper.KeeperException.create(KeeperException.java:99)
at org.apache.zookeeper.KeeperException.create(KeeperException.java:51)
at org.apache.zookeeper.ZooKeeper.create(ZooKeeper.java:783)
at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.createNonSequential(RecoverableZooKeeper.java:565)
at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.create(RecoverableZooKeeper.java:544)
at org.apache.hadoop.hbase.zookeeper.ZKUtil.createWithParents(ZKUtil.java:1204)
at org.apache.hadoop.hbase.zookeeper.ZKUtil.createWithParents(ZKUtil.java:1182)
总结来说，出现错误有很大几率是因为配置文件时的粗心大意，可能漏了个标点符号，也可能失手摁多了个字母
启动hbase shell报错
ERROR: Can’t get master address from ZooKeeper; znode data == null
查看jps截图如图所示
访问master:50070,结果如图所示
进入hadoop端口界面
发现都没有问题
报错五
2022-05-05 21:15:32,815 ERROR [main] client.ConnectionManager$HConnectionImplementation: The node /hbase is not in ZooKeeper. It should have been written by the master. Check the value configured in ‘zookeeper.znode.parent’. There could be a mismatch with the one configured in the master.
截图如图所示：
原因：
没有配置ZooKeeper集群，ZooKeeper只在master主机上启动运行
解决办法：
切换到ZooKeeper的安装目录下
cd $ZOOKEEPER_HOME
输入命令vim zoo.cfg
在zoo.cfg文件尾部追加以下内容：
结果截图如图所示：
报错六
在给从机s1、s2追加内容后，出现新报错
ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
重启服务重启虚拟机后，出现新的报错信息
2022-05-06 08:54:02,490 ERROR [main] client.ConnectionManager$HConnectionImplementation: Can’t get connection to ZooKeeper: KeeperErrorCode = ConnectionLoss for /hbase
截图如图所示:
去搜索了不同的解决办法
方法不适用，问题没有解决
ZooKeeper只在master启动服务，s1、s2没有配置与master一步启动集群服务，导致ZooKeeper服务启动命令只在master主机上输入，只有master启动了ZooKeeper服务
先在ZooKeeper的服务关闭，再去master把hbase服务关闭
再分别去s1、s2启动ZooKeeper服务
cd $ZOOKEEPER_HOME 切换ZooKeeper安装目录
cd bin
./zkServer.sh status查看ZooKeeper的节点状态
结果首次运行报错，原因是主节点master正在初始化
一会再重新输入命令就可以成功运行了
从字面可以知道，主节点正在初始化
解决方案
https://blog.csdn.net/a_drjiaoda/article/details/88697894
192.168.137.140:16010
查看hbase web网页界面
问题解决
有不同意见的大佬可在评论区相互交流哦！
优惠劵
关注
点赞
觉得还不错?
一键收藏
打赏
知道了
评论
配置hadoop集群、ZooKeeper集群、hbase数据库，master、s1、s2、
复制链接
扫一扫
专栏目录
集群
搭建配置说明
06-22
数据仓库
安装
方法记录，自己搭建纯手写的记录。相关软件请自行下载
08-02
参与评论
您还未登录，请先
登录
后发表或查看评论
10-28
配置，
时先检查
是否与
版本对应
.rar
06-21
亲测
可用
Hadoop
HBase
Zookeeper
部署
04-17
搭建及
ZooKeeper
Hbase
、Hive配置
jasondde的博客
04-16
895
NadeNode和SecondaryNameNode不能放在一起，Yarn的ResourceManager不能和NameNode、SecondaryNameNode放在一起，因为这三个都会占用大量资源，放在一起容易崩溃。所有资源都可在百度网盘下载链接: https://pan.baidu.com/s/1SkUfCurICy-RtxuOuiaZ-Q 提取码: dtga。
三者关系与
配置
julyfire的专栏
09-27
2340
http://blog.sina.com.cn/s/blog_5c5d5cdf0101dvgq.html
这里有几个主要关系：
1.经过Map、Reduce运算后产生的结果看上去是被写入到
了，但是其实
中HLog和StoreFile中的文件在进行flush to disk操作时，这两个文件存储到了HDFS的DataNode中，HDFS才是永久存储。
大数据学习整理篇（二）Ubuntu 16.04 Server版
单机，
单机，Phoenix5.0以及squirrelsql-4.1.0客户端最新版
astra_zhao的专栏
07-13
353
1.
2.7.7版本
解压
命令
：tar -xzvf
-2.7.7.tar.gz，比如
到opt目录下
2.配置/etc/profile
在/etc/profile内配置
路径，在结尾加上下列内容
HADOOP
_HOME=/opt/
-2.7.7
export PATH=$PATH:$
_HOME/bin:$
_HOME/sbin
刷新配置文件：
root@instance...
之间的关系
weixin_40732165的博客
07-16
1521
是分布式系统的一个文件系统，主要有3部分分别是hdfs，yarn，mapreduce
hdfs
hdfs是
管理储存的实现。
hdfs概念
数据块：就像单机系统（一台PC）上的数据块一样，提供磁盘读写的最小单位，也就是磁盘读某个数据时会把改块的数据一次性全部读入。不过单机系统上的数据块大小为512字节，hdfs数据块大小为128MB。
namenode和datanode：分布式系统储存和单机储存另一个不同就是，读取/写入某个数据时，分布式系统需要确定这个数据放在哪个主机
超详细
。。。。
05-09
2367
进入
配置文件给配置文件重命名为zoo.cfg配置文件介绍。
流程
及文件
08-28
以及用到的配置文件，
2.8.4、
2.1.0、
3.4.12
04-02
NULL 博文链接：https://zhengzhuangjie.iteye.com/blog/1408185
+hive(集成
部署教程（超详细）.docx
06-01
jdk1.8.0_131、apache-
-3.8.0、
-3.3.2、
-2.4.12
mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3
2.本文软件均
在自建的目录/export/server/下 ...
+hive
07-27
从零开始
搭建，内附详细配置、测试、常见error等图文，按照文档一步一步搭建肯定能成功。（最好用有道云
打开
笔记）
基础（二）
weixin_43977307的博客
04-19
1115
Apache Phoenix基于
的一个SQL引擎，我们可以使用Phoenix在
之上提供SQL语言的支持。Phoenix是可以支持二级索引的，而且Phoenix它自动帮助我们管理二级索引，底层是通过
的协处理器来实现的，通过配合二级索引和
rowkey，可以提升
的查询效率Phoenix底层还是将SQL语言解析为
的原生查询（put/get/scan），所以它的定位还是在随机实时查询——OLTP领域。
在大数据
部署及整合Phoenix
weixin_73195042的博客
04-20
638
前提：需要保证三台虚拟机
102-104已经部署好基本配置。未
完成
的可以参考：https://blog.csdn.net/weixin_73195042/article/details/135886619。
cdp
组件HRegionServer
服务
停止原因以及排查
M_red的博客
687
前言：重启
后某一节点HRegionServer
停止，重启前所有
均正常。去查看对应节点后台，发现ntp
正常
启动
，但是没有与主节点进行时间同步。怀疑是主节点ntp
没启起来，去主节点查看ntp是active状态，
基础（三）
562
WAL预写日志：首先写数据为了避免数据丢失，一定要写日志,WAL会记录所有的put/delete操作之类的，如果出现问题，可以通过回放WAL预写日志来恢复数据。写入数据的时候，都是写入到C0，就要求C0的写入是很快的，例如：
写的就是MemStore——跳表结构（也有其他用红黑树之类的）每个
会有系统配置，社区一定会把一些通用的、适应性强的作为默认配置，有很多都是折中的配置。异常：报错，连接2181失败，仔细看是连接的本地的localhost的zk，本地是没有ZK。
建表时设置预分区
最新发布
码不停歇的博客
04-22
536
中,预分区是一种优化手段,用于在创建表时提前规划好Region的分布,以提高数据写入的效率和查询性能,同时避免数据分布不均导致的热点问题。1.减少split操作:随着数据的增长,单个Region超过一定大小会触发split操作,会消耗资源并影响性能。3.提升写入性能:预分区能够使得数据初始写入时直接分散到多个Region,提高并行写入的能力。2.平衡数据分布:通过预知数据的分布特性,更均匀地分配Region,避免数据倾斜和热点问题。查看
的web界面,可以看到生成了4个Region。
docker
08-26
首先，确认您已经在CentOS上成功
了Docker，并且Docker版本为20.10.17。
接下来，您需要从Docker仓库中搜索
镜像。您可以使用
`docker search
`来查找镜像，选择星星（STARS）最多的镜像。
一旦确定了要使用的
镜像，您可以使用`docker pull
从仓库中拉取镜像。请注意，拉取过程可能会受到网络等方面的影响，建议提前更换Docker的中央仓库地址以加快下载速度。
镜像之后，您可以根据需要自定义端口映射关系。以下是
默认的端口以及其对应的用途：
- 2181:
节点
- 16000:
Master接入
- 16010:
Master监控
- 16020:
RegionServer接入
- 16030:
RegionServer监控
您可以根据实际需求修改这些端口映射关系。
根据以上步骤，您可以成功
docker、
。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
*1* *2* *3* [Docker-13：Docker
](https://blog.csdn.net/rothchil/article/details/126499795)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
博客等级
码龄4年
22
原创
100
413
18
粉丝
私信
热门文章
ssh: Could not resolve hostname guard.: Name or service not known
18269
python 如何将多个一维numpy数组合并成二维numpy数组
14621
AttributeError: partially initialized module ‘pandas‘ has no attribute ‘Series‘ (most likely due to
12056
Seaborn库的基本绘图操作
10166
ValueError: numpy.ndarray size changed, may indicate binary incompatibility. Expected 96 from C head
7313
分类专栏
python报错记录
3篇
深度学习
2篇
python学习记录
7篇
hadoop学习报错记录
新人刷算法
5篇
最新评论
Python在Jupyter上使用HMM进行中文分词，将新闻文本分词后提取其中的高频词
a while:
请问报错“KeyError: 'B'”是为什么啊，求教
AttributeError: partially initialized module ‘pandas‘ has no attribute ‘Series‘ (most likely due to
农村烂笔头:
ok看来犯错的还挺多的
词一丶:
GBK编码形式转一下utf-8
weixin_44138249:
靠，原来我也是沙比
魈上仙的猫:
作者大大可以问问为什么我运行出的结果是乱七八糟的字嘛，像是乱码一样
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
最新文章
python_谷歌开源BERT模型文本分类出现的相关报错记录
pip下载第三方库的默认安装路径
2023年
2022年
16篇
2021年
4篇
目录
被折叠的 
 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
祝福语
请填写红包祝福语或标题
红包数量
红包个数最小为10个
红包总金额
红包金额最低5元
余额支付
当前余额
3.43
前往充值 >
需支付：
10.00
取消
确定
下一步
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝
规则
hope_wisdom
发出的红包
打赏作者
你的鼓励将是我创作的最大动力
¥1
¥2
¥4
¥6
¥10
¥20
扫码支付：
获取中
扫码支付
您的余额不足，请更换扫码支付或
充值
实付
使用余额支付
点击重新获取
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。
余额充值