CentOS 7 安装 CDH 5.12.1_wzhwangzhuohui的博客-CSDN博客_一个或多个主机没有报告其操作系统分配
CentOS 7 安装 CDH 5.12.1
wzhwangzhuohui
于 2018-06-25 17:43:34 发布
6798
收藏
文章标签：
cdh5.12.1
Linux
cloudera manager
cm
准备4台机器，内存，磁盘尽量给足
node1(master) 192.168.231.128 内存16G,磁盘50G
node2 192.168.231.129 内存3G,磁盘50G
node3 192.168.231.130 内存3G,磁盘50G
node4 192.168.231.131 内存3G,磁盘50G
为了尽可能减少重复劳动，先在node1上配置好所有节点都需要进行的相同操作，然后克隆出其他3台虚拟机 node2，node3，node4
一：下载所需的安装包
1.1）下载cm ，下载地址 http://archive.cloudera.com/cm5/cm/5/ 选择 cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz (708M )
1.2）下载cdh ，下载地址 http://archive.cloudera.com/cdh5/parcels/5.12.1/选择 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel 、CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 (1.6G,慢慢等吧)
1.3）下载 manifest.json 和cdh在同一个页面 ，下载地址 http://archive.cloudera.com/cdh5/parcels/5.12.1/manifest.json
1.4）下载mysql驱动， https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.44.tar.gz
1.5）下载jdk， http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090f390dda5b47b9b721c7dfaa008135/jdk-8u144-linux-x64.tar.gz
1.6) mysql安装程序， http://mirrors.neusoft.edu.cn/mariadb//mariadb-10.2.7/bintar-linux-x86_64/mariadb-10.2.7-linux-x86_64.tar.gz下载后上传到node1 所有的安装文件都放在 /app 目录下
二：卸载openjdk
CentOS自带OpenJdk，不过运行CDH5需要使用Oracle的JDK，需要Java 7的支持。
卸载自带的OpenJdk，使用rpm -qa | grep java查询java相关的包，使用rpm -e –nodeps 包名卸载之。
三：去Oracle的官网下载jdk安装，最后配置环境变量。
cd /apptar -zxvf jdk-8u144-linux-x64.tar.gzvim /etc/profileexport JAVA_HOME=/app/jdk1.8.0_144export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarsource /etc/profile
验证是否安装成功
[root@localhost app]# java -versionjava version "1.8.0_144"Java(TM) SE Runtime Environment (build 1.8.0_144-b01)Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
四：关闭防火墙
service iptables stop #临时关闭chkconfig iptables off #重启后生效systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动
五：SELinux
set enforce 0 （临时生效）
修改 vim /etc/selinux/config 下的
SELINUX=disabled （重启后永久生效）
# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforcing - SELinux security policy is enforced.# permissive - SELinux prints warnings instead of enforcing.# disabled - No SELinux policy is loaded.SELINUX=disabled# SELINUXTYPE= can take one of these two values:# targeted - Targeted processes are protected,# mls - Multi Level Security protection.SELINUXTYPE=targeted
六：安装mysql
参见：http://blog.xumingxiang.com/271.html
七：所有节点配置NTP服务
（这一步暂时可以跳过，但是在集群启动以后，会提示时间不同步）
集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。 具体思路如下：
master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。
所有datanode节点以master节点为基础同步时间。
所有节点安装相关组件：
yum install ntp
启动 ntp：
service ntpd start
设置开机启动:
chkconfig ntpd on
检查是否设置成功：chkconfig –list ntpd其中2-5为on状态就代表成功。
可以通过以下命令先进行时间同步：
ntpdate us.pool.ntp.org
主节点配置（master节点）
vim /etc/ntp.conf
ntp服务只有一个配置文件，配置好了就OK。 这里只给出有用的配置，不需要的配置都用#注掉，这里就不在给出（大部分把#去掉即可，不需要添加）：
driftfile /var/lib/ntp/drift# Permit time synchronization with our time source, but do not# permit the source to query or modify the service on this system.restrict default kod nomodify notrap nopeer noqueryrestrict -6 default kod nomodify notrap nopeer noquery# Permit all access over the loopback interface. This could# be tightened as well, but to do so would effect some of# the administrative functions.restrict 127.0.0.1restrict -6 ::1# Hosts on local network are less restricted.restrict 192.168.3.0 mask 255.255.255.0 nomodify notrap# Use public servers from the pool.ntp.org project.# Please consider joining the pool (http://www.pool.ntp.org/join.html).server 0.centos.pool.ntp.org iburstserver 1.centos.pool.ntp.org iburstserver 2.centos.pool.ntp.org iburstserver 3.centos.pool.ntp.org iburst
配置文件完成，保存退出，启动服务，执行如下命令：service ntpd start
检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：
synchronisedto NTP server () at stratum 2time correct towithin74 mspolling server every 128 s
如果出现异常请等待几分钟，一般等待5-10分钟才能同步。
在其他节点，直接运行
ntpdate -u node1
(主节点ntp服务器) 即可，和node1同步
这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。启动服务：service ntpd start
因为是连接内网，这次启动等待的时间会比master节点快一些，但是也需要耐心等待一会儿。
八：克隆虚拟机
参见：https://jingyan.baidu.com/article/6b97984d9798f11ca2b0bfcd.html
九：所有节点修改网络配置
修改主机名：
vim /etc/sysconfig/networkHOSTNAME=node1vim /etc/hostnamenode1
注意 ：/etc/hostname 不可以有其他和主机名无关的内容 #注释也不行，下面的就是错误的
#localhost.localdomain
node1
十：所有节点配置host
修改ip与主机名的对应关系：
vim /etc/hosts192.168.231.128 node1192.168.231.129 node2192.168.231.130 node3192.168.231.131 node4
十一：所有节点设置ssh无密码登陆，打通SSH
执行
ssh-keygen -t rsa
一路回车，生成无密码的密钥对。
将公钥添加到认证文件中：
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
并设置authorized_keys的访问权限：
chmod 600 ~/.ssh/authorized_keys
通过scp命令将各节点的认证文件拷贝到所有其他节点并追加到authorized_keys，使得各节点能够相互访问。具体如下：
在node1上执行
ssh-keygen -t rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keysscp ~/.ssh/id_rsa.pub root@192.168.231.129:~/.ssh/id_rsa_node2.pubscp ~/.ssh/id_rsa.pub root@192.168.231.130:~/.ssh/id_rsa_node1.pubscp ~/.ssh/id_rsa.pub root@192.168.231.131:~/.ssh/id_rsa_node1.pub
注意，如果sshd 不是默认的22端口，这需要加上端口号，如：scp ~/.ssh/id_rsa.pub -p 45685 root@192.168.231.131:~/.ssh/id_rsa_node1.pub
在node2上执行
ssh-keygen -t rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keysscp ~/.ssh/id_rsa.pub root@192.168.231.128:~/.ssh/id_rsa_node2.pubscp ~/.ssh/id_rsa.pub root@192.168.231.130:~/.ssh/id_rsa_node2.pubscp ~/.ssh/id_rsa.pub root@192.168.231.131:~/.ssh/id_rsa_node2.pub
在node3上执行
ssh-keygen -t rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keysscp ~/.ssh/id_rsa.pub root@192.168.231.128:~/.ssh/id_rsa_node3.pubscp ~/.ssh/id_rsa.pub root@192.168.231.129:~/.ssh/id_rsa_node3.pubscp ~/.ssh/id_rsa.pub root@192.168.231.131:~/.ssh/id_rsa_node3.pub
在node4上执行
ssh-keygen -t rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keysscp ~/.ssh/id_rsa.pub root@192.168.231.128:~/.ssh/id_rsa_node4.pubscp ~/.ssh/id_rsa.pub root@192.168.231.129:~/.ssh/id_rsa_node4.pubscp ~/.ssh/id_rsa.pub root@192.168.231.130:~/.ssh/id_rsa_node4.pub
在node1上执行
cat ~/.ssh/id_rsa_node2.pub >> ~/.ssh/authorized_keyscat ~/.ssh/id_rsa_node3.pub >> ~/.ssh/authorized_keyscat ~/.ssh/id_rsa_node4.pub >> ~/.ssh/authorized_keys
在node2上执行
cat ~/.ssh/id_rsa_node1.pub >> ~/.ssh/authorized_keyscat ~/.ssh/id_rsa_node3.pub >> ~/.ssh/authorized_keyscat ~/.ssh/id_rsa_node4.pub >> ~/.ssh/authorized_keys
在node3上执行
cat ~/.ssh/id_rsa_node1.pub >> ~/.ssh/authorized_keyscat ~/.ssh/id_rsa_node2.pub >> ~/.ssh/authorized_keyscat ~/.ssh/id_rsa_node4.pub >> ~/.ssh/authorized_keys
在node4上执行
cat ~/.ssh/id_rsa_node1.pub >> ~/.ssh/authorized_keyscat ~/.ssh/id_rsa_node2.pub >> ~/.ssh/authorized_keyscat ~/.ssh/id_rsa_node3.pub >> ~/.ssh/authorized_keys
十二 ：开始安装Cloudera Manager
12.1)在所有节点创建cloudera-scm用户
useradd --system --home-dir /opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
12.2）安装Cloudera Manager Server
安装前先保证机器上安装了python，不过一般centos7都默认安装了python2.7.5
主节点解压安装
cloudera manager的目录在/app下，解压：tar xzvf cloudera-manager*.tar.gz 将解压后的cm-5.12.1和cloudera目录放到/opt目录下：
tar -zxvf /app/cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz -C /opt
12.3）将mysql驱动copy到/opt/cm-5.12.1/share/cmf/lib/中：
cp /app/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /opt/cm-5.12.1/share/cmf/lib/
12.4）在主节点初始化CM5的数据库：
启动mysql，然后
/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode1 -uroot -proot --scm-host node1 scm
在这里后面的参数分别是：数据库类型 数据库名称 数据库主机名 数据库用户名 密码 –scm-host cmserver主机名 scm scm scm
会要求输入scm密码
Enter SCM password: scm
如果是非root用户，可能会出现下面这样JAVA_HOME找不到
解决方案：修改scm_prepare_database.sh，在文件开头加上
vim /opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.shJAVA_HOME=/app/jdk1.8.0_144export JAVA_HOME=/app/jdk1.8.0_144
这时我们发现数据库多了一个cm 的数据库
并且mysql.user表里多了一个叫scm的用户
然后mysql shell 客户端登录 修改允许scm远程登录
update user set host = '%' where user = 'scm';
然后授权
GRANT all ON *.* TO 'scm'@'%' ;GRANT all ON *.* TO 'root'@'%' ;flush privileges;
重启mysql
十三：安装Cloudera Manager Agent
13.1)修改/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。
13.2)同步Agent到其他所有节点：
scp -r /opt/cm-5.12.1 root@node2:/opt/
13.3）准备Parcels，用以安装CDH5
将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（如没有parcel-repo，需要手动创建）
node1 app]# cp CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel /opt/cloudera/parcel-repo/node1 app]# cp CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/node1 app]# cp manifest.json /opt/cloudera/parcel-repo/
相关的文件如下：
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
manifest.json
最后将CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1，重命名为CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha，
这点必须注意，否则，系统会重新下载CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1文件。
13.4）启动 cloudera-scm-server
mkdir -p /var/lib/cloudera-scm-servermkdir -p /var/lib/cloudera-scm-agentmkdir -p /var/lib/cloudera-scm-server-db/data
在主机节点创建上面的目录，否则会出错，7180端口起不来。
主节点通过/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start启动服务端。
server启动成功后会多出7180等端口
问题1）：启动server时，显示OK，但是7180端口没起来
[root@node1 ~]# service cloudera-scm-server-db statusRedirecting to /bin/systemctl status cloudera-scm-server-db.servicecloudera-scm-server-db.serviceLoaded: not-found (Reason: No such file or directory)Active: inactive (dead)[root@node1 ~]# service cloudera-scm-server-db startRedirecting to /bin/systemctl start cloudera-scm-server-db.serviceFailed to start cloudera-scm-server-db.service: Unit cloudera-scm-server-db.service failed to load: No such file or directory.
解决办法：
mkdir -p /var/lib/cloudera-scm-server-db/data
问题2）如果是非root用户，可能会出现下面这样JAVA_HOME找不到
修改/opt/cm-5.12.1/etc/init.d/cloudera-scm-server，在文件开头加上
JAVA_HOME=/app/jdk1.8.0_144export JAVA_HOME=/app/jdk1.8.0_144
问题3）非root用户，启动显示OK，但是7180端口起不来，查看日志报如下错误
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Access denied for user 'scm'@'%' to database 'cm'
解决办法：用mysql shell 客户端登录 后执行下面命令
grant all on cm.* to 'scm'@'%' identified by 'scm' with grant option;
问题4）非root用户，启动显示OK，但是7180端口起不来，查看日志报如下错误
2017-09-28 12:48:52,618 ERROR WebServerImpl:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: The server storage directory [/var/lib/cloudera-scm-server] doesn't exist.2017-09-28 12:48:52,618 ERROR WebServerImpl:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: No read permission to the server storage directory [/var/lib/cloudera-scm-server]2017-09-28 12:48:52,618 ERROR WebServerImpl:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: No write permission to the server storage directory [/var/lib/cloudera-scm-server]2017-09-28 12:48:54,663 INFO WebServerImpl:org.springframework.web.servlet.handler.SimpleUrlHandlerMapping: Root mapping to handler of type [class org.springframework.web.servlet.mvc.ParameterizableViewController]2017-09-28 12:48:54,716 INFO WebServerImpl:org.springframework.web.servlet.DispatcherServlet: FrameworkServlet 'Spring MVC Dispatcher Servlet': initialization completed in 2536 ms2017-09-28 12:48:54,738 INFO WebServerImpl:com.cloudera.server.web.cmon.JobDetailGatekeeper: ActivityMonitor configured to allow job details for all jobs.2017-09-28 12:48:55,813 ERROR SearchRepositoryManager-0:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: The server storage directory [/var/lib/cloudera-scm-server] doesn't exist.2017-09-28 12:48:55,813 ERROR SearchRepositoryManager-0:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: No read permission to the server storage directory [/var/lib/cloudera-scm-server]2017-09-28 12:48:55,813 ERROR SearchRepositoryManager-0:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: No write permission to the server storage directory [/var/lib/cloudera-scm-server]
解决办法：
sudo mkdir /var/lib/cloudera-scm-server
13.5）启动cloudera-scm-agent
所有节点通过/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start启动Agent服务。 （所有节点都要启动Agent服务，包括服务端）
我们启动的其实是个service脚本，需要停止服务将以上的start参数改为stop就可以了，重启是restart。
agent启动成功后会多出19001和9000等端口
agent 有时候第一次启动后会立马stop，再启动一次就好了，没弄明白什么原因！
如果启动报错可以去 /opt/cm-5.12.1/log/ 查看错误日志。例如：
启动时agent时，如果出现“cmf-agent: error: argument –hostname is required”错误，则是因为/etc/hosts 和/etc/hostname 的配置没有对于那个好.
下面是node1上的正确配置
/etc/hosts
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.231.128 node1
192.168.231.129 node2
192.168.231.130 node3
192.168.231.131 node4
/etc/hostname
node1
注意：启动server时，不会立即查询到7180端口，启动过程比较慢，可能需要等待5-10分钟
十四：启动Cloudera Manager
server 和所有节点agent启动成功后就可以在浏览器访问Cloudera Manager
http://192.168.231.128:7180/cmf/login
默认的用户名和密码均为admin：
十五：CDH5的安装配和集群配置
欢迎页面版本选择页面
我们选择Cloudera Express免费版，现在已经没有50个节点的限制
继续
选择主机节点
在这里看到了我们的4个节点node1，node2，node3，node4。勾选所有节点，继续
假如在安装的时候出现问题而中断或重装，如网络连接中断，机器死机，继续安装的时候可能会出现查询不到机器，并且根据ip搜索机器的时候，出现“当前受管”
的状态为“是”，安装失败的机器不能再选择了。
先停止所有服务。清除数据库。
1> 删除Agent节点的UUID rm -rf /opt/cm-5.12.1/lib/cloudera-scm-agent/* 2> 清空主节点CM数据库 进入主节点的Mysql数据库，然后drop database cm 3> 在主节点上重新初始化CM数据库 /opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode1 -uroot -proot --scm-host node1 scm
第6步解释：......../scm_prepare_database.sh 数据库类型 数据库名 主机 账号 密码 --scm.......
等待一下，连接访问master:7180即可
集群安装
出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。如果此处发现不到parcel包，就重启所有节点的agent服务，和master的server服务。
如果parcel包不在默认的/opt/cloudera下面，则需要手动配置，如下图，然后重启cloudera-scm-server 和各节点的cloudera-scm-agent
继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是很快就出现了，然后就是耐心等待分配过程就行了，这个过程的速度就取决于节点之间的传输速度。
如果安装过程中出现过中断再重新安装可能会出现报错“一个或多个主机没有报告其操作系统分配。这可能是由于运行已过期的 Cloudera Manager Agent 版本造成的。请运行 Host Inspector 检查 Agent 版本。”
这个不要慌，耐心等等就好了
在等待的过程中可以打开浏览器控制台查看是否有报错
等待了半个小时左右可以继续了
检测主机正确性
主机检测结果，除了两个黄色警告提示，基本没问题
第一个警告：
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。
echo 10 > /proc/sys/vm/swappiness
这样操作重启机器还是还原，要永久改变
vim /etc/sysctl.conf
vm.swappiness=10
第二个警告，提示执行命令：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
执行完毕，重启后，警告依然，暂时不处理
接下来是选择安装服务，选择自定义，继续
主机角色分配
我们zokeeper选择三个节点，hdfs dataNode选择3个节点 ，继续
数据库设置，这一步前先建好相应的数据库 hive,oozie,hue
点击测试连接之前先拷贝好mysql驱动
cp /app/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hive/libcp /app/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /var/lib/oozie
数据库检测成功successful,继续。
如果出现如下错误，hue连不上：
这是因为服务器上缺少了一个组件，安装一下即可
yum install -y python-lxml
图15.15 审核更改，主要是可以设置一些目录，可以修改成自己想要的，如果修改前提是要先创建目录，否侧hdfs会无法启动，并且报错文件夹不存在，并确保访问权限。
我这里保持默认
注意：在进行下一步继续前我们还要做几个事情，不然下一步会报错，会很郁闷，很无解
1）修改/var/log目录权限
chmod -R 777 /var/log
2）修改hadoop-env.sh ，添加JAVA_HOME配置项
vim /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/etc/hadoop/hadoop-env.sh
添加
JAVA_HOME=/app/jdk1.8.0_144export JAVA_HOME=/app/jdk1.8.0_144
3）编辑 vim /opt/cm-5.12.1/lib64/cmf/service/client/deploy-cc.sh
直接在上面加上
JAVA_HOME=/app/jdk1.8.0_144export JAVA_HOME=/app/jdk1.8.0_144
所有节点都这样设置一下！
4)复制mysql驱动
cp /app/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hive/libcp /app/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /var/lib/oozie
继续，首次运行
这一步完成漫长的安装之旅就结束了。
然后就可以进入管理界面，可能有些组件在安装过程中没能启动成功，那么在管理界面上可以操作启动！！
十六：后续设置
16.1) 设置yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb 分别设置为2G ，可在cm管理界面设置
16.2）设置dfs权限，取消超级用户限制，可在cm管理界面设置
相关报错：
1）首次运行命令部署spark客户端配置报
Failed to deploy client configuration to the cluster.
仅完成 0/3 个步骤。首个失败：主机 node1 (id=1) 上的客户端配置 (id=2) 已使用 1 退出，而预期值为 0。
解决方法：
find / -type f -name "*cc.sh"
定位到编辑 vim /opt/cm-5.12.1/lib64/cmf/service/client/deploy-cc.sh
直接在上面加上
JAVA_HOME=/app/jdk1.8.0_144export JAVA_HOME=/app/jdk1.8.0_144
所有节点都这样设置一下！
然后刷新页面再点击重试，否则会出现下面很无脑的报错
明明文件是存在的，偏偏说瞎话
2)首次运行命令，创建oozie数据库表失败主机 node1 (id= 1) 上的进程 oozie-OOZIE-SERVER-createdbtables (id=57) 通过 1 退出并预期 0
解决办法：oozie缺少mysql驱动
cp /app/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /var/lib/oozie
3)HDFS-副本不足的块
原因：原因是设置的副本备份数与DataNode的个数不匹配。我们在之前理论篇中已经说明了dfs. replication属性默认是3，也就是说副本数—块的备份数默认为3份。但是我们这里集群只有两个DataNode。所以导致了达不到目标—副本备份不足。解决方法：这种情况下的修复有2个步骤，1是设置目标备份数为2，2是通过命令更改当前备份数。副本不足和副本过多都可以用这2个步骤解决，主要是跟DataNode的个数对应。设置目标备份数为2点击集群-HDFS-配置搜索dfs. replication，设置为2后保存更改。
dfs.replication这个参数其实只在文件被写入dfs时起作用，虽然更改了配置文件，但是不会改变之前写入的文件的备份数。所以我们还需要步骤2在node1中通过命令更改备份数：
su hdfshadoop fs -setrep -R 2 /sudo -u hdfs hadoop fs -setrep -R 2 /
这里的-R 2的数字2就对应我们的DataNode个数。然后还要重新部署相关客户端配置，cm会有提示
4）yarn job history 起不来，报“Service org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer failed in state INITED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error creating done directory: [hdfs://node1:8020/user/history/done]”
原因：dfs目录权限不够
解决办法 ：
chmod -R 777 /dfs
5)spark启动出错命令行执行spark-submit，报错，java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'在Yarn中同时修改上述两个参数的值，调整到2G 。
centos7二进制安装MariadbAmbari2.5.2 HDP2.6.2 集成hue4.1CentOS7 配置阿里云yum源
wzhwangzhuohui
关注
关注
点赞
收藏
评论
CentOS 7 安装 CDH 5.12.1
准备4台机器，内存，磁盘尽量给足node1(master) 192.168.231.128 内存16G,磁盘50Gnode2 192.168.231.129 内存3G,磁盘50Gnode3 192.168.231.13...
复制链接
扫一扫
一个或多个主机没有报告其操作系统分配。这可能是由于运行已过期的 Cloudera Manager Agent 版本造成的。
Shockang的博客
08-14
540
一个或多个主机没有报告其操作系统分配。这可能是由于运行已过期的 Cloudera Manager Agent 版本造成的。请运行 Host Inspector 检查 Agent 版本。
操作系统概论
爱吃猫的鱼~
10-31
190
文章目录一、资源管理1、资源复用2、资源虚拟3、资源抽象二、资源抽象1、基础抽象2、其他抽象三、操作系统的作用操作系统的功能和特性1、五大功能（1）处理器管理（2）存储管理（3）设备管理（4）文件管理（5）网络与通信管理2、三大特性（1）并发性（2）共享性（3）异步性
一、资源管理
包括：
复用：多个进程共享有限的物理资源
虚拟：把一个物理资源变成多个逻辑对应物
抽象：屏蔽资源复杂性，提高资源易用性
1、资源复用
系统内多个进程竞争使用资源，资源复用让多个进程共享有限的物理资源
主要包含：
空分复用：
参与评论
您还未登录，请先
登录
后发表或查看评论
macos13发热严重(CMFSynAgent和sharingd两个进程占用cpu太高)
weixin_43869610的博客
11-04
664
macos ventura发热严重
clouder manager端口7180没有打开为什么
tao_wei162的博客
03-27
2579
修改 clouder-manager.repo新建内容我们需要把baseUrl，gpgkey修改为本地服务器路径确保文件可以被编辑Chmod 755 /etc/yum.repos.d/clouder-manager.repo Vi /etc/yum.repos.d/clouder-manager.repo...
非零基础自学计算机操作系统 第1章 操作系统概述 1.4 操作系统的分类 1.4.1 多道批处理操作系统 & 1.4.2 分时操作系统
最新发布
谢谢你们的关注
12-12
136
非零基础自学计算机操作系统 第1章 操作系统概述 1.4 操作系统的分类 1.4.1 多道批处理操作系统 & 1.4.2 分时操作系统
常见问题整理（3）：计网+操作系统
qq_43378019的博客
01-08
1217
Network
TCP/IP分为几层
重定向转发区别
重定向resp，请求转发req
请求转发：request.getRequestDispatcher("/test.jsp").forword(request,response);
重定向：response.sendRedirect("/test.jsp");
1、请求次数：重定向是浏览器向服务器发送一个请求并收到响应后再次向一个新地址发出请求，转发是服务器收到请求后为了完成响应跳转到一个新的地址；重定向至少请求两次，转发请求一次；
龙晰操作系统安装CDH版本匹配问题解决
u010648107的专栏
07-12
737
龙晰操作系统安装CDH Centos版本时，安装失败，提示： 一个或者多个主机没有报告其操作系统分配。这可能是由于运行已过期的Cloudera Manager Agent版本造成的。请运行Host Inspector检查Agent版本。
大数据开发之CDH篇----cloudera-scm-agent启动不了后的一堆事
weixin_39702831的博客
08-23
6799
某次cloudera-scm-agnet系统启动不了
前几天添加磁盘的时候系统以外重启了，那个时候并没stop cloudera-scm-server和cloudera-scm-agent两个进程，导致了重新启动的时候cloudera-scm-server可以启动而cloudera-scm-agent无法启动。
使用命令: systemctl status cloudera-scm-agent得到...
cdh cloudera-scm-server启动后 7180无法访问
yy的博客
07-29
982
原因
直接断电或者没有停止服务就直接关机导致.
解决
查了半天原因 还没找到解决方法,过了20分钟 web竟然能访问了. 所以你可以多等等看
Cloudera Manager5在线安装停止在获取安装锁、不能选择安装主机、本地 parcel 错误
system1190的专栏
12-15
9106
当我们处于下载的过程中，如下图
如果我们的网络不错，下载成功，如下图。
可是我们下载过程中，中断了，我们回不到下载界面了，
而是进入了下面界面:
我们该如何找回cloudera-agent
执行下面命令：
sudo apt-get remove avro-tools crunch flume-ng hadoop-
Cloudera Manager5及CDH5在线（cloudera-manager-installer.bin）安装详细文档
weixin_34204722的博客
12-24
1002
问题导读：1.Cloudera Manager5如何使用cloudera-manager-installer.bin安装？2.Cloudera Manager5安装被中断该如何继续安装？还是重新安装？3.安装过程cloudera server与agent不能通信该如何解决？4.Cloudera Manager5安装是否有要求？5.安装服务的过程中，遇到错误，该如何解决？Clo...
操作系统常见问题解答
魑魅魍魉
04-02
132
（一）进程与线程的区别，线程安全”怎么理解？
进程和线程都是由操作系统所体会的程序运行的基本单元，系统利用该基本单元实现系统对应得并发性。进程和线程的区别在于：
一个程序至少有一个进程，一个进程至少有一个线程。
线程的划分尺度小于进程，使得多线程程序的并发性高，另外，进程在执行过程中拥有独立的内存单元，而多个线程共享内存，从而极大地提高了程序的运行效率。
线程在执行过程中与进程还是有区别...
SAP SALV12 给SALV设置字段排序条件
Catzcoin Official Helper 流落街头干 ABAP
03-04
221
【代码】SAP SALV12 给SALV设置字段排序条件。
CDH集群安装
韦不二的博客
12-25
526
目录1.概述
2.JDK安装
2.安装MariaDB
3.Cloudera Manager安装
4.CDH安装
5.集群设置安装向导
5. Kudu安装
CDH6.3安装问题汇总
weixin_39338423的博客
09-07
5562
CDH 安装/运维报错解决方案
centos7安装CDH-5.12.1
ZbyFt
06-15
260
1.1 CM简介
1.1.0 参考地址
https://www.cnblogs.com/MWCloud/p/11342883.html
1.1.1 CM简介
Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个哦你根据，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。
1.2 环境准备
1.2.1 虚拟机准备
# 配置好对应主机的网络IP、主机名称、关闭防火墙、SELINUX
设置hadoop01、hadop
cloudera manager的7180 web界面访问不了的解决办法（图文详解）
weixin_34381687的博客
11-14
5105
说在前面的话
我的机器是总共4台，分别为ubuntucmbigdata1、ubuntucmbigdata2、ubuntucmbigdata3和ubuntucmbigdata4。（注意啦，以下是针对Ubuntu系统的）
在ubuntucmbigdata1上执行了
sudo apt-get install cloudera-manager-daemo...
cloudera-scm-server一直启动失败的解决办法
热门推荐
厚积薄发
08-07
1万+
先说明下我使用的环境：
centos7.x
cdh6.3.2
jdk1.8
之前的配置都配好后执行systemctl start cloudera-scm-server命令报如下错误：
[root@s30 ~]# systemctl status cloudera-scm-server
● cloudera-scm-server.service - Cloudera CM Server Service
Loaded: loaded (/usr/lib/systemd/system/cloud..
安装CDH后启动cloudera-scm-server遇到问题
阿正的博客
03-25
7526
https://blog.csdn.net/wumiqing1/article/details/86526513
https://blog.csdn.net/fearless11/article/details/58197056/
https://bbs.csdn.net/topics/391836526?page=1
https://blog.csdn.net/qq_41623990/ar...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
wzhwangzhuohui
CSDN认证博客专家
CSDN认证企业博客
码龄5年
暂无认证
18
原创
7万+
周排名
1万+
总排名
19万+
访问
等级
1606
积分
17
粉丝
39
获赞
26
评论
203
收藏
私信
关注
热门文章
HTML中img标签的src属性绝对路径问题解决办法，完全解决！
34007
解决MySQL自动断开连接问题
30654
sqlserver数据库创建视图时如何改变字段类型以及查询视图详细内容
14738
eclipse中Maven的settings中仓库路径配置
9245
怎样在window下用bat批量重命名文件夹和文件
8375
分类专栏
人大金仓
1篇
kingbase
1篇
dbeaver
1篇
impala
1篇
dbeaver连接impala
1篇
最新评论
Mysql8.0.31安装教程，亲测安装。
Hello771208:
my.ini的配置内容是啥意思 怎么弄阿
Mysql8.0.31安装教程，亲测安装。
can't sleep either:
csdn里面有解决方案，多找几篇来看
Mysql8.0.31安装教程，亲测安装。
梨涡念易安.:
我的也是这样 就是输完cmd之后 然后再输那行代码 它显示既不是内部命令也不是外部命令
Mysql8.0.31安装教程，亲测安装。
LCZ45:
jar包呢
Mysql8.0.31安装教程，亲测安装。
刘在心中-Dennis:
cmd管理员运行
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
人大金仓数据库：解决，KSQLException: 错误: CONNECT BY clause required in this query block
Mysql8.0.31安装教程，亲测安装。
org.apache.ibatis.binding.BindingExceprion:Invalid bound statement (not found):com.company.workflow.
2022年5篇
2021年2篇
2020年4篇
2019年6篇
2018年34篇
2017年1篇
目录
目录
分类专栏
人大金仓
1篇
kingbase
1篇
dbeaver
1篇
impala
1篇
dbeaver连接impala
1篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值