Cloudera Manager大数据平台搭建_多一点的技术博客_51CTO博客知识图谱

Cloudera Manager大数据平台搭建_多一点的技术博客_51CTO博客

本站和网页 https://blog.51cto.com/737055/2128788 的作者无关，不对其内容负责。快照谨为网络故障时之索引，不代表被搜索网站的即时页面。

Cloudera Manager大数据平台搭建_多一点的技术博客_51CTO博客
Cloudera Manager大数据平台搭建
关注
hzlocean
Cloudera Manager大数据平台搭建
原创
hzlocean
2018-06-13 11:05:25
©著作权
文章标签
CM
Hadoop
文章分类
Hadoop
大数据
©著作权归作者所有：来自51CTO博客作者hzlocean的原创作品，请联系作者获取转载授权，否则将追究法律责任
在企业里快速搭建大数据平台除了Ambria外还可以用Cloudera Manager，这两种工具相对于纯手工搭建确实便捷很多，但是有利也有弊，相对于新手来说就不便于掌握内部原理，不好排错等,而纯手工搭建，出错较多，不容易成功。
一. 规划：
192.168.3.201 server/agent mysql
192.168.3.202 agent namenode
192.168.3.203 agent namenode（备） resourcemanager
192.168.3.204 agent resourcemanager（备）
192.168.3.205 agent
二. 环境准备
1. 系统：Centos 6.5 64位
2. 配置IP，hostname,
各个服务器IP配置：# vim /etc/sysconfig/network-script/ifcfg-eth0
service network restart
各个服务器名配置：# vim /etc/sysconfig/network
# vim /etc/hosts
192.168.3.201 rac201.com
192.168.3.202 rac202.com
192.168.3.203 rac203.com
192.168.3.204 rac204.com
192.168.3.205 rac205.com
3.检查DNS配置，确保能上网
# vim /etc/resolve.conf
#ping www.baidu.com
4.关闭防火墙和禁用selinux
getenforce 查看selinux的状态并修改为disable状态
# vim /etc/sysconfig/selinux
SELINUX=disable
重启生效
5. 禁用和关闭防火墙
临时禁用 # iptables -F
# setenforce 0
或设置开机不启动
# service iptables stop
# chkconfig iptables off
6. 所有服务器卸载自带的JDK，安装新版本，比如1.7或1.8版本的
# rpm -qa | grep java
# rpm -e --nodeps tzdata-java-2012j-1.el6.noarch java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
# mkdir -p /opt/modules
# tar zxf jdk-8u141-linux-x64.gz -C /opt/modules
7. 对所有服务器配置JAVA环境变量
# vi /etc/profile
export JAVA_HOME=/opt/modules/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin
# source /etc/profile
8. 拷贝配置到其他服务器
# scp -r /opt/modules/jdk1.8.0_141 root@rac202.com:/opt/modules/
# scp -r /opt/modules/jdk1.8.0_141 root@rac203.com:/opt/modules/
# scp -r /opt/modules/jdk1.8.0_141 root@rac204.com:/opt/modules/
# scp -r /opt/modules/jdk1.8.0_141 root@rac205.com:/opt/modules/
检查： java -version
9. 配置服务器之间免密钥登录
9.1 # ssh-keygen
# ssh-copy-id -i ~/.ssh/id_rsa.pub rac201.com
# ssh-copy-id -i ~/.ssh/id_rsa.pub rac202.com
# ssh-copy-id -i ~/.ssh/id_rsa.pub rac203.com
# ssh-copy-id -i ~/.ssh/id_rsa.pub rac204.com
# ssh-copy-id -i ~/.ssh/id_rsa.pub rac205.com
9.2 # ssh rac01.com
# exit #不要忘记连接后要退出
# ssh rac02.com
# exit
# ssh rac03.com
# exit
# ssh rac04.com
# exit
# ssh rac05.com
# exit
10. 服务器时间同步
10.1 启动ntpd进程服务
# service ntpd start
# chkconfig ntpd on
# chkconfig --list | grep ntpd
10.2 修改时间服务器的配置
# vim /etc/ntp.conf
打开注释，修改成本服务器的网段
# restrict 192.168.3.0 mask 255.255.255.0 nomodify notrap
注释掉以下几行，可能是三行也可能是五行
#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org
手工添加以下两行
server 127.127.1.0 # local clock
fudge 127.127.1.0 s
启动并且配置开机时启动
# service ntpd start && chkconfig ntpd on && chkconfig --list | grep ntpd
11. 对所有服务器设置能打开的文件最大数量、进程最大数，能使用的内存等
# vi /etc/security/limits.conf
* soft nofile 32728
* hard nofile 1024567
* soft nproc 65535
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited
复制limits.conf到其他服务器中
# scp /etc/security/limits.conf root@rac202.com:/etc/security/limits.conf
# scp /etc/security/limits.conf root@rac203.com:/etc/security/limits.conf
# scp /etc/security/limits.conf root@rac204.com:/etc/security/limits.conf
# scp /etc/security/limits.conf root@rac205.com:/etc/security/limits.conf
重启生效： ulimit -a
三. Mysql数据库安装
1. 在rac201服务器检查并卸载系统自动安装的Mysql版本,
# rpm -qa | grep mysql
# rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
2. 采用yum源方式安装Mysql5.6, 先下载yum源文件,
# wget http://repo.mysql.com/mysql57-community-release-el6-8.noarch.rpm
# rpm -Uvh mysql57-community-release-el6-8.noarch.rpm
修改yum源文件：
vim /etc/yum.repos.d/mysql-community.repo
[mysql56-community]
enabled=1
gpgcheck=1
[mysql57-community]
enabled=0
gpgcheck=1
vim /etc/yum.repos.d/mysql-community-source.repo
[mysql56-community-source]
enabled=1
gpgcheck=1
[mysql-tools-preview-source]
name=MySQL Tools Preview - Source
baseurl=http://repo.mysql.com/yum/mysql-tools-preview/el/6/SRPMS
enabled=1
gpgcheck=1
用yum repolist mysql这个命令查看一下是否已经有mysql可安装文件
#yum repolist all | grep mysql
yum安装mysql, 一直yes下去
# yum -y install mysql-community-server
安装成功后，启动并初始化
# service mysqld start
# service mysqld status
mysql刚安装完，mysql的root用户的密码默认是空的，需要给root用户设置密码密码，执行下列命令进行安全设置
# mysql_secure_installation
输入当前用户：回车
输入root密码：123456
production environment.
Remove anonymous users? [Y/n] y
... Success!
Normally, root should only be allowed to connect from 'localhost'. This
ensures that someone cannot guess at the root password from the network.
Disallow root login remotely? [Y/n] n
... skipping.
By default, MySQL comes with a database named 'test' that anyone can
access. This is also intended only for testing, and should be removed
before moving into a production environment.
Remove test database and access to it? [Y/n] n
... skipping.
Reloading the privilege tables will ensure that all changes made so far
will take effect immediately.
Reload privilege tables now? [Y/n] y
... Success!
四. Cloudera Manager安装
1. 在每台服务器上安装第三方依赖包，或者在Centos系统安装时安装好开发包
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
2. 提前下载好cloudera-manager-el6-cm5.3.6_x86_64.tar.gz
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.6_x86_64.tar.gz
3. 在rac201服务器上创建CM的解压目录
# mkdir -p /opt/cloudera-manager
# tar -zxf cloudera-manager-el6-cm5.3.6_x86_64.tar.gz -C /opt/cloudera-manager
在rac201服务器上修改修改agent配置
# vi /opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent/config.ini
# Hostname of the CM server.
server_host=rac201.com
server_port=7182
4. 拷贝解压后的CM文件夹到其他服务器
# scp -r /opt/cloudera-manager/ root@rac202.com:/opt/
# scp -r /opt/cloudera-manager/ root@rac203.com:/opt/
# scp -r /opt/cloudera-manager/ root@rac204.com:/opt/
# scp -r /opt/cloudera-manager/ root@rac205.com:/opt/
5. 在所有服务器上创建CM的用户
# useradd --system --home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server --no-create-home --shell=/bin/false cloudera-scm
# cat /etc/passwd | grep cloudera-scm
6. 设置CM数据库的权限
# mysql -uroot -p123456
mysql> grant all privileges on *.* to 'temp'@'%' identified by 'temp' with grant option;
mysql> grant all privileges on *.* to 'temp'@'rac01.com' identified by 'temp' with grant option;
mysql> flush privileges;
mysql> use mysql;
mysql> select host ,user from user;
进入rac201服务器以下文件夹，执行脚本命令，事先要将mysql-connector-java.jar放入/usr/share/java文件夹中
# cd /opt/cloudera-manager/cm-5.3.6/share/cmf/schema
# ./scm_prepare_database.sh mysql -h rac01.com -utemp -ptemp --scm-host rac01.com scm scm scm
7. 提前下载好CDH源文件
CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel
CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha
在rac201服务器上创建以下目录
# mkdir -p /opt/cloudera/parcel-repo
# mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel* /opt/cloudera/parcel-repo/
在所有服务器上创建
# mkdir -p /opt/cloudera/parcels
更改parcel目录的所有人
在rac201服务器上
# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/
在所有服务器上
# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels
8. 启动CM的进程
在rac201服务器上
# cd /opt/cloudera-manager/cm-5.3.6/etc/init.d
# ./cloudera-scm-server start
在所有服务器上启动agent进程
# cd /opt/cloudera-manager/cm-5.3.6/etc/init.d/
# ./cloudera-scm-agent start
CM的服务器登录界面
http://rac01.com:7180
登录账号和密码 admin admin
收藏
评论
分享
举报
上一篇：mysqldump和mydumper的比较
下一篇：忘记Mysql密码的解决办法
提问和评论都可以，用心的回复会被更多人看到
评论
发布评论
全部评论
()
最热
最新
相关文章
基于CDH（Cloudera Distribution Hadoop）的大数据平台搭建
“Apache Hadoop存在版本管理混乱、部署过程繁琐、升级过程复杂、兼容性差、安全性低等问题，CDH是
cloudera
html
重启
Cloudera Manager首页
Cloudera Manager首页介绍。
cloudera
配置问题
自定义
ambari大数据平台搭建
https://www.cnblogs.com/zlslch/p/6629251.html
ambari
CDH大数据平台搭建
Hadoop介绍Hadoop是apache旗下的一套开源软件平台, 负责对海量数据进行分布式处理。
Hadoop
CDH大数据平台搭建
CDH
大数据平台搭建
root用户
HDP 大数据平台搭建
ambari
centos
linux
mysql
hadoop
大数据平台HDP搭建
一、概述ApacheAmbari是一个基于Web的支持ApacheHadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。提供WebUI进行可视化的集群管理，简化了大数据平台的安装、使用难度。二、安装部署2.1主机规划序号IP地址主机名系统版本1172
大数据平台CDH搭建
ambari
大数据平台CDH搭建
Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqo…
Hadoop
cloudera
java
mysql
《Cloudera hadoop大数据平台实战指南》此书已上市
这本书由宋立桓老师和陈建平老师共同合作，本书的切入点明确而清晰，从Hadoop生态明星Cloudera入手，单刀直入逐步引出各类大数据基础和核心应用框架。全书系统介绍了大数据的相关知识，全书共十八章（宋立桓老师撰写第一章到第十二章、陈建平撰写第十三章到第十八章），从大数据概述、Clouderahadoop平台的安装部署、并对大数据hadoop组件分别进行介绍，包括HDFS分布式文件系统、MapRe
大数据
hadoop
cloudera
Cloudera Manager API使用
Cloudera Manager提供了很多API供用户进行访问，因此可以利用其提供的API进行大数据集群中各种服务的状态检测、监控以及服务的启停操作。版本信息 Cloudera Manager 6.2.1 API文档入口 CM通过swagger提供了API文档说明 API使用例子获取集群信息 /
Cloudera Manager
大数据
json
post请求
d3
cloudera manager卸载流程
注意：卸载Cloudera Manager后，根据需要保留或者删除集群中的Hadoop数据。下面的命令没有删除Hadoop数据，可以在控制台的Hadoop 和MapReduce /配置/选项卡，查看Hadoop数据目录的位置，查找数据目录的属性设置。如果要卸载CDH，清除CDH 文件，参与CDH5安
cloudera
hadoop
数据
数据库
数据目录
Cloudera Manager 日常操作
HDFS URI: hdfs://active-namenode[:8020]/ or hdfs://nameservice-name/Web Interface:hadoop namenode: 50070hadoop secondarynode: 50090hadoop yarn ResourceManager: 8088hadoop yarn NodeManager: 8042h
hadoop
日常操作
Cloudera Manager监控介绍
Cloudera Manager监控介绍。
cloudera
历史记录
搜索
搭建本地Yum软件源安装Cloudera Manager 5
记录操作过程，不过多介绍相关知识以及原理，有问题自行百度或留言讨论。一、搭建web服务服务器有两台虚拟机，elephant用于安装cdh-server相关作为管理者，monkey用于安装cdh-agent相关，作为被管理者。我选择的是nginx，网上安装教程较多，不在赘述，把用于放置Cloudera安装文件的con
配置
nginx
Cloudera
大数据平台Hadoop集群搭建
客户端访问hdfs上的某一文件，首先要向namenode请求文件的元数据信息，然后nn就会告诉客户端，访问的文件在datanode上的位置，然后客户端再依次向datanode请求对应的数据，最后拼接成一个完整的文件；这里需要注意一个概念，datanode存放文件数据是按照文件大小和块大小来切分存放的，什么意思呢？比如一个文件100M大小，假设dn（datanode）上的块大小为10M一块，那么它存
Hadoop
集群
业务，大数据监控平台搭建
业务，大数据监控平台搭建一、总体架构二、搭建平台相关博文一、总体架构监控Mysql的博文已经通过相关教程博文搭建成功，可在专栏中查看原文。二、搭建平台相关博文数据采集工具Telegraf：简介及安装时序数据库InfluxDB：简介及安装初试 Prometheus + Grafana 监控系统搭建并监控 Mysql可视化工具Grafana：简介及安装性能测试监控平台：Influx...
平台
平台搭建
CDH秘籍（两）：cloudera Manager存储监控数据
概述上一篇文章分析了cloudera manager中监控数据、中心数据的存储方式，如何配置外部表
数据
cloudera
时间序列
数据库
元数据
Cloudera manager free 的使用
Cloudera可以简化Hadoop的安装配置过程，自动在集群节点上安装hadoop相关组件，创建用户。所有机器上一定要安装好Perl包。 cloudera manager free是个免费的版本，对普通的应用也够了。安装比较简单，下载相应的.bin文件运行即可。不过DNS要配好，如果不用DNS服务器解析每个集群主机，那
cloudera
Upgrade Cloudera Manager and CDH to 5.2.1
Upgrade Cloudera Manager to 5.2.11. Stop the Cloudera Management Service2. Stop the Hive service and all services such as Impala and Hue that use the Hive metastore.3. Backup MySQL Databases (mysqldu
cdh
离线安装Cloudera Manager Express
离线安装Cloudera Manager Express--------------------------------###一、安装前提###1. IP地址安排:#cat /etc/hosts222.31.101.11cdh5-nn1222.31.101.13cdh5-dn1222.31.101.14cdh5-dn2222.31.101.16cdh5-dn3###二、
离线安装Cloudera Manager
hzlocean
关注
私信
分类列表
# Mysql1篇
近期文章
1.Day06_14_SpringBoot教程之利用Swagger2生成在线文档
2.解决 "用户名不在 sudoers文件中,此事将被报告" 问题
3.SpringBoot2.x系列教程49--NoSQL非关系型数据库简介
4.Day19_04_Vue教程之环境搭建
5.QT实现CAN通信
签到领勋章
返回顶部
举报文章
请选择举报类型
内容侵权
涉嫌营销
内容抄袭
违法信息
其他
具体原因
包含不真实信息
涉及个人隐私
原文链接（必填）
补充说明
0/200
上传截图
格式支持JPEG/PNG/JPG，图片不超过1.9M
取消
确认
已经收到您得举报信息，我们会尽快审核
收藏
评论
分享
51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
开源基础软件社区
LeaTech全球CTO领导力峰会
移动端
公众号矩阵
博客
免费课程
课程排行
直播课
软考学堂
精品班
厂商认证
IT技术
2022年软考
PMP项目管理
在线学习
企业服务
CTO训练营
技术经理研习营
LeaTech峰会
文章
资源
问答
开源课堂
专栏
直播
51CTO博客
首页
关注
排行榜
订阅专栏
学堂
精培
开源社区
CTO训练营
51CTO
班级博客
登录注册
手机随时阅读
写文章
搜索历史
清空
热门搜索
查看【
】的结果
Copyright 2005-2022 51CTO.COM
版权所有京ICP证060544号
关于我们
官方博客
意见反馈
了解我们
全部文章
在线客服
网站地图
热门标签
友情链接
开源基础软件社区
51CTO学堂
51CTO
汽车开发者社区