CDH5.8 HUE的使用(那些年走过的坑)_gao123456789amy的博客-CSDN博客_cdh hue的功能


本站和网页 https://blog.csdn.net/gao123456789amy/article/details/79242713 的作者无关,不对其内容负责。快照谨为网络故障时之索引,不代表被搜索网站的即时页面。

CDH5.8 HUE的使用(那些年走过的坑)_gao123456789amy的博客-CSDN博客_cdh hue的功能
CDH5.8 HUE的使用(那些年走过的坑)
gao123456789amy
于 2018-02-02 20:00:00 发布
14190
收藏
分类专栏:
学习笔记
文章标签:
hue
安装
配置
使用
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/gao123456789amy/article/details/79242713
版权
学习笔记
专栏收录该内容
4 篇文章
0 订阅
订阅专栏
HUE=Hadoop User Experience
Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。 通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job,执行Hive的SQL语句,浏览HBase数据库等等。
核心功能
SQL编辑器,支持Hive, Impala, MySQL, Oracle, PostgreSQL等数据可视化Spark、Hadoop、Sqoop的友好界面支持支持调度系统Apache Oozie,可进行workflow的编辑、查看,任务调度
下面我在HUE的安装和使用中走过的坑。
CDH版HUE的安装
在CDH上安装HUE很简单,只要在Cloudera manager中添加服务即可,但是到第三步(如下图)的时候要小心,默认使用嵌入式数据库,随机生成密码,此时如果你按默认方式直接点击继续,并且没有记住密码的话,后面想为HUE更改数据库时可能丢失所有数据,反正我当时把hue的数据库改成mysql,没有找到PG的密码,所有数据重新来过。
HUE的配置
hue的时区修改
这里讲一个时区和数据库。 因为是用hue,很重要的功能是是用workflow和Coordinator来调度任务,这就牵涉到时间。hue安装时默认是American/LosAngeles,这个时区设置使得hue oozie dashboard中任务的时间显示不能与中国标准时间一致,将其改为Asia/Shanghai(如下图),重启hue服务即可。 另外补充一点,oozie使用UTC时区,UTC是世界标准时间,指的是零时区(英国格林尼治天文台旧址)里的时间。中国所在的时区为东八区,所以中国的时间应该是UTC时间加上8个小时,即常见的UTC+8时间。在cloudera oozie配置–>Oozie Server Default Group –>高级–>oozie-site.xml 的 Oozie Server 高级配置代码段(安全阀) 添加
<property>
<name>oozie.processing.timezone</name>**
<value>GMT+0800</value>**
</property>
hue的数据库配置
hue的数据库配置修改可以在cloudera hue配置–>数据库找到,如下图 这就涉及到hue的配置文件,刚开始我以为hue的配置文件为hue的安装目录下的hue.ini,发现在里面更改一些设置,根本不起作用,后来翻阅hue的官方文档才了解到真正起作用的hue的配置文档在另一个目录下面,也就是hue about页面中显示的位置,如下图。
HUE的使用
未完待续
gao123456789amy
关注
关注
点赞
收藏
打赏
评论
CDH5.8 HUE的使用(那些年走过的坑)
HUE=Hadoop User ExperienceHue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。 通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,
复制链接
扫一扫
专栏目录
hue使用方法
08-01
叫你如何使用hue,包括安装,编译,配置hive,oozie,mysql,hadoop
七十四、Hue的简介以及安装使用
象在舞的技术专栏
05-21
2352
本文我们来看一个大数据的UI系统——Hue,因为其使用比较简单,我们用一篇文章简单的介绍一下它的安装与使用。关注专栏《破茧成蝶——大数据篇》,查看更多相关的内容~
目录
一、Hue的简介
二、Hue的安装
三、Hue的使用
一、Hue的简介
Hue(Hadoop User Experience,Hadoop用户体验),直白来说就一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基
评论 2
您还未登录,请先
登录
后发表或查看评论
Hue-oozie运行spark
12-17
本文档是入门文档,详细描述使用Hue编辑workflows提交spark程序。
hue编译、启动、使用
最新发布
Interest1_wyt的博客
11-20
368
hue编译了解、踩坑识别
cdh版本的hue安装配置部署以及集成hadoop hbase hive mysql等权威指南
weixin_30411997的博客
02-10
352
hue下载地址:https://github.com/cloudera/hue
hue学习文档地址:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html
我目前使用的是hue-3.7.0-cdh5.3.6
hue(HUE=Hadoop User Experience)
Hue是一个开源的Apache Ha...
hive不在同一台机 hue_环境篇:呕心沥血@CDH线上调优
weixin_32489501的博客
12-23
312
环境篇:呕心沥血@CDH线上调优为什么出这篇文章?近期有很多公司开始引入大数据,由于各方资源有限,并不能合理分配服务器资源,和服务器选型,小叶这里将工作中的总结出来,给新入行的小伙伴带个方向,不敢说一定对,但是本人亲自测试,发现集群使用率稳定提高了3分之1,最高可达到2分之1,有不对的地方欢迎留言指出。注:可能有些服务没有设计,使用到的小伙伴可以参照这种方式去规划。0 资源:集群服务安排服务名称子...
CDH之Hue的安装并使用hive
大曹的博客
11-04
3358
CDH之Hue的安装并使用hive
介绍:
一, 要想安装Hue,必须先安装oozie
0,下载ext-2.2.zip
mv ext-2.2.zip /var/lib/oozie/
cd /var/lib/oozie
unzip ext-2.2.zip
chown -R oozie:oozie ext-2.2
1,首先点击服务,继续
2,选择一个平台安装,我这块和hive 安装在一块
...
CDH-hue的使用
DCHAO的博客
02-07
1101
hue的使用
CDH 安装hue
eyeofeagle的博客
06-06
4939
1, 查看具体报错原因: libmysqlclient_r.so.16: cannot open shared object file: No such file or directory
tail -f /opt/cloudera*/logs/cloudera-scm-server/cloudera-scm-server.log ,查看报错信息如下:
exec /opt/cloudera/p...
CDH配置Hue组件
storm_fury
03-28
2846
Hue可以使用以下两种方式访问HDFS:
通过WebHDFS访问HDFS
WebHDFS 具有高速良好的传输数据,因为客户端直接与Hadoop集群内的DataNode通信。
通过HttpFS访问HDFS
HttpFS是一种代理服务,适合于与外部系统集成。
注意:
WebHDFS和HttpFS都使用HTTP REST API,因此它们完全可以共同使用,但Hue必须配置使用其中一个。对于HDFS高...
大数据交互平台Hue的优势
热门推荐
ChainingBlocks
01-06
6万+
本文系统地讲解了Hue作为大数据分析交互平台的优势!欢迎批评指正!Hue Web应用的架构Hue 是一个Web应用,用来简化用户和Hadoop集群的交互。Hue技术架构,如下图所示,从总体上来讲,Hue应用采用的是B/S架构,该web应用的后台采用python编程语言别写的。大体上可以分为三层,分别是前端view层、Web服务层和Backend服务层。Web服务层和Backend服务层之间使用RPC
为什么我的CDH不用Hue,改用Scriptis了?
weixin_43463059的博客
08-01
1703
理性谈谈Hue的优缺点
平时做数据开发用的比较多的是CDH的Hue,Hue提供了对接Hadoop平台的UI界面,可以对Hbase数据进行直接操作,执行Mapreducer任务时有可视化的执行界面,进行数据报表和Oozie定时任务,可以说还是非常的方便的。但是用久了就会发现Hue也有许多痛点。
数据表不能直接方便地导出Excel,降低了工作效率
UDF和函数支持较差,没有自带的数据分析常用U...
CDH大数据----HUE问题笔记
丰耳的博客
01-13
1165
写在前面:
博主环境是CDH6.3.2,所有问题及配置围绕CDH展开
1.在HUE中执行hive写操作失败
描述:
执行动作: 向表中插入数据
INSERT into test_01 values(1,'abc123');
HUE页面报错: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask。
截图:
原因查找:
Hue基础
QAQ_0v0的博客
10-12
252
Hue基础Hue的介绍Hue的架构核心功能Hue的安装第一步:下载Hue的压缩包并上传到linux解压第二步:编译安装启动开始配置Hue创建mysql数据库准备进行编译linux系统添加普通用户hue启动hue进程页面访问hue与其他框架的集成hue与hadoop的HDFS以及yarn集成第一步:更改所有hadoop节点的core-site.xml配置第二步:更改所有hadoop节点的hdfs-site.xml第三步:重启hadoop集群第四步:停止hue的服务,并继续配置hue.ini配置hue与hive
cdh界面 hue 配置hbase_cdh集群在hue中oozie小坑
weixin_29614359的博客
12-28
179
cdh集群稳定运行一段时间了,心想不会有什么问题了吧?!这不第三天BI页面显示数据异常,前两天不还好好的,我的sql没有问题啊,今天还手动执行正常的,这不科学。。。。但问题已经出来了,只能先不科学了问题描述用的是cdh6,在hue是上编辑了一个Hive sql,使用oozie进行作业调度,其中包含了汉字。在hive编辑页面执行正常,通过工作流执行hive节点时会出现中文乱码过程就不一一说...
小白篇(九):大数据Hue介绍和使用
belialxing的专栏
11-08
3932
我的原文地址:
https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247484076&idx=1&sn=99a18b1c04aca4b4388a6ca0e2a5b157&chksm=97ae9b8aa0d9129c555cd804138d8745782c53fe25c1fd7bb20715c7d54db95d956befee49d5&token=1189979899&lang=zh_CN#rd
【好用的工具】Hue 图形化操作数仓工具
技术能量站
04-11
524
Hue全称Hadoop User Experience,是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。它的强大之处在于,界面非常友好简洁,通过使用它我们可以直接在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。
HUE安装与使用
三丰的专栏
01-30
4584
版本:
centos6.4
hue3.7.1
1、介绍
HUE=Hadoop User Experience Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。
通过使用Hue我们可以在浏览器端的Web控制台上与Ha...
CDH的 hue 整合 oozie
あずにゃん梓喵的博客
02-14
2645
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用
由于oozie的xml配置执行各种任务调度是在太过于繁琐,所有一般都使用hue整合oozie来使用
通过hue对oozie进行配置,所以首先保证hue中 time_zone为Asia/Shanghai
cloudera oozie默认时区是UTC,缺点就是在开发oozie任务时必须在期望执行的时间上减去8小时,因此很...
CDH集群添加HUE组件
wsxysfg888的博客
08-29
5701
CDH集群已经搭建完毕的情况下,安装HUE
首选需要安装HIVE和OOZIE
1选择添加服务
2先安装HIVE
3选择依赖关系最少的一个
4给每个节点分配角色,然后继续
5选择安装了mysql的节点,输入数据库名字,数据库的用户名密码,点击测试连接显示成功后,点击继续(HIVE数据库为提前创建好的,若没有,请先创建)
6点击继续
第1节 HUE:13、hue的下载以及安装配置
dengmanzhou3124的博客
07-06
1800
hue的基本介绍:主要是用于与其他各个框架做整合的,提供一个web界面可以供我们去操作其他的大数据框架可以理解为这个hue就是一个与其他各个框架整合的工具,hue本身不提供任何的功能,所有的功能,都是借助其他的框架来完成
hue的架构:第一个UI界面:主要是提供我们web界面供我们使用的第二个hue server:就是一个tomcat的服务第三个hue DB: hue的数据库,主要...
“相关推荐”对你有帮助么?
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题:大白
设计师:CSDN官方博客
返回首页
gao123456789amy
CSDN认证博客专家
CSDN认证企业博客
码龄11年
暂无认证
原创
36万+
周排名
75万+
总排名
1万+
访问
等级
160
积分
粉丝
获赞
评论
收藏
私信
关注
热门文章
CDH5.8 HUE的使用(那些年走过的坑)
14190
Kylin的概述
990
Linux非root用户安装mysql5.7
903
在CDH5.7上安装Kylin2.1单例模式及集群模式
399
分类专栏
学习笔记
4篇
最新评论
CDH5.8 HUE的使用(那些年走过的坑)
gao123456789amy:
后来就没弄了
CDH5.8 HUE的使用(那些年走过的坑)
挖煤小王子:
两年了,还在未完待续0.0.0.0
您愿意向朋友推荐“博客详情页”吗?
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
Linux非root用户安装mysql5.7
Kylin的概述
在CDH5.7上安装Kylin2.1单例模式及集群模式
2020年1篇
2018年1篇
2017年1篇
2016年1篇
目录
目录
分类专栏
学习笔记
4篇
目录
评论 2
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
gao123456789amy
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付
您的余额不足,请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明:
1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。
余额充值