hive生产实践问题（一）在使用Hive Client跑job时，一直提示job被kill，_xuxu1116的博客-CSDN博客
hive生产实践问题（一）在使用Hive Client跑job时，一直提示job被kill，
xuxu1116
于 2019-03-31 20:42:05 发布
2870
收藏
分类专栏：
大数据
文章标签：
hive一直提示job被kill
未经本人允许不得转载
本文链接：https://blog.csdn.net/weixin_43228814/article/details/88935029
版权
大数据
专栏收录该内容
10 篇文章
0 订阅
订阅专栏
然后观察YARN的WebUI进行查看，如图： 然后观察Hive Client的控制台输出，如下： Launching Job 1 out of 3 Number of reduce tasks is set to 0 since there’s no reduce operator Starting Job = job_1552895066408_0001, Tracking URL = http://localhost:8088/proxy/application_1552895066408_0001/ Kill Command = /wangqingguo/bigdata/hadoop-2.6.0-cdh5.7.0/bin/hadoop job -kill job_1552895066408_0001 Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0 2019-03-18 15:44:40,758 Stage-1 map = 0%, reduce = 0% Ended Job = job_1552895066408_0001 with errors Error during job, obtaining debugging information… FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Jobs Launched: Stage-Stage-1: HDFS Read: 0 HDFS Write: 0 FAIL Total MapReduce CPU Time Spent: 0 msec 二.解决思路：
通过YARN的WebUI看到，发现YARN没有Core和Memory，按照常理讲，
如果不配置Core和Memeory，yarn-site.xml文件会有默认的值。
为了保险起见，我添加以下参数： yarn.nodemanager.resource.cpu-vcores 8 yarn.nodemanager.resource.memory-mb 8192 yarn.scheduler.minimum-allocation-mb 1024 yarn.scheduler.maximum-allocation-mb 8192 重启HDFS的进程后，重新提交job，发现还是报这个错，然后通过仔细观察WebUI的log发现一句话： Hadoop MapReduce Error - /bin/bash: /bin/java: is a directory 终于找到错误的所在，原来是找不到Java。
最后我在etc/hadoop/hadoop.env.sh中配置了java_home，问题解决。
哈哈哈，这都是若泽在高级班教我的排查方法。
有时候问题答案真心不重要，排查思路很重要！
xuxu1116
关注
关注
点赞
收藏
打赏
评论
hive生产实践问题（一）在使用Hive Client跑job时，一直提示job被kill，
然后观察YARN的WebUI进行查看，如图：然后观察Hive Client的控制台输出，如下：Launching Job 1 out of 3Number of reduce tasks is set to 0 since there’s no reduce operatorStarting Job = job_1552895066408_0001, Tracking URL = htt...
复制链接
扫一扫
专栏目录
Hadoop大数据常见问题及处理方法.docx
06-25
Hadoop大数据常见问题及处理方法，使用 hive 自带的 concatenate 命令，自动合并小文件
Hive优化四大方向小总结
weixin_40503364的博客
10-05
602
如count （distinct a）group by b可以改成先group by a，b然后group by b，最后直接count a。一个job sql可以拆分多个job执行，如count(distinct)，因为distinct去重只有一个reduce task，可改为先group by后再count(1)4 推测执行，根据一定法则推测出性能低下的task，给这种task多执行一个备份task，最后取运算最快的task结果。遍历a表id为key，age+id为value。
参与评论
您还未登录，请先
登录
后发表或查看评论
解决a start job is running for dev-disk-by启动错误
gznc_pcc的博客
02-20
5250
一分30秒 kali 开机显示 a start job is running for dev-disk 处理
在给kali虚拟机扩容后，使用fdisk /dev/sda 更改新建分区后，重启系统出现一分30秒等待。
解决方案： (root 权限)
第一步：sudo blkid
（查看当前系统的真实的swap分区的UUID,也就是在下图中的最后一个结果）
第二步：sudo vi /et...
hive执行出现问题：Ended Job = job_1667594872527_3123 with errors Error during job, obtaining debugging info
最新发布
m0_48830183的博客
11-22
542
hive执行问题及解决
Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile time: 1 In orde
qq_36291682的博客
03-24
7979
Total jobs = 1Launching Job 1 out of 1Number of reduce tasks determined at compile time: 1In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<nu...
HiveQL 常用操作
热门推荐
我思，故我在！--My data life
12-19
1万+
HiveQL 常用操作
1. 创建表
Create Tabledept (deptno Int,dname String) Row format delimited fields terminated By
'\t';
Create Table emp (empno Int,enameString,mgr Int,sal Float,deptno Int) Row format
hive一直卡住不动，jps时ResourceManager 没启动
wangxj_2017的博客
10-01
1万+
在使用hive时，遇到只要查询涉及到跑MR的时候，就会卡住不动；
例如
hive> select id from db_hive.student;
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
就会卡住不动。这里一般要jps
hive命令的几点整理
xuguokun1986的博客
04-27
1423
1、我们可以一些命令，例如sql语句放在文本文件中，然后通过source关键词去调用执
行这些命令
例如，文本文件所在的目录是：/home/hadoop/xuguokun/test.txt
然后执行下面的命令：
hive> source /home/hadoop/xuguokun/test.txt
最终得到如下的执行结果：
hive> source /home/hadoop/xug
hive本地执行异常
不会打球的摄影师不是好程序员
11-15
355
Hive学习笔记1
##hive本地执行异常：
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=
In order to limit the maximum num
大数据--hive查询
awys19931001的博客
09-30
132
一、全表查询和特定列查询
1、全表查询：
-------------------------------------------------------------------
hive (db_test)> select * from dept;OKdept.deptnodept.dnamedept.loc10ACCOUNTING170020RESEARCH18...
hadoop 中hive查询表时出现无法使用mayreduce job任务 错误
gyunling的专栏
10-09
1824
hadoop中使用hive+mysql 对表进行查询时，只能全表查询，不能对查询显示部分列。希望大虾们能给出解决办法，具体如下：
1 使用 select * from student; 正常
hive> select * from student;
OK
1 lisi computer 034
2 zhangsan compu
job1
weixin_30915951的博客
07-22
78
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
using WindowsFormsApplication3.Jobs;
using WindowsFormsApplication3.DataStorg...
hive安装配置
thomas0988
01-30
88
requirement: Java 1.6 Hadoop 0.20.x. ref:https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallingHivefromaStableRelease1)download hivehttp://hive.apache.org/rel...
hive 把mysql语句执行_在Hive中执行DDL之类的SQL语句时遇到的一个问题
weixin_29827071的博客
02-15
150
在Hive中执行DDL之类的SQL语句时遇到的一个问题作者：天齐遇到的问题如下：hive>create table ehr_base(id string);FAILED: Execution Error,return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct Met...
hive问题汇总
weixin_34366546的博客
01-04
45
1. 进行sql 查询，count（*） 时报错，如下
hive> select count(*) from duan;
Query ID = root_20190104154949_2c2d73dc-3059-455b-b845-1ee824f2fd82
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tas...
Hive实验2
Sing___546的博客
10-18
201
Hive数据操作
1.向数据表中加载文件
当数据被加载到表时，不会对数据进行任何变换，LOAD操作只是将数据复制到Hive表对应的位置。
代码：LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE table_name [PARTITION (partitioncol=val,...)]
filepath可以是...
hive错误集锦
u014158708的博客
11-09
1407
1.
Total jobs = 1
Stage-1 is selected by condition resolver.
Launching Job 1 out of 1
Number of reduce tasks not specified. Estimated from input data size: 999
In order to change the average load
Hive数据操作
蔡先生的专栏
03-11
650
1.向数据表中加载文件
当数据被加载到表时，不会对数据进行任何变换，LOAD操作只是将数据复制到Hive表对应的位置。
代码：
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE table_name [PARTITION (partitioncol=val,...)]
filepath可以是相对路径，绝对路径或完整的U
Hive在执行插入数据等job任务出错
fengjinghong的博客
05-30
2445
1、完全分布式中hive的执行模式
参考博客
问题描述：
Hive在执行job任务时候卡死并报出信息：Number of reduce tasks is set to 0 since there’s no reduce operator（翻译：由于没有减少操作符，减少任务数被设置为0），如图：
这样的情况下，Hive 已经无法继续执行，只能退出重启hive(但是依然不能执行)。这是因为虽然输入文件很小，但是需要加载的文件很大，根本吃不消。
解决问题：
Hive支持任务执行选择本地模式(local mode
【异常】Hive作业异常kill ：Hadoop MapReduce Error - /bin/bash: /bin/java: is a directory异常
qq_29726945的博客
12-21
214
问题描述
在使用Hive Client跑job时，一直提示job被kill，然后观察YARN的WebUI进行查看，如图：
然后观察Hive Client的控制台输出，如下：
Launching Job 1 out of 3
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：技术工厂
设计师：CSDN官方博客
返回首页
xuxu1116
CSDN认证博客专家
CSDN认证企业博客
码龄4年
暂无认证
151
原创
3万+
周排名
7993
总排名
31万+
访问
等级
3708
积分
142
粉丝
169
获赞
60
评论
741
收藏
私信
关注
热门文章
arcgis10之将多个shp文件合并成一个shp文件
22054
Postgresql10数据库之添加主键
15287
arcgis10之矢量数据生成tiff文件
12961
JVM常见的垃圾回收器
12006
Navicat premium 12之查看序列
11114
分类专栏
脑电信号
3篇
写论文
3篇
cv
3篇
大数据
10篇
文本数据处理
2篇
C语言程序设计（第三版）何钦铭著
33篇
shp
26篇
arcgis
26篇
java
45篇
postgresql
14篇
windows
2篇
navicat
3篇
maven
2篇
FFM
1篇
机器学习算法
7篇
最新评论
C语言程序设计（第三版）何钦铭著 习题4-4
Eureka!380:
我也觉得很奇怪，好几个都是这样，对着敲也不行，复制上去也运行不出结果
C语言程序设计（第三版）何钦铭著 习题4-4
xuxu1116:
不能把，我自己测试过的
C语言程序设计（第三版）何钦铭著 习题4-4
Eureka!380:
为什么复制上去也运行不出结果啊
arcgis10之获取面要素中心点坐标
GisPFC:
Postgresql10之重置序列
xuxu1116:
你要是愿意当然可以
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
癫痫脑电信号CNN分类实战 二
癫痫脑电信号CNN分类实战 一
癫痫脑电信号基础知识
2022年11篇
2021年35篇
2020年42篇
2019年66篇
2018年2篇
目录
目录
分类专栏
脑电信号
3篇
写论文
3篇
cv
3篇
大数据
10篇
文本数据处理
2篇
C语言程序设计（第三版）何钦铭著
33篇
shp
26篇
arcgis
26篇
java
45篇
postgresql
14篇
windows
2篇
navicat
3篇
maven
2篇
FFM
1篇
机器学习算法
7篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
xuxu1116
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值