hadoop及hive常用命令查询_hzhj的博客-CSDN博客_hadoop查询
hadoop及hive常用命令查询
hzhj
于 2018-08-16 14:23:28 发布
5007
收藏
12
分类专栏：
开发周边
文章标签：
hadoop
hive
常用操作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hzhj2007/article/details/81740810
版权
开发周边
专栏收录该内容
64 篇文章
0 订阅
订阅专栏
hadoop操作命令
基本命令格式：
hadoop fs -cmd < args >
创建目录
hadoop fs -mkdir -p < hdfs path>
删除文件
hadoop fs -rm < hdfs file >
删除目录
hadoop fs -rm -r < hdfs dir>#删除目录
hadoop fs -rm -r < hdfs dir>/* #删除目录中的内容
修改路径
hadoop fs -mv < hdfs file or dir >... < hdfs dir >
hadoop fs -cp < hdfs file > < hdfs file >
查看目录文件
hadoop fs -ls -R /
查询文件数目
hadoop fs -count < hdfs path >
查询文件大小
hadoop fs -du - h < hdsf path>
路径的状态信息
hdoop fs -stat [format] < hdfs path > [format]可选参数有：%b（文件大小），%o（Block大小），%n（文件名），%r（副本个数），%y（最后一次修改日期和时间）
其他
上传本地文件至hdfs中
hadoop fs -put < local file or dir >...< hdfs dir >hdfs dir 一定要存在，否则命令不会执行
下载hdfs文件至本地
hadoop fs -get < hdfs file > < local file or dir> local file不能和 hdfs file名字不能相同，否则会提示文件已存在
hive操作命令
执行环境
hive环境中所有命令续以分号“；”结尾。
hive终端输入该命令即可进入hive环境
hive>quit;退出hive环境
输出字段设置
set hive.cli.print.header=true;
创建表
CREATE EXTERNAL TABLE ${table_name}#创建一个指定名字的表。若该表存在，则抛出异常；EXTERNAL，外部表，须指定LOCATION
cookie string comment '用户COOKIE',#字段信息：key， key类型， 注释
price int comment '用户对应车型价格',
source int comment '来源'
PARTITIONED BY(dt STRING, type STRING)#两个分区，每一个分区单独存在一个目录下
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'#'\t'为分割符，'\n'为换行符
STORED AS TEXTFILE#存储格式：TEXTFILE(默认)， RCFILE(行列存储),INPUTFORMAT(自定义)
LOCATION '${HDFS_DIR}/${hive_db}/${table_level}/${table_name}';#指定位置
ALTER TABLE ${table_name} SET SERDEPROPERTIES('serialization.null.format'='');#修改表中默认的NULL为''
CREATE TABLE IF NOT EXISTS `jiaodiantu`( 
  `id` INT UNSIGNED AUTO_INCREMENT PRIMARY KEY comment '主键id', 
  `caller` INT UNSIGNED comment '调用方id', 
   `device` INT UNSIGNED comment '设备id',
   `dst_img` VARCHAR(100) NOT NULL comment '焦点图url',
   `txt_img` VARCHAR(100) NULL comment '文字图url',
   `status` BOOLEAN comment 'dst_img删除状态',
    `Created_STime` DATETIME NOT NULL default CURRENT_TIMESTAMP comment '创建时间',
    `Modified_STime` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP comment '修改时间'
   )ENGINE=InnoDB DEFAULT CHARSET=utf8 comment '焦点图';
复制表，不复制数据
CREATE TABLE ${new_table_name} LIKE ${old_table_name};
增加分区
alter table ${table_name} add partition(dt='2017-11-01') location '${HDFS_DIR}/${hive_db}/${table_level}/${table_name}/part20171101';
删除表
drop table if exists ${table_name};
删除分区
alter table ${table_name} drop partition(dt ='2017-11-01', type='test');
更改分区表的位置 修改表的名字
alter table ${old_name} rename to ${new_name};
查询hive库
show databases;查看所有hive库列表
desc database ${db_name};查看hive库信息
查询表字段
show tables;查看表列表
desc ${table_name};查看某表信息
查看表的分区
show partitions ${table_name};#
其他
上传本地文件至hive表
load data local inpath '/data/home/hzhj/car_list.txt' overwrite into table car_list partition(dt='2017-11-01',type='train');#overwrite：重写，会覆盖之前所有数据
参考文献：
https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlhttps://cloud.tencent.com/document/product/589/12317http://www.runoob.com/wp-content/uploads/2016/07/png-Hadoop-by-StuQ.png
hzhj
关注
关注
点赞
12
收藏
打赏
评论
hadoop及hive常用命令查询
hadoop操作命令基本命令格式：hadoop fs -cmd < args >增创建目录hadoop fs -mkdir -p < hdfs path>删删除文件hadoop fs -rm < hdfs file >删除目录hadoop fs -rm -r < hdfs dir>#删除目录hadoop ...
复制链接
扫一扫
专栏目录
Hive中查看数据库，查看表的时候报错
01-07
一、hive版本验证，FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
解决方法
简单粗暴：在hvie-site.xml中关闭版本验证
hive.metastore.schema.verification
false
目前这种方法只是强制性的关闭了hiv
hadoop平台使用以及hive命令
小鱼人
07-30
682
本篇文章记录了自己来公司之后的一些操作，因为公司有保密要求，故所以涉及到密码之类的都会屏蔽掉。我们团队在公司负责的业务就是推荐广告，计算广告的ctr和cvr。处理的数据主要是服务器端生成的日志，按照类别主要有六个日志，ct_show,action，click，down，land，inview，其中ct_show包含了我们所有的信息。由于log的数据量很大，所以我们的操作都是在hadoop平台上进行
参与评论
您还未登录，请先
登录
后发表或查看评论
Hadoop之Hive常用命令大全
最新发布
weixin_52424868的博客
11-09
534
初学Hive，掌握hive常见命令。
常用Hive命令速查（全）
qq_654603797
05-01
935
--hive模糊搜索表：
show tables like '*name*';
--查看表结构信息：
desc table_name; desc formatted table_name;
--查看分区信息：
show partitions table_name;
--加载本地文件：
load data local inpath '/xxx/test.txt' overwrite into table dm.table_name;
--从查询语句给table插入数据：
insert overwri.
Hadoop集群的基本操作（四：Hive的基本操作）
Eyeshot的博客
05-27
4133
实验
目的
要求
目的：
（1）掌握数据仓库工具Hive的使用；
要求：
掌握数据仓库Hive的使用；
能够正常操作数据库、表、数据；
...
hadoop,hive常用指令
w_h_guang的博客
10-27
276
hadoop-hdfs常用指令
1.安全模式常用操作命令：
hdfs dfsadmin -safemode leave //强制 NameNode 退出安全模式
hdfs dfsadmin -safemode enter //进入安全模式
hdfs dfsadmin -safemode get //查看安全模式状态
hdfs dfsadmin -safemode wait //等待，一直到安全模式...
Hadoop基础操作--查询集群的存储系统信息
m0_58945994的博客
10-21
1544
通过HDFS监控服务可以查询到大量相关信息，HDFS的监控服务是通过节点（NameNode）的端口50070来进行访问。
例：在浏览器地址栏输入“http://master:50070/”来展现当前HDFS文件系统的基本统计信息，下面是我自己的HDFS文件系统的基本统计信息
可以看到Summary下
①Configured Capacity：表示已配置的文件系统存储总量为51.51GB。
②DFS Remaining：表示可使用...
hadoop文件查询指令
fangfanglovezhou的博客
01-07
1624
查看文件大小：
hadoop fs -du -s -h,其中-s和-h为可选参数，-h表示会选择合适的单位（KB,MB,GB,TB）显示文件大小，若不加的话不过多大显示的都是文件占多少Bytes。-s表示如果查看文件夹，不加-s则会显示各个文件的大小，加-s则只会显示文件大小的总和。
hadoop fs -test <path>: 解决关于文件路径path的各种问题，可选参数：
1. -d ：如果path为目录返回0。
2. -e : 如果path存在返回0。
3. -f ：如果path..
Hadoop hive表基本操作
wang12345566的博客
05-14
1553
一：hadoop基本常用命令1.查看指定文件下内容hdfs dfs -ls /tmp/lcj2.打开某个已存在的文件hdfs dfs -cat /tmp/lcj/t_gz.txt3.删除指定文件hdfs fs -rm /tmp/lcj/t_gz.txt4.删除文件夹hdfs fs -rmr /tmp/lcj5.创建新的文件夹hdfs fs -mkdir /tmp/new二：hive的基本操作1.登...
查看Hive表信息及占用空间的方法
热门推荐
BabyFish13
07-28
3万+

一、Hive下查看数据表信息的方法
方法1：查看表的字段信息
desc table_name;
方法2：查看表的字段信息及元数据存储路径
desc extended table_name;
方法3：查看表的字段信息及元数据存储路径
desc formatted table_name;
方法4：查看建表语句及其他详细信息的方法
show create table table_
show databases java_hive show databases; show tables出错
weixin_42382748的博客
02-26
117
看到了以下东西，像是我的hadoop没装好吗？跟CliDriver有啥关系？15/11/15 00:18:36 [main]: INFO Configuration.deprecation: mapred.input.dir is deprecated. Instead, use mapreduce.input.fileinputformat.inputdirFailed with excepti...
Hive之查询操作
lslslslslss的博客
12-22
1498
目录
一、查询总述
select执行顺序
二、基本查询
重命名
算术运算符
常用函数
Limit语句
Where语句
比较运算符
Like和RLike
逻辑运算符
三、分组查询
Group By语句
Having语句
四、Join语句
等值Join
内连接
左外连接
右外连接
满外连接
多表连接
笛卡尔积
五、排序
全局排序（Order By）
重命名排序
多个列排序
每个Reduce内部排序（Sort By）
分区distribute by
分区排
hive-hadoop 常用命令
老猿说说专栏
09-02
1392
1.查看hadoop任务yarn application -list |grep 用户名
yarn application -kill application_1443009203033_866212.liunx nohup命令nohup ./label_driver.sh > /home/disk4/bi/driver_label/label_driver20150325.log 2>&1 &
Hive、hadoop命令基本使用
鲨鱼儿的博客
02-26
2640
一、hadoop中HDFS的基本命令
1、Hadoop启动服务命令
（1）逐个启动hadoop服务：
1、sbin/hadoop-daemon.sh start namenode
2、sbin/hadoop-daemon.sh start datanode
3、sbin/hadoop-daemon.sh start secondarynamenode
4、sbin/y...
Hadoop生态hive配置及常用命令
beatlinux的博客
04-18
156
安装
先安装mysql开启root远程登录权限
开启hadoop服务
下载地址
http://archive.apache.org/dist/hive/
解压软件,配置hive环境变量
HIVE_HOME=/usr/local/hive
PATH=$PATH:$HIVE_HOME/bin
拷贝mysql-connector到lib目录
配置conf目录下hive-site.xml
<co...
hadoop组件---数据仓库(四)---hive常用命令
直到世界的尽头
01-10
4703
安装好hive的环境之后 我们可以尝试一些常用的命令，常用命令也可以作为平时工作中的速查手册。
进入hive控制台
首先需要知道hive的启动目录在哪，可以使用命令
whereis hive
启动hive shell在hive安装bin目录下使用命令
hive shell
注:如果hive环境已经加入环境变量，那么whereis时会显示/usr/bin/hive，这种情...
Hive
weixin_41924879的博客
09-16
167
Hive
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工...
Hadoop-练习 利用hive进行数据查询
yumingzhu1的博客
06-10
5915
1 准备测试数据 问题1：求各个部门的总工资 问题2：求各个部门的人数和平均工资 问题3：求每个部门最早进入公司的员工姓名 问题4：求各个城市的员工的总工资 问题5：列出工资比上司高的员工姓名及其工资 问题6：列出工资比公司平均工资要高的员工姓名及其工资 问题7：列出名字以J开头的员工姓名及其所属部门名称 问题8：列出工资最高的头三名员工姓名及其工资 问题9：将全体员工按照总收入（工资+...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
hzhj
CSDN认证博客专家
CSDN认证企业博客
码龄13年
暂无认证
152
原创
4万+
周排名
13万+
总排名
34万+
访问
等级
4415
积分
37
粉丝
86
获赞
50
评论
434
收藏
私信
关注
热门文章
多标签分类的评价指标
31967
vgg 16模型的内存和参数量的计算
22291
ValueError: attempt to get argmax of an empty sequence
14096
python 如何调用py文件
13281
CUDNN_STATUS_INTERNAL_ERROR解决方法
11515
分类专栏
数据库
2篇
pytorch
6篇
损失函数
5篇
Opencv Tutorials
1篇
评价指标
3篇
数据集
10篇
Python
11篇
神经网络
9篇
tensorflow serving
2篇
开发周边
64篇
检测算法
14篇
图像处理
8篇
深度学习
20篇
tensorflow
13篇
OCR
6篇
opencv
1篇
LeetCode
1篇
C++
1篇
最新评论
vgg 16模型的内存和参数量的计算
巧言花予_:
我跑了跑tf，vgg-16含bias参数量为138，357，554
[code=python]
#tensorflow
vgg16.summary()
'''
Total params: 138,357,544
Trainable params: 138,357,544
Non-trainable params: 0
'''
[/code]
如何计算flops
是江姑娘呀:
概念都写错了。。。
Visual Studio无法更改安装路径
长安烟景:
这个，可是，我不知道怎么用啊
无法连接到ppa.launchpad.net（91.189.95.83）
夏日zzz:
谢谢分享，用增加超时就解决了
CUDNN_STATUS_INTERNAL_ERROR解决方法
ymj1998:
你好，你用的是哪个方法解决的呀
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
windows 安装docker
训练gallery
windows系统中遗忘mysql的root密码
2022年3篇
2021年3篇
2020年49篇
2019年53篇
2018年57篇
目录
目录
分类专栏
数据库
2篇
pytorch
6篇
损失函数
5篇
Opencv Tutorials
1篇
评价指标
3篇
数据集
10篇
Python
11篇
神经网络
9篇
tensorflow serving
2篇
开发周边
64篇
检测算法
14篇
图像处理
8篇
深度学习
20篇
tensorflow
13篇
OCR
6篇
opencv
1篇
LeetCode
1篇
C++
1篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
hzhj
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值