大数据技术之ClickHouse_vx-Yang_Gaige的博客-CSDN博客

本站和网页 https://blog.csdn.net/qq_31784189/article/details/104928898 的作者无关，不对其内容负责。快照谨为网络故障时之索引，不代表被搜索网站的即时页面。

大数据技术之ClickHouse_vx-Yang_Gaige的博客-CSDN博客
大数据技术之ClickHouse
vx-Yang_Gaige
于 2020-03-17 20:08:56 发布
507
收藏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31784189/article/details/104928898
版权
第1章 ClickHouse概述
1.1 什么是ClickHouse
ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。
1.2 什么是列式存储
以下面的表为例：
Id Name Age 1 张三 18 2 李四 22 3 王五 34
采用行式存储时，数据在磁盘上的组织结构为：
1 张三 18 2 李四 22 3 王五 34
好处是想查某个人所有的属性时，可以通过一次磁盘查找加顺序读取就可以。但是当想查所有人的年龄时，需要不停的查找，或者全表扫描才行，遍历的很多数据都是不需要的。
而采用列式存储时，数据在磁盘上的组织结构为：
1 2 3 张三 李四 王五 18 22 34
这时想查所有人的年龄只需把年龄那一列拿出来就可以了
1.3 安装前的准备
1.3.1 CentOS取消打开文件数限制
在/etc/security/limits.conf、/etc/security/limits.d/90-nproc.conf这2个文件的末尾加入一下内容：
[root@hadoop102 software]# vim /etc/security/limits.conf
在文件末尾添加：
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
[root@hadoop102 software]# vim /etc/security/limits.d/90-nproc.conf
在文件末尾添加：
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
重启服务器之后生效，用ulimit -n 或者ulimit -a查看设置结果
[root@hadoop102 ~]# ulimit -n
65536
1.3.2 CentOS取消SELINUX
修改/etc/selinux/config中的SELINUX=disabled后重启
[root@hadoop102 ~]# vim /etc/selinux/config
SELINUX=disabled
1.3.3 关闭防火墙
[root@hadoop102 ~]# service iptables stop
[root@hadoop102 ~]# service ip6tables stop
ip6tables：将 chains 设置为 ACCEPT 策略：filter [确定]
ip6tables：清除防火墙规则： [确定]
：正在卸载模块： [确定]
1.3.4 安装依赖
[root@hadoop102 ~]# yum install -y libtool
[root@hadoop102 ~]# yum install -y *unixODBC*
第2章 安装
2.1 网址
官网：https://clickhouse.yandex/
下载地址：http://repo.red-soft.biz/repos/clickhouse/stable/el6/
2.2 单机模式
2.2.1 上传5个文件到/opt/software/
[root@hadoop102 software]# ls
clickhouse-client-1.1.54236-4.el6.x86_64.rpm
clickhouse-server-1.1.54236-4.el6.x86_64.rpm
clickhouse-compressor-1.1.54236-4.el6.x86_64.rpm
clickhouse-server-common-1.1.54236-4.el6.x86_64.rpm
clickhouse-debuginfo-1.1.54236-4.el6.x86_64.rpm
2.2.2分别安装这5个rpm文件
[root@hadoop102 software]# rpm -ivh *.rpm
Preparing... ########################################### [100%]
1:clickhouse-server-commo########################################### [ 20%]
2:clickhouse-server ########################################### [ 40%]
3:clickhouse-client ########################################### [ 60%]
4:clickhouse-debuginfo ########################################### [ 80%]
5:clickhouse-compressor ########################################### [100%]
2.2.3 启动ClickServer
前台启动：
[root@hadoop102 software]# clickhouse-server --config-file=/etc/clickhouse-server/config.xml
后台启动：
[root@hadoop102 software]# nohup clickhouse-server --config-file=/etc/clickhouse-server/config.xml >null 2>&1 &
[1] 2696
2.2.4 使用client连接server
[root@hadoop102 software]# clickhouse-client
ClickHouse client version 1.1.54236.
Connecting to localhost:9000.
Connected to ClickHouse server version 1.1.54236.
:)
2.3 分布式集群安装
2.3.1 在hadoop103，hadoop104上面执行之前的所有步骤
2.3.2 三台机器修改配置文件config.xml
[root@hadoop102 ~]# vim /etc/clickhouse-server/config.xml
<listen_host>::</listen_host>
<!-- <listen_host>::1</listen_host> -->
<!-- <listen_host>127.0.0.1</listen_host> -->
[root@hadoop103 ~]# vim /etc/clickhouse-server/config.xml
<listen_host>::</listen_host>
<!-- <listen_host>::1</listen_host> -->
<!-- <listen_host>127.0.0.1</listen_host> -->
[root@hadoop104 ~]# vim /etc/clickhouse-server/config.xml
<listen_host>::</listen_host>
<!-- <listen_host>::1</listen_host> -->
<!-- <listen_host>127.0.0.1</listen_host> -->
2.3.3 在三台机器的etc目录下新建metrika.xml文件
[root@hadoop102 ~]# vim /etc/metrika.xml
添加如下内容：
<yandex>
<clickhouse_remote_servers>
<perftest_3shards_1replicas>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>hadoop102</host>
<port>9000</port>
</replica>
</shard>
<shard>
<replica>
<internal_replication>true</internal_replication>
<host>hadoop103</host>
<port>9000</port>
</replica>
</shard>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>hadoop104</host>
<port>9000</port>
</replica>
</shard>
</perftest_3shards_1replicas>
</clickhouse_remote_servers>
<zookeeper-servers>
<node index="1">
<host>hadoop102</host>
<port>2181</port>
</node>
<node index="2">
<host>hadoop103</host>
<port>2181</port>
</node>
<node index="3">
<host>hadoop104</host>
<port>2181</port>
</node>
</zookeeper-servers>
<macros>
<replica>hadoop102</replica>
</macros>
<networks>
<ip>::/0</ip>
</networks>
<clickhouse_compression>
<case>
<min_part_size>10000000000</min_part_size>
<min_part_size_ratio>0.01</min_part_size_ratio>
<method>lz4</method>
</case>
</clickhouse_compression>
</yandex>
注意：上面标红的地方需要根据机器不同去修改
3.3.4 三台机器启动ClickServer
首先在三台机器开启Zookeeper
前台启动：
[root@hadoop102 software]# clickhouse-server --config-file=/etc/clickhouse-server/config.xml
后台启动：
[root@hadoop102 software]# nohup clickhouse-server --config-file=/etc/clickhouse-server/config.xml >null 2>&1 &
[1] 2696
第3章 数据类型
3.1 整型
固定长度的整型，包括有符号整型或无符号整型。
整型范围（-2n-1~2n-1-1）：
Int8 - [-128 : 127]
Int16 - [-32768 : 32767]
Int32 - [-2147483648 : 2147483647]
Int64 - [-9223372036854775808 : 9223372036854775807]
无符号整型范围（0~2n-1）：
UInt8 - [0 : 255]
UInt16 - [0 : 65535]
UInt32 - [0 : 4294967295]
UInt64 - [0 : 18446744073709551615]
3.2 浮点型
Float32 - float
Float64 – double
建议尽可能以整数形式存储数据。例如，将固定精度的数字转换为整数值，如时间用毫秒为单位表示，因为浮点型进行计算时可能引起四舍五入的误差。
:) select 1-0.9
┌───────minus(1, 0.9)─┐
│ 0.09999999999999998 │
└─────────────────────┘
与标准SQL相比，ClickHouse 支持以下类别的浮点数：
Inf-正无穷：
:) select 1/0
┌─divide(1, 0)─┐
│ inf │
└──────────────┘
-Inf-负无穷：
:) select -1/0
┌─divide(1, 0)─┐
│ -inf │
└──────────────┘
NaN-非数字：
:) select 0/0
┌─divide(0, 0)─┐
│ nan │
└──────────────┘
3.3 布尔型
没有单独的类型来存储布尔值。可以使用 UInt8 类型，取值限制为 0 或 1。
3.4 字符串
1）String
字符串可以任意长度的。它可以包含任意的字节集，包含空字节。
2）FixedString(N)
固定长度 N 的字符串，N 必须是严格的正自然数。当服务端读取长度小于 N 的字符串时候，通过在字符串末尾添加空字节来达到 N 字节长度。 当服务端读取长度大于 N 的字符串时候，将返回错误消息。
与String相比，极少会使用FixedString，因为使用起来不是很方便。
3.5 枚举类型
包括 Enum8 和 Enum16 类型。Enum 保存 'string'= integer 的对应关系。
Enum8 用 'String'= Int8 对描述。
Enum16 用 'String'= Int16 对描述。
用法演示：
创建一个带有一个枚举 Enum8('hello' = 1, 'world' = 2) 类型的列：
CREATE TABLE t_enum
x Enum8('hello' = 1, 'world' = 2)
ENGINE = TinyLog
这个 x 列只能存储类型定义中列出的值：'hello'或'world'。如果尝试保存任何其他值，ClickHouse 抛出异常。
:) INSERT INTO t_enum VALUES ('hello'), ('world'), ('hello')
INSERT INTO t_enum VALUES
Ok.
3 rows in set. Elapsed: 0.002 sec.
:) insert into t_enum values('a')
INSERT INTO t_enum VALUES
Exception on client:
Code: 49. DB::Exception: Unknown element 'a' for type Enum8('hello' = 1, 'world' = 2)
从表中查询数据时，ClickHouse 从 Enum 中输出字符串值。
SELECT * FROM t_enum
┌─x─────┐
│ hello │
│ world │
│ hello │
└───────┘
如果需要看到对应行的数值，则必须将 Enum 值转换为整数类型。
SELECT CAST(x, 'Int8') FROM t_enum
┌─CAST(x, 'Int8')─┐
│ 1 │
│ 2 │
│ 1 │
└─────────────────┘
3.6 数组
Array(T)：由 T 类型元素组成的数组。
T 可以是任意类型，包含数组类型。 但不推荐使用多维数组，ClickHouse 对多维数组的支持有限。例如，不能在 MergeTree 表中存储多维数组。
可以使用array函数来创建数组：
array(T)
也可以使用方括号：
[]
创建数组案例：
:) SELECT array(1, 2) AS x, toTypeName(x)
SELECT
[1, 2] AS x,
toTypeName(x)
┌─x─────┬─toTypeName(array(1, 2))─┐
│ [1,2] │ Array(UInt8) │
└───────┴─────────────────────────┘
1 rows in set. Elapsed: 0.002 sec.
:) SELECT [1, 2] AS x, toTypeName(x)
SELECT
[1, 2] AS x,
toTypeName(x)
┌─x─────┬─toTypeName([1, 2])─┐
│ [1,2] │ Array(UInt8) │
└───────┴────────────────────┘
1 rows in set. Elapsed: 0.002 sec.
3.7 元组
Tuple(T1, T2, ...)：元组，其中每个元素都有单独的类型。
创建元组的示例：
:) SELECT tuple(1,'a') AS x, toTypeName(x)
SELECT
(1, 'a') AS x,
toTypeName(x)
┌─x───────┬─toTypeName(tuple(1, 'a'))─┐
│ (1,'a') │ Tuple(UInt8, String) │
└─────────┴───────────────────────────┘
1 rows in set. Elapsed: 0.021 sec.
3.8 Date
日期类型，用两个字节存储，表示从 1970-01-01 (无符号) 到当前的日期值。
还有很多数据结构，可以参考官方文档：https://clickhouse.yandex/docs/zh/data_types/
第4章 表引擎
表引擎（即表的类型）决定了：
1）数据的存储方式和位置，写到哪里以及从哪里读取数据
2）支持哪些查询以及如何支持。
3）并发数据访问。
4）索引的使用（如果存在）。
5）是否可以执行多线程请求。
6）数据复制参数。
ClickHouse的表引擎有很多，下面介绍其中几种，对其他引擎有兴趣的可以去查阅官方文档：
https://clickhouse.yandex/docs/zh/operations/table_engines/
4.1 TinyLog
最简单的表引擎，用于将数据存储在磁盘上。每列都存储在单独的压缩文件中，写入时，数据将附加到文件末尾。
该引擎没有并发控制
- 如果同时从表中读取和写入数据，则读取操作将抛出异常；
- 如果同时写入多个查询中的表，则数据将被破坏。
这种表引擎的典型用法是 write-once：首先只写入一次数据，然后根据需要多次读取。此引擎适用于相对较小的表（建议最多1,000,000行）。如果有许多小表，则使用此表引擎是适合的，因为它比需要打开的文件更少。当拥有大量小表时，可能会导致性能低下。      不支持索引。
案例：创建一个TinyLog引擎的表并插入一条数据
:)create table t (a UInt16, b String) ENGINE=TinyLog;
:)insert into t (a, b) values (1, 'abc');
此时我们到保存数据的目录/var/lib/clickhouse/data/default/t中可以看到如下目录结构：
[root@hadoop102 t]# ls
a.bin b.bin sizes.json
a.bin 和 b.bin 是压缩过的对应的列的数据，sizes.json 中记录了每个 *.bin 文件的大小：
[root@hadoop102 t]# cat sizes.json
{"yandex":{"a%2Ebin":{"size":"28"},"b%2Ebin":{"size":"30"}}}
4.2 Memory
内存引擎，数据以未压缩的原始形式直接保存在内存当中，服务器重启数据就会消失。读写操作不会相互阻塞，不支持索引。简单查询下有非常非常高的性能表现（超过10G/s）。
一般用到它的地方不多，除了用来测试，就是在需要非常高的性能，同时数据量又不太大（上限大概 1 亿行）的场景。
4.3 Merge
Merge 引擎 (不要跟 MergeTree 引擎混淆) 本身不存储数据，但可用于同时从任意多个其他的表中读取数据。 读是自动并行的，不支持写入。读取时，那些被真正读取到数据的表的索引（如果有的话）会被使用。
Merge 引擎的参数：一个数据库名和一个用于匹配表名的正则表达式。
案例：先建t1，t2，t3三个表，然后用 Merge 引擎的 t 表再把它们链接起来。
:)create table t1 (id UInt16, name String) ENGINE=TinyLog;
:)create table t2 (id UInt16, name String) ENGINE=TinyLog;
:)create table t3 (id UInt16, name String) ENGINE=TinyLog;
:)insert into t1(id, name) values (1, 'first');
:)insert into t2(id, name) values (2, 'second');
:)insert into t3(id, name) values (3, 'i am in t3');
:)create table t (id UInt16, name String) ENGINE=Merge(currentDatabase(), '^t');
:) select * from t;
┌─id─┬─name─┐
│ 2 │ second │
└────┴──────┘
┌─id─┬─name──┐
│ 1 │ first │
└────┴───────┘
┌─id─┬─name───────┐
│ 3 │ i am in t3 │
└────┴────────────┘
4.4 MergeTree
Clickhouse 中最强大的表引擎当属 MergeTree （合并树）引擎及该系列（*MergeTree）中的其他引擎。
MergeTree 引擎系列的基本理念如下。当你有巨量数据要插入到表中，你要高效地一批批写入数据片段，并希望这些数据片段在后台按照一定规则合并。相比在插入时不断修改（重写）数据进存储，这种策略会高效很多。
格式：
ENGINE [=] MergeTree(date-column [, sampling_expression], (primary, key), index_granularity)
参数解读：
date-column — 类型为 Date 的列名。ClickHouse 会自动依据这个列按月创建分区。分区名格式为 "YYYYMM" 。
sampling_expression — 采样表达式。
(primary, key) — 主键。类型为Tuple()
index_granularity — 索引粒度。即索引中相邻”标记”间的数据行数。设为 8192 可以适用大部分场景。
案例：
create table mt_table (date Date, id UInt8, name String) ENGINE=MergeTree(date, (id, name), 8192);
insert into mt_table values ('2019-05-01', 1, 'zhangsan');
insert into mt_table values ('2019-06-01', 2, 'lisi');
insert into mt_table values ('2019-05-03', 3, 'wangwu');
在/var/lib/clickhouse/data/default/mt_tree下可以看到：
[root@hadoop102 mt_table]# ls
20190501_20190501_2_2_0 20190503_20190503_6_6_0 20190601_20190601_4_4_0 detached
随便进入一个目录：
[root@hadoop102 20190601_20190601_4_4_0]# ls
checksums.txt columns.txt date.bin date.mrk id.bin id.mrk name.bin name.mrk primary.idx
- *.bin是按列保存数据的文件
- *.mrk保存块偏移量
- primary.idx保存主键索引
4.5 ReplacingMergeTree
这个引擎是在 MergeTree 的基础上，添加了“处理重复数据”的功能，该引擎和MergeTree的不同之处在于它会删除具有相同主键的重复项。数据的去重只会在合并的过程中出现。合并会在未知的时间在后台进行，所以你无法预先作出计划。有一些数据可能仍未被处理。因此，ReplacingMergeTree 适用于在后台清除重复的数据以节省空间，但是它不保证没有重复的数据出现。
格式：
ENGINE [=] ReplacingMergeTree(date-column [, sampling_expression], (primary, key), index_granularity, [ver])
可以看出他比MergeTree只多了一个ver，这个ver指代版本列，他和时间一起配置，区分哪条数据是最新的。
案例：
create table rmt_table (date Date, id UInt8, name String,point UInt8) ENGINE= ReplacingMergeTree(date, (id, name), 8192,point);
插入一些数据：
insert into rmt_table values ('2019-07-10', 1, 'a', 20);
insert into rmt_table values ('2019-07-10', 1, 'a', 30);
insert into rmt_table values ('2019-07-11', 1, 'a', 20);
insert into rmt_table values ('2019-07-11', 1, 'a', 30);
insert into rmt_table values ('2019-07-11', 1, 'a', 10);
等待一段时间或optimize table rmt_table手动触发merge，后查询
:) select * from rmt_table;
┌───────date─┬─id─┬─name─┬─point─┐
│ 2019-07-11 │ 1 │ a │ 30 │
└────────────┴────┴──────┴───────┘
4.6 SummingMergeTree
该引擎继承自 MergeTree。区别在于，当合并 SummingMergeTree 表的数据片段时，ClickHouse 会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主键的组合方式使得单个键值对应于大量的行，则可以显著的减少存储空间并加快数据查询的速度，对于不可加的列，会取一个最先出现的值。
语法：
ENGINE [=] SummingMergeTree(date-column [, sampling_expression], (primary, key), index_granularity, [columns])
columns — 包含将要被汇总的列的列名的元组
案例：
create table smt_table (date Date, name String, a UInt16, b UInt16) ENGINE=SummingMergeTree(date, (date, name), 8192, (a))
插入数据：
insert into smt_table (date, name, a, b) values ('2019-07-10', 'a', 1, 2);
insert into smt_table (date, name, a, b) values ('2019-07-10', 'b', 2, 1);
insert into smt_table (date, name, a, b) values ('2019-07-11', 'b', 3, 8);
insert into smt_table (date, name, a, b) values ('2019-07-11', 'b', 3, 8);
insert into smt_table (date, name, a, b) values ('2019-07-11', 'a', 3, 1);
insert into smt_table (date, name, a, b) values ('2019-07-12', 'c', 1, 3);
等待一段时间或optimize table smt_table手动触发merge，后查询
:) select * from smt_table
┌───────date─┬─name─┬─a─┬─b─┐
│ 2019-07-10 │ a │ 1 │ 2 │
│ 2019-07-10 │ b │ 2 │ 1 │
│ 2019-07-11 │ a │ 3 │ 1 │
│ 2019-07-11 │ b │ 6 │ 8 │
│ 2019-07-12 │ c │ 1 │ 3 │
└────────────┴──────┴───┴───┘
发现2019-07-11，b的a列合并相加了，b列取了8（因为b列为8的数据最先插入）。
4.7 Distributed
分布式引擎，本身不存储数据, 但可以在多个服务器上进行分布式查询。 读是自动并行的。读取时，远程服务器表的索引（如果有的话）会被使用。
Distributed(cluster_name, database, table [, sharding_key])
参数解析：
cluster_name  - 服务器配置文件中的集群名,在/etc/metrika.xml中配置的
database – 数据库名
table – 表名
sharding_key – 数据分片键
案例演示：
1）在hadoop102，hadoop103，hadoop104上分别创建一个表t
:)create table t(id UInt16, name String) ENGINE=TinyLog;
2）在三台机器的t表中插入一些数据
:)insert into t(id, name) values (1, 'zhangsan');
:)insert into t(id, name) values (2, 'lisi');
3）在hadoop102上创建分布式表
:)create table dis_table(id UInt16, name String) ENGINE=Distributed(perftest_3shards_1replicas, default, t, id);
4）往dis_table中插入数据
:) insert into dis_table select * from t
5）查看数据量
:) select count() from dis_table
FROM dis_table
┌─count()─┐
│ 8 │
└─────────┘
:) select count() from t
SELECT count()
FROM t
┌─count()─┐
│ 3 │
└─────────┘
可以看到每个节点大约有1/3的数据
第5章 SQL语法
5.1 CREATE
5.1.1 CREATE DATABASE
用于创建指定名称的数据库，语法如下：
CREATE DATABASE [IF NOT EXISTS] db_name
如果查询中存在IF NOT EXISTS，则当数据库已经存在时，该查询不会返回任何错误。
:) create database test;
Ok.
0 rows in set. Elapsed: 0.018 sec.
5.1.2 CREATE TABLE
对于创建表，语法如下：
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
...
) ENGINE = engine
DEFAULT expr – 默认值，用法与SQL类似。
MATERIALIZED expr – 物化表达式，被该表达式指定的列不能被INSERT，因为它总是被计算出来的。 对于INSERT而言，不需要考虑这些列。 另外，在SELECT查询中如果包含星号，此列不会被查询。
ALIAS expr – 别名。
有三种方式创建表：
1）直接创建
:) create table t1(id UInt16,name String) engine=TinyLog
2）创建一个与其他表具有相同结构的表
CREATE TABLE [IF NOT EXISTS] [db.]table_name AS [db2.]name2 [ENGINE = engine]
可以对其指定不同的表引擎声明。如果没有表引擎声明，则创建的表将与db2.name2使用相同的表引擎。
:) create table t2 as t1 engine=Memory
:) desc t2
DESCRIBE TABLE t2
┌─name─┬─type───┬─default_type─┬─default_expression─┐
│ id │ UInt16 │ │ │
│ name │ String │ │ │
└──────┴────────┴──────────────┴────────────────────┘
3）使用指定的引擎创建一个与SELECT子句的结果具有相同结构的表，并使用SELECT子句的结果填充它。
语法：
CREATE TABLE [IF NOT EXISTS] [db.]table_name ENGINE = engine AS SELECT ...
实例：
先在t2中插入几条数据
:) insert into t1 values(1,'zhangsan'),(2,'lisi'),(3,'wangwu')
:) create table t3 engine=TinyLog as select * from t1
:) select * from t3
┌─id─┬─name─────┐
│ 1 │ zhangsan │
│ 2 │ lisi │
│ 3 │ wangwu │
└────┴──────────┘
5.2 INSERT INTO
主要用于向表中添加数据，基本格式如下：
INSERT INTO [db.]table [(c1, c2, c3)] VALUES (v11, v12, v13), (v21, v22, v23), ...
实例：
:) insert into t1 values(1,'zhangsan'),(2,'lisi'),(3,'wangwu')
还可以使用select来写入数据：
INSERT INTO [db.]table [(c1, c2, c3)] SELECT ...
    实例：
:) insert into t2 select * from t3
:) select * from t2
┌─id─┬─name─────┐
│ 1 │ zhangsan │
│ 2 │ lisi │
│ 3 │ wangwu │
└────┴──────────┘
ClickHouse不支持的修改数据的查询：UPDATE, DELETE, REPLACE, MERGE, UPSERT, INSERT UPDATE。
5.3 ALTER
ALTER只支持MergeTree系列，Merge和Distributed引擎的表，基本语法：
ALTER TABLE [db].name [ON CLUSTER cluster] ADD|DROP|MODIFY COLUMN ...
参数解析：
ADD COLUMN – 向表中添加新列
DROP COLUMN – 在表中删除列
MODIFY COLUMN – 更改列的类型
案例演示：
1）创建一个MergerTree引擎的表
create table mt_table (date Date, id UInt8, name String) ENGINE=MergeTree(date, (id, name), 8192);
2）向表中插入一些值
insert into mt_table values ('2019-05-01', 1, 'zhangsan');
insert into mt_table values ('2019-06-01', 2, 'lisi');
insert into mt_table values ('2019-05-03', 3, 'wangwu');
3）在末尾添加一个新列age
:)alter table mt_table add column age UInt8
:)desc mt_table
┌─name─┬─type───┬─default_type─┬─default_expression─┐
│ date │ Date │ │ │
│ id │ UInt8 │ │ │
│ name │ String │ │ │
│ age │ UInt8 │ │ │
└──────┴────────┴──────────────┴────────────────────┘
:) select * from mt_table
┌───────date─┬─id─┬─name─┬─age─┐
│ 2019-06-01 │ 2 │ lisi │ 0 │
└────────────┴────┴──────┴─────┘
┌───────date─┬─id─┬─name─────┬─age─┐
│ 2019-05-01 │ 1 │ zhangsan │ 0 │
│ 2019-05-03 │ 3 │ wangwu │ 0 │
└────────────┴────┴──────────┴─────┘
4）更改age列的类型
:)alter table mt_table modify column age UInt16
:)desc mt_table
┌─name─┬─type───┬─default_type─┬─default_expression─┐
│ date │ Date │ │ │
│ id │ UInt8 │ │ │
│ name │ String │ │ │
│ age │ UInt16 │ │ │
└──────┴────────┴──────────────┴────────────────────┘
5）删除刚才创建的age列
:)alter table mt_table drop column age
:)desc mt_table
┌─name─┬─type───┬─default_type─┬─default_expression─┐
│ date │ Date │ │ │
│ id │ UInt8 │ │ │
│ name │ String │ │ │
└──────┴────────┴──────────────┴────────────────────┘
5.4 DESCRIBE TABLE
查看表结构
:)desc mt_table
┌─name─┬─type───┬─default_type─┬─default_expression─┐
│ date │ Date │ │ │
│ id │ UInt8 │ │ │
│ name │ String │ │ │
└──────┴────────┴──────────────┴────────────────────┘
5.5 CHECK TABLE
检查表中的数据是否损坏，他会返回两种结果：
0 – 数据已损坏
1 – 数据完整
该命令只支持Log，TinyLog和StripeLog引擎。
vx-Yang_Gaige
关注
关注
点赞
收藏
打赏
评论
大数据技术之ClickHouse
第1章 ClickHouse概述1.1 什么是ClickHouseClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。1.2 什么是列式存储以下面的表为例：IdNameAge1...
复制链接
扫一扫
02_尚硅谷大数据技术之ClickHouse高级V1.01
08-04
第 1 章 Explain 查看执行计划在 clickhouse 20.6 版本之前要查看 SQL 语句的执行计划需要设置日志级别为 trace 才能可以看到，
Clickhouse数据库一：简介
weixin_42796403的博客
03-20
5148
ClickHouse数据库简介
ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。
OLAP场景的关键特征
大多数是读请求
数据总是以相当大的批(> 1000 rows)进行写入
不修改已添加的数据
每次查询都从数据库中读取大量的行，但是同时又仅需要少量的列
宽表，即每个表包含着大量的列
较少的查询(通常每台服务器每秒数百个查询或更少)
对于简单查询，允许延迟大约
参与评论
您还未登录，请先
登录
后发表或查看评论
什么是 ClickHouse（实时数据分析数据库）
XIATWO
12-05
4603
什么是 ClickHouse
软件介绍
简介
1、ClickHouse 是俄罗斯搜索巨头 Yandex 公司早 2016年 开源的一个极具 " 战斗力 " 的实时数据分析数据库，开发语言为C++
2、是一个用于联机分析 (OLAP:Online Analytical Processing) 的列式数据库管理系统(DBMS:Database Management System)，简称 CK
3、工作速度比传统方法快100-1000倍，ClickHouse 的性能超过了目前市场上可比的面向列的DBMS。 每
火山引擎：ClickHouse增强计划之“Upsert”
最新发布
芋艿V
09-22
84
相信大家都对大名鼎鼎的ClickHouse有一定的了解了，它强大的数据分析性能让人印象深刻。但在字节大量生产使用中，发现了ClickHouse依然存在了一定的局限。例如：• 缺少完整的upsert和delete操作• 多表关联查询能力弱• 集群规模较大时可用性下降（对字节尤其如此）• 没有资源隔离能力因此，我们决定将ClickHouse能力进行全方位加强，打造一款更强大的数据分析平台。后面我们将从...
clickHouse 与mysql等关系型数据库对比
Angus
09-19
1万+
关于clickHouse数据库，它也是一种关系型数据库。但是区别于传统关系型数据库mysql以及Oracle。其中最大的区别就是传统的关系型数据库是行式存储，而clickHouse是列式存储。请记住这个列式存储方式。这种结构存储方式，具备了一种天然的优势，就是做统计分析，聚类分析。
本身数据库没有绝对的优劣之分。关于clickHouse和mysql的对比，但空间唯独上可以抽象为行（横轴）列（纵轴）。作为数据库的使用者，我们要尽可能的了解它们各自的优势，然后物尽其用，解决我们遇到的场景问题。...
Clickhouse优缺点及性能情况
dongcheng_2015的博客
08-24
1万+
目录
一、优点
二、缺点
三、性能情况
四、相关优化
五、MySQL VS ClickHouse
一、优点
为了高效的使用CPU，数据不仅仅按列存储，同时还按向量进行处理；
数据压缩空间大，减少IO；处理单查询高吞吐量每台服务器每秒最多数十亿行；
索引非B树结构，不需要满足最左原则；只要过滤条件在索引列中包含即可；即使在使用的数据不在索引中，由于各种并行处理机制ClickHouse全表扫描的速度也很快；
写入速度非常快，50-200M/s，对于大量的数据更新非常适用。
二、缺点
系统运维系列 之Clickhouse数据库学习集锦(增删改查操作)
langxiaolin的博客
05-17
925
1 简介
本篇内容涉及一些增删改查操作，包括数据库、表，重点介绍字段的增加/删除操作，其中包含的内容均实际测试通过。
2 Clickhouse
clickhouse是一款MPP架构的列式存储数据库，它拥有完备的管理功能，所以它称得上是一个DBMS，而不仅仅是一个数据库。它具备了如下的基本功能：
(1) DDL：可以动态创建、修改或者删除数据库、表、视图，无需重启服务；
(2) DML：可以动态查询、插入、修改或者删除数据；
(3) 权限控制：可以按照用户粒度设置数据库或者表的操作权限，保障数据的安全性；
《大数据实时分析领域的黑马ClickHouse》二次解读
热门推荐
图霸群英
11-12
3万+
一． 概述
随着物联网IOT时代的来临，IOT设备感知和报警存储的数据越来越大，有用的价值数据需要数据分析师去分析。大数据分析成了非常重要的环节。当然近两年开启的开源大潮，为大数据分析工程师提供了十分富余的工具。但这同时也增加了开发者选择合适的工具的难度，尤其对于新入行的开发者来说。学习成本，框架的多样化和复杂度成了很大的难题。例如kafka,hdfs,spark,hive 等等组合才能产生最...
ClickHouse详解
我思，顾我在
10-27
2773
一 clickhouse-简介
​ ClickHouse是俄罗斯的Yandex于2016年开源的一个用于联机分析(OLAP:Online Analytical Processing)的列式数据库管理系统(DBMS:Database Management System) , 主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。 ClickHouse的全称是Click Stream，Data WareHouse，简称ClickHouse
实时数据 ,事件,快
[外链图片转存失
clickhouse 列式存储数据库介绍
z69183787的专栏
05-21
3068
ClickHouse介绍
ClickHouse来自哪里？
俄罗斯最大的搜索公司Yandex，在clickhouse的配置文件中我们也会看到yandex的影子。
ClickHouse是什么？
ClickHouse是一个开源的列式数据库（DBMS），主要用于在线分析处理查询（OLAP），于2016年开源，采用C++开发。凭借优秀的性能，市场反应非常热烈。
什么是列式数据库？
相对行式数据库，像Mysql、Oracle、SqlServer等都是行式存储，是把同一行的数据放到相邻同一数据块种，而列式存储是把同
干货 | StarRocks在携程大住宿智能数据平台的应用
携程技术
10-21
778
作者简介Wenjun，携程资深软件工程师，负责大住宿数据智能平台的研发与维护，对于大数据领域技术有浓厚兴趣。一、平台现状大住宿数据智能平台（简称HData）是一个为携程大住宿业务提供数据...
ClickHouse数据库
lidepan的博客
08-18
162
ClickHouse数据库
clickhouse建库_Clickhouse数据库基本操作
weixin_42560991的博客
02-01
4521
一、先提出几个问题1、 如何复制一个表？2、 为何增加表列失败？3、 如何替换表中某列的某个字符串？二、先看看clickhouse的基本操作1. 创建数据库CREATE DATABASE语法：CREATE DATABASE [IF NOTEXISTS] db_name如果数据库db_name已经存在，则不会创建新的db_name数据库。2. 创建表CREATE TABLE语法：...
clickhouse简介
weixin_45216482的博客
03-22
1万+
什么是ClickHouse
ClickHouse 是俄罗斯的Yandex(类似于百度等在我们国家的地位)于2016年开源的列式存储数据库（DBMS），主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告(优势:快))。
什么是列式存储
以下面的表为例：
Id Name Age
1 张三 18
2 李四 22
3 王五 34
采用行式存储时，数据在磁盘上的组织结构为：(相同颜色代表一行)
好处是想查某个人所有的属性时，可以通过一次磁盘查找加顺序读取就可以。但是当想查所有人的年龄
离线安装与卸载单机版clickhouse，MaterializeMySQL引擎进行关联
qq_45798550的博客
03-31
187
文章目录一、下载对应版本的rpm文件二、安装三、mysql准备四、启动clickhouse1、启动server2、启动client五、MaterializeMySQL引擎同步mysql六、卸载卸载删除对应得目录
一、下载对应版本的rpm文件
访问该网站，下载对应版本的client、server、conmmon包
https://repo.clickhouse.tech/
找到对应版本的rpm 包，上传至虚拟机
二、安装
环境
防火墙永久关闭，且禁止开机自启动，jdk 1.8 centos6.5
安装
ClickHouse大数据分析与实战
09-16
<p><span style="color: #313d54; font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; font-size: 16px; background-color: #ffffff;">本课程基于ClickHouse最新稳定版本进行讲解，着重讲解ClickHouse大数据技术理论与实战。课程全面包含ClickHouse核心理论、分布式集群部署、数据实时查询实操以及ClickHouse全流程大数据项目实战等内容，让大家从基础到实战快速掌握ClickHouse大数据分析技术。</span></p>
clickhouse
weixin_45596022的博客
03-31
1万+
一，clickhouse特点
1.列式存储
行存储
好处是想查某个人所有的属性时，可以通过一次磁盘查找加顺序读取就可以。但是当想查所有人的年龄时，需要不停的查找，或者全表扫描才行，遍历的很多数据都是不需要的。
id
姓名
年龄
张三
18
李四
19
王五
20
列存储
列存储的好处
1 对于列的聚合，计数，求和等统计操作要优于行式存储。
2 由于某一列的数据类型都是相同的，针对于数据存储更容易进行数据压缩，每一列选择更优的数据压缩算法，大大提高了数据的压缩比重。
Click House数据类型、数据库、数据表概念和操作
造梦师Fred的博客
11-02
1257
文章目录1 数据类型2 数据库3 数据表3.1 创建表的三种语句3.2 临时表3.3 分区表3.4 视图3.5.数据表的基本操作3.6 数据分区的基本操作3.7 DDL分布式执行4 数据的删除和修改
数据类型 数据库 数据表的概念和mysql很像, 但又有细节的区分, 建议好好阅读一遍官网,整理如下.
1 数据类型
基础数据类型
数值
整数 Int8 Int16 Int32 Int64
浮点数Float32 Float64
定点数 Decimal32(S) Decimal64(S)
字符串
Clickhouse的基本介绍
Xlucas的博客
03-19
1万+
Clickhouse的基本介绍
clickhouse SQL查询语句 【译自Github 英文文档】
vagabond6的博客
03-14
3万+
内容有缩减，原文请点击这里创建数据库CREATE DATABASE [IF NOT EXISTS] db_name创建表CREATE TABLE可以有几种形式。创建一张表，最好指定引擎结构CREATE [TEMPORARY] TABLE [IF NOT EXISTS] [db.]name [ON CLUSTER cluster]
name1 [type1] [DEFAULT|MATER...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：技术黑板
设计师：CSDN官方博客
返回首页
vx-Yang_Gaige
CSDN认证博客专家
CSDN认证企业博客
码龄7年
暂无认证
819
原创
2万+
周排名
13万+
总排名
46万+
访问
等级
1万+
积分
961
粉丝
194
获赞
115
评论
1029
收藏
私信
关注
热门文章
datagrid使用方法（重要）
62455
Vue学习笔记（7）
32303
将网站发布到互联网
9536
蓝云ERP系统项目笔记——登录与密码管理（4）
9269
Python_美多商城(支付)_9
7946
分类专栏
API接口幂等框架
1篇
笔记
java
2篇
node
3篇
爬虫
5篇
HTML
1篇
最新评论
大数据项目之电商分析平台（2）
YYYY-MM-DD:
求代码，谢谢
Oracle 11g_数据表对象（8）
@Benron:
很像作业
微信小程序（3）---本地生活项目
CXQ0718:
有直接打包的项目嘛
easyUI combobox下拉框使用
hello world:
动态查找怎么弄，在url中需要添加参数
大数据项目之电商分析平台（2）
qq_26269509:
您好大神，请问有完整的源码吗
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
Shiro权限框架-分布式统一权限系统（11）
Shiro权限框架-Springboot+Shiro+Jwt前后端分离鉴权（10）
Shiro权限框架-在线并发登录人数控制（9）
2022
04月
11篇
03月
28篇
02月
30篇
01月
19篇
2021年287篇
2020年182篇
2019年195篇
2018年109篇
目录
目录
分类专栏
API接口幂等框架
1篇
笔记
java
2篇
node
3篇
爬虫
5篇
HTML
1篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
vx-Yang_Gaige
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值