初识ClickHouse_XK&RM的博客-CSDN博客_clickhouse-watchdog


本站和网页 https://blog.csdn.net/qq_41301707/article/details/113809084 的作者无关,不对其内容负责。快照谨为网络故障时之索引,不代表被搜索网站的即时页面。

初识ClickHouse_XK&RM的博客-CSDN博客_clickhouse-watchdog
初识ClickHouse
XK&RM
于 2021-02-14 16:49:32 发布
1011
收藏
分类专栏:
ClickHouse
文章标签:
大数据
clickhouse
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_41301707/article/details/113809084
版权
ClickHouse
专栏收录该内容
1 篇文章
0 订阅
订阅专栏
目录
1. ClickHouse 介绍2. 部署 ClickHouse2.1 检查机器环境是否可以部署 ClickHouse2.2 部署 ClickHouse2.3 启动 ClickHouse
3. 修改 ClickHouse 配置文件4. ClickHouse 默认重要的路径5. ClickHouse 基本操作5.1 创建一个数据库5.2 创建一张表5.3 插入一笔数据5.4 查询数据5.5 修改数据5.6 删除数据
6. ClickHouse 常用数据类型6.1 Int 类型6.2 Float 类型6.3 Decimal 类型6.4 Boolean 类型6.5 String 类型6.6 Fixedstring 类型6.7 UUID 类型6.8 Date 类型
ClickHouse 官网
1. ClickHouse 介绍
ClickHouse 是一个采用列式存储,用于联机分析(OLAP)的数据库管理系统(DBMS)。优点:
列式存储实时的数据更新支持近似计算支持数据复制和数据完整性 缺点:
没有完整的事务支持缺少高频率、低延迟的修改或删除已存在数据的能力,仅能用于批量删除或修改数据
2. 部署 ClickHouse
部署文档(官方)
本次部署采用的是单点部署
2.1 检查机器环境是否可以部署 ClickHouse
[hadoop@bigdata ~]$ grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"
SSE 4.2 supported
2.2 部署 ClickHouse
[hadoop@bigdata ~]$ sudo yum install yum-utils
[hadoop@bigdata ~]$ sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
[hadoop@bigdata ~]$ sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64
[hadoop@bigdata ~]$ sudo yum install clickhouse-server clickhouse-client
2.3 启动 ClickHouse
[hadoop@bigdata ~]$ sudo systemctl start clickhouse-server
[hadoop@bigdata ~]$ sudo systemctl status clickhouse-server
● clickhouse-server.service - ClickHouse Server (analytic DBMS for big data)
Loaded: loaded (/etc/systemd/system/clickhouse-server.service; enabled; vendor preset: disabled)
Active: active (running) since 日 2021-02-14 14:08:45 CST; 6s ago
Main PID: 10498 (clckhouse-watch)
CGroup: /system.slice/clickhouse-server.service
├─10498 clickhouse-watchdog --config=/etc/clickhouse-server/config.xml --pid-file=/run/clickhouse-server/clickhouse-server.pid
└─10499 /usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml --pid-file=/run/clickhouse-server/clickhouse-server.pid
2月 14 14:08:45 bigdata systemd[1]: Started ClickHouse Server (analytic DBMS for big data).
2月 14 14:08:45 bigdata clickhouse-server[10498]: Processing configuration file '/etc/clickhouse-server/config.xml'.
2月 14 14:08:45 bigdata clickhouse-server[10498]: Logging trace to /var/log/clickhouse-server/clickhouse-server.log
2月 14 14:08:45 bigdata clickhouse-server[10498]: Logging errors to /var/log/clickhouse-server/clickhouse-server.err.log
2月 14 14:08:45 bigdata clickhouse-server[10498]: Processing configuration file '/etc/clickhouse-server/users.xml'.
2月 14 14:08:45 bigdata clickhouse-server[10498]: Saved preprocessed configuration to '/var/lib/clickhouse/preprocessed_configs/users.xml'.
2月 14 14:08:47 bigdata clickhouse-server[10498]: Processing configuration file '/etc/clickhouse-server/config.xml'.
2月 14 14:08:47 bigdata clickhouse-server[10498]: Saved preprocessed configuration to '/var/lib/clickhouse/preprocessed_configs/config.xml'.
进入到 ClickHouse 客户端
[hadoop@bigdata ~]$ clickhouse-client
3. 修改 ClickHouse 配置文件
修改配置文件:/etc/clickhouse-server/config.xmlClickHouse JDBC 端口号
<tcp_port>9000</tcp_port>
ClickHouse 修改监听的 HostName
<listen_host>::</listen_host>
重启 ClickHouse
[hadoop@bigdata ~]$ sudo systemctl start clickhouse-server
[hadoop@bigdata ~]$ clickhouse-client --host=bigdata --port=9000
bigdata :) show databases;
SHOW DATABASES
Query id: 478c40aa-9367-4322-a66a-61c61f906138
┌─name────┐
│ default │
│ system │
└─────────┘
2 rows in set. Elapsed: 0.004 sec.
客户端执行的 SQL 语句如果需要换行操作
[hadoop@bigdata ~]$ clickhouse-client --host=bigdata --port=9000 -m
bigdata :) show
:-] databases;
SHOW DATABASES
Query id: 66526349-6668-4e89-b53c-dd70b5aeb99f
┌─name────┐
│ default │
│ system │
└─────────┘
2 rows in set. Elapsed: 0.006 sec.
修改 users.xml增加一个用户
[root@bigdata clickhouse-server]# pwd
/etc/clickhouse-server
[root@bigdata clickhouse-server]# vim users.xml
<bigdata>
<password>123456</password>
<networks>
<ip>::/0</ip>
</networks>
<profile>default</profile>
<quota>default</quota>
</bigdata>
<$username>
<password>$password</password>
<networks>
<ip>::/0</ip>
</networks>
<profile>default</profile>
<quota>default</quota>
</$username>
重启服务并登录
[hadoop@bigdata ~]$ sudo systemctl start clickhouse-server
[hadoop@bigdata ~]$ clickhouse-client --host=bigdata --port=9000 -m --user=bigdata --password=123456
ClickHouse client version 21.2.2.8 (official build).
Connecting to bigdata:9000 as user bigdata.
Connected to ClickHouse server version 21.2.2 revision 54447.
bigdata :) show databases;
SHOW DATABASES
Query id: aad8f902-2908-447f-8683-8df1c58ee47c
┌─name────┐
│ default │
│ system │
└─────────┘
3 rows in set. Elapsed: 0.004 sec.
4. ClickHouse 默认重要的路径
配置文件
/etc/clickhouse-server
数据路径一个 database 一个文件夹
/var/lib/clickhouse/data
元数据路径
/var/lib/clickhouse/metadata
命令行路径
/usr/bin/clickhouse-server
/usr/bin/clickhouse-client
/usr/bin/clickhouse-benchmark
5. ClickHouse 基本操作
5.1 创建一个数据库
CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster] [ENGINE = engine(...)]
bigdata :) create database bigdata;
CREATE DATABASE bigdata
Query id: aebd4d34-7af4-4c15-92d3-7b777476fd08
Ok.
0 rows in set. Elapsed: 0.005 sec.
bigdata :) use bigdata;
USE bigdata
Query id: 31543b31-ddf2-4fa4-a617-6c8a21303afe
Ok.
0 rows in set. Elapsed: 0.002 sec.
bigdata :) select currentDatabase() ;
SELECT currentDatabase()
Query id: 2cd2d043-1966-43a9-9e2c-2f5e02d50803
┌─currentDatabase()─┐
│ bigdata │
└───────────────────┘
1 rows in set. Elapsed: 0.004 sec.
5.2 创建一张表
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
name1 [type1] [NULL|NOT NULL] [DEFAULT|MATERIALIZED|ALIAS expr1] [compression_codec] [TTL expr1],
name2 [type2] [NULL|NOT NULL] [DEFAULT|MATERIALIZED|ALIAS expr2] [compression_codec] [TTL expr2],
...
) ENGINE = engine
bigdata :) CREATE TABLE test
:-] (
:-] id Int32,
:-] name String
:-] ) ENGINE = Memory;
CREATE TABLE test
`id` Int32,
`name` String
ENGINE = Memory
Query id: 7adb3381-57f1-4c6b-847a-f82590888cc9
Ok.
0 rows in set. Elapsed: 0.020 sec.
5.3 插入一笔数据
bigdata :) insert into test values(1,'hadoop'),(2,'spark');
INSERT INTO test VALUES
Query id: 50160821-b508-42b7-a344-05087d6932a9
Ok.
2 rows in set. Elapsed: 0.005 sec.
5.4 查询数据
bigdata :) select * from test;
SELECT *
FROM test
Query id: 51dba55f-39df-4c66-832a-20ecb3117c51
┌─id─┬─name───┐
│ 1 │ hadoop │
│ 2 │ spark │
└────┴────────┘
2 rows in set. Elapsed: 0.005 sec.
5.5 修改数据
bigdata :) ALTER TABLE test UPDATE name = 'spark1' where id = 2;
ALTER TABLE test
UPDATE name = 'spark1' WHERE id = 2
Query id: 3ede61c5-72b9-4af1-b75b-33882da9288e
Ok.
0 rows in set. Elapsed: 0.003 sec.
bigdata :) select * from test;
SELECT *
FROM test
Query id: d9045117-ec85-4146-82c8-6b11109adf69
┌─id─┬─name───┐
│ 1 │ hadoop │
│ 2 │ spark1 │
└────┴────────┘
2 rows in set. Elapsed: 0.005 sec.
5.6 删除数据
bigdata :) ALTER TABLE test delete where id = 2;
ALTER TABLE test
DELETE WHERE id = 2
Query id: 9cecf262-aa88-4ba2-81b8-5db27046e1d2
Ok.
0 rows in set. Elapsed: 0.005 sec.
bigdata :) select * from test;
SELECT *
FROM test
Query id: 931e9a24-3f86-48ec-9df0-e8f4c7b3d603
┌─id─┬─name───┐
│ 1 │ hadoop │
└────┴────────┘
1 rows in set. Elapsed: 0.006 sec.
6. ClickHouse 常用数据类型
ClickHouse 数据类型中区分大小写查看本版本中有哪些数据类型:
bigdata :) select * from system.data_type_families;
SELECT *
FROM system.data_type_families
Query id: e5b07c0c-b7a5-42c5-9040-c69a04bf7e67
┌─name────────────────────────────┬─case_insensitive─┬─alias_to────┐
│ Polygon │ 0 │ │
│ Ring │ 0 │ │
│ MultiPolygon │ 0 │ │
│ IPv6 │ 0 │ │
│ IntervalSecond │ 0 │ │
│ IPv4 │ 0 │ │
│ UInt32 │ 0 │ │
│ IntervalYear │ 0 │ │
│ IntervalQuarter │ 0 │ │
│ IntervalMonth │ 0 │ │
│ Int64 │ 0 │ │
│ IntervalDay │ 0 │ │
│ IntervalHour │ 0 │ │
│ UInt256 │ 0 │ │
│ Int16 │ 0 │ │
│ LowCardinality │ 0 │ │
│ AggregateFunction │ 0 │ │
│ Nothing │ 0 │ │
│ Decimal256 │ 1 │ │
│ Tuple │ 0 │ │
│ Array │ 0 │ │
│ Enum16 │ 0 │ │
│ IntervalMinute │ 0 │ │
│ FixedString │ 0 │ │
│ String │ 0 │ │
│ DateTime │ 1 │ │
│ Map │ 0 │ │
│ UUID │ 0 │ │
│ Decimal64 │ 1 │ │
│ Nullable │ 0 │ │
│ Enum │ 0 │ │
│ Int32 │ 0 │ │
│ UInt8 │ 0 │ │
│ Date │ 1 │ │
│ Decimal32 │ 1 │ │
│ Point │ 0 │ │
│ Float64 │ 0 │ │
│ DateTime64 │ 1 │ │
│ Int128 │ 0 │ │
│ Decimal128 │ 1 │ │
│ Int8 │ 0 │ │
│ SimpleAggregateFunction │ 0 │ │
│ Nested │ 0 │ │
│ Decimal │ 1 │ │
│ Int256 │ 0 │ │
│ IntervalWeek │ 0 │ │
│ UInt64 │ 0 │ │
│ Enum8 │ 0 │ │
│ DateTime32 │ 1 │ │
│ UInt16 │ 0 │ │
│ Float32 │ 0 │ │
│ INET6 │ 1 │ IPv6 │
│ INET4 │ 1 │ IPv4 │
│ BINARY │ 1 │ FixedString │
│ NATIONAL CHAR VARYING │ 1 │ String │
│ BINARY VARYING │ 1 │ String │
│ NCHAR LARGE OBJECT │ 1 │ String │
│ NATIONAL CHARACTER VARYING │ 1 │ String │
│ NATIONAL CHARACTER LARGE OBJECT │ 1 │ String │
│ NATIONAL CHARACTER │ 1 │ String │
│ NATIONAL CHAR │ 1 │ String │
│ CHARACTER VARYING │ 1 │ String │
│ LONGBLOB │ 1 │ String │
│ MEDIUMTEXT │ 1 │ String │
│ TEXT │ 1 │ String │
│ TINYBLOB │ 1 │ String │
│ VARCHAR2 │ 1 │ String │
│ CHARACTER LARGE OBJECT │ 1 │ String │
│ DOUBLE PRECISION │ 1 │ Float64 │
│ LONGTEXT │ 1 │ String │
│ NVARCHAR │ 1 │ String │
│ INT1 UNSIGNED │ 1 │ UInt8 │
│ VARCHAR │ 1 │ String │
│ CHAR VARYING │ 1 │ String │
│ MEDIUMBLOB │ 1 │ String │
│ NCHAR │ 1 │ String │
│ CHAR │ 1 │ String │
│ SMALLINT UNSIGNED │ 1 │ UInt16 │
│ TIMESTAMP │ 1 │ DateTime │
│ FIXED │ 1 │ Decimal │
│ TINYTEXT │ 1 │ String │
│ NUMERIC │ 1 │ Decimal │
│ DEC │ 1 │ Decimal │
│ TINYINT UNSIGNED │ 1 │ UInt8 │
│ INTEGER UNSIGNED │ 1 │ UInt32 │
│ INT UNSIGNED │ 1 │ UInt32 │
│ CLOB │ 1 │ String │
│ MEDIUMINT UNSIGNED │ 1 │ UInt32 │
│ BOOL │ 1 │ Int8 │
│ SMALLINT │ 1 │ Int16 │
│ INTEGER SIGNED │ 1 │ Int32 │
│ NCHAR VARYING │ 1 │ String │
│ INT SIGNED │ 1 │ Int32 │
│ TINYINT SIGNED │ 1 │ Int8 │
│ BIGINT SIGNED │ 1 │ Int64 │
│ BINARY LARGE OBJECT │ 1 │ String │
│ SMALLINT SIGNED │ 1 │ Int16 │
│ MEDIUMINT │ 1 │ Int32 │
│ INTEGER │ 1 │ Int32 │
│ INT1 SIGNED │ 1 │ Int8 │
│ BIGINT UNSIGNED │ 1 │ UInt64 │
│ BYTEA │ 1 │ String │
│ INT │ 1 │ Int32 │
│ SINGLE │ 1 │ Float32 │
│ FLOAT │ 1 │ Float32 │
│ MEDIUMINT SIGNED │ 1 │ Int32 │
│ BOOLEAN │ 1 │ Int8 │
│ DOUBLE │ 1 │ Float64 │
│ INT1 │ 1 │ Int8 │
│ CHAR LARGE OBJECT │ 1 │ String │
│ TINYINT │ 1 │ Int8 │
│ BIGINT │ 1 │ Int64 │
│ CHARACTER │ 1 │ String │
│ BYTE │ 1 │ Int8 │
│ BLOB │ 1 │ String │
│ REAL │ 1 │ Float32 │
└─────────────────────────────────┴──────────────────┴─────────────┘
116 rows in set. Elapsed: 0.006 sec.
6.1 Int 类型
Int 类型有以下这些:UInt8, UInt16, UInt32, UInt64, UInt256, Int8, Int16, Int32, Int64, Int128, Int256
Int Ranges
Int8 — [-128 : 127]
Int16 — [-32768 : 32767]
Int32 — [-2147483648 : 2147483647]
Int64 — [-9223372036854775808 : 9223372036854775807]
Int128 — [-170141183460469231731687303715884105728 : 170141183460469231731687303715884105727]
Int256 — [-57896044618658097711785492504343953926634992332820282019728792003956564819968 : 57896044618658097711785492504343953926634992332820282019728792003956564819967]
Uint Ranges
UInt8 — [0 : 255]
UInt16 — [0 : 65535]
UInt32 — [0 : 4294967295]
UInt64 — [0 : 18446744073709551615]
UInt256 — [0 : 115792089237316195423570985008687907853269984665640564039457584007913129639935]
6.2 Float 类型
Float32 — floatFloat64 — doubleNaN and Inf
Inf : 无穷NaN : 不是一个数字
bigdata :) SELECT 0.5 / 0
:-] ;
SELECT 0.5 / 0
Query id: 0af32c1e-100c-40e1-8f1c-469390d545be
┌─divide(0.5, 0)─┐
│ inf │
└────────────────┘
1 rows in set. Elapsed: 0.004 sec.
bigdata :) SELECT -0.5 / 0;
SELECT -0.5 / 0
Query id: 60f4d58c-c969-4453-bd3b-7531ef309861
┌─divide(-0.5, 0)─┐
│ -inf │
└─────────────────┘
1 rows in set. Elapsed: 0.006 sec.
bigdata :) SELECT 0 / 0
:-] ;
SELECT 0 / 0
Query id: b9275b88-d23e-44b7-80df-4d2d78e7ccbb
┌─divide(0, 0)─┐
│ nan │
└──────────────┘
1 rows in set. Elapsed: 0.004 sec.
6.3 Decimal 类型
Decimal(P, S), Decimal32(S), Decimal64(S), Decimal128(S), Decimal256(S)
P - precision. Valid range: [ 1 : 76 ]. 代表数字可以有多少个小数位数(包括分数)。S - scale. Valid range: [ 0 : P ]. 小数部分可以有多少个小数位数。 加减乘除运算:
add, subtract: S = max(S1, S2):加、减multuply: S = S1 + S2:乘法divide: S = S1:除法
6.4 Boolean 类型
There is no separate type for boolean values. Use UInt8 type, restricted to the values 0 or 1.
可以使用 UInt8 中 0、1来表示
6.5 String 类型
Strings of an arbitrary length. The length is not limited. The value can contain an arbitrary set of bytes, including null bytes.
The String type replaces the types VARCHAR, BLOB, CLOB, and others from other DBMSs.
6.6 Fixedstring 类型
固定长度的 String 类型FixedString(N)
bigdata :) CREATE TABLE test_fixedstring
:-] (
:-] id Int32,
:-] name FixedString(5)
:-] ) ENGINE = Memory;
CREATE TABLE test_fixedstring
`id` Int32,
`name` FixedString(5)
ENGINE = Memory
Query id: a7394848-4af2-4cb5-acd6-230188b035b0
Ok.
0 rows in set. Elapsed: 0.008 sec.
bigdata :) insert into test_fixedstring values(1,'spark');
INSERT INTO test_fixedstring VALUES
Query id: 3811b8f1-d68c-4457-bc57-b45be5c719b6
Ok.
1 rows in set. Elapsed: 0.005 sec.
bigdata :) insert into test_fixedstring values(2,'hadoop');
INSERT INTO test_fixedstring VALUES
Query id: 8aeb2b97-b44f-40ab-bdee-ff6106a75606
Exception on client:
Code: 131. DB::Exception: String too long for type FixedString(5): while executing 'FUNCTION CAST(assumeNotNull(_dummy_0) :: 2, 'FixedString(5)' :: 1) -> cast(assumeNotNull(_dummy_0), 'FixedString(5)') FixedString(5) : 4': data for INSERT was parsed from query
Connecting to database bigdata at bigdata:9000 as user default.
Connected to ClickHouse server version 21.2.2 revision 54447.
6.7 UUID 类型
A universally unique identifier (UUID) is a 16-byte number used to identify records
一般是配合 generateUUIDv4 函数一起使用
INSERT INTO t_uuid SELECT generateUUIDv4(), 'Example 1'
bigdata :) CREATE TABLE test_uuid
:-] (
:-] id UUID,
:-] name String
:-] ) ENGINE = Memory;
CREATE TABLE test_uuid
`id` UUID,
`name` String
ENGINE = Memory
Query id: d3fde3cd-609f-497c-b662-4f75d252b076
Ok.
0 rows in set. Elapsed: 0.004 sec.
bigdata :) insert into test_uuid(name) values('spark'),('hadoop');
INSERT INTO test_uuid (name) VALUES
Query id: a513ba06-55a5-4dfd-accf-acfa03636969
Ok.
2 rows in set. Elapsed: 0.005 sec.
bigdata :) select * from test_uuid;
SELECT *
FROM test_uuid
Query id: 69a9a816-1308-41aa-8d1d-64759557795b
┌───────────────────────────────────id─┬─name───┐
│ 00000000-0000-0000-0000-000000000000 │ spark │
│ 00000000-0000-0000-0000-000000000000 │ hadoop │
└──────────────────────────────────────┴────────┘
2 rows in set. Elapsed: 0.007 sec.
6.8 Date 类型
Date : 精确到日期Datetime :精确到秒,可以自己选择时区:DateTime([timezone])Datetime64 :自定义精确到哪里,最多可以精确到亚秒:DateTime64(precision, [timezone]):Tick size (precision): 10-precision seconds
CREATE TABLE dt
`timestamp` Date,
`event_id` UInt8
ENGINE = TinyLog;
INSERT INTO dt Values (1546300800, 1), ('2019-01-01', 2);
SELECT * FROM dt;
┌──timestamp─┬─event_id─┐
│ 2019-01-01 │ 1 │
│ 2019-01-01 │ 2 │
└────────────┴──────────┘
CREATE TABLE dt
`timestamp` DateTime('Europe/Moscow'),
`event_id` UInt8
ENGINE = TinyLog;
INSERT INTO dt Values (1546300800, 1), ('2019-01-01 00:00:00', 2);
SELECT * FROM dt;
┌───────────timestamp─┬─event_id─┐
│ 2019-01-01 03:00:00 │ 1 │
│ 2019-01-01 00:00:00 │ 2 │
└─────────────────────┴──────────┘
CREATE TABLE dt
`timestamp` DateTime64(3, 'Europe/Moscow'),
`event_id` UInt8
ENGINE = TinyLog
INSERT INTO dt Values (1546300800000, 1), ('2019-01-01 00:00:00', 2)
SELECT * FROM dt
┌───────────────timestamp─┬─event_id─┐
│ 2019-01-01 03:00:00.000 │ 1 │
│ 2019-01-01 00:00:00.000 │ 2 │
└─────────────────────────┴──────────┘
XK&RM
关注
关注
点赞
收藏
打赏
评论
初识ClickHouse
目录1. ClickHouse 介绍2. 部署 ClickHouse2.1 检查机器环境是否可以部署 ClickHouse2.2 部署 ClickHouse2.3 启动 ClickHouse3. 修改 ClickHouse 配置文件4. ClickHouse 默认重要的路径5. ClickHouse 基本操作5.1 创建一个数据库5.2 创建一张表5.3 插入一笔数据5.4 查询数据5.5 修改数据5.6 删除数据6. ClickHouse 常用数据类型6.1 Int 类型6.2 Float 类型6.3 D
复制链接
扫一扫
专栏目录
ClickHouse【环境搭建 01】Linux环境单机版在线安装 Code:210.DB::NetException + Init script is already running 问题处理
Java与大数据相关知识分享!
07-07
1913
ClickHouse【环境搭建 01】Linux环境在线安装单机版 Code:210.DB::NetException + Init script is already running 问题处理
CK1621中文详细资料
03-18
PDF格式的文档,CK1621是HT1621的替代芯片之一,性能还是不错的。
参与评论
您还未登录,请先
登录
后发表或查看评论
ClickHouse故障检测和自动恢复
一条大河
10-26
833
由于有时候CK会由于内存溢出等异常原因,导致服务宕掉而没有自动拉起的原因; 所以想要部署 一个守护进程来进行自动拉起CK服务,避免对业务影响时间过长;
监控和告警功能的:
1, 先获取平台中所有的CK IP地址列表;
2, 遍历访问所有IP列表,可以用CK原生客户端,或者mysql客户端等方式进行访问; 根据执行的结果判断实例状态的连通情况;
3, 调用告警接口,短信、咚咚或者其他相关接口进行告警即可;
告警有了,服务自动恢复功能
最初想通过Supervisord来实现CK进程的守护,但操作..
Clickhouse 重启失败问题记录
最新发布
qq5621的博客
11-03
201
Clickhouse 重启失败问题记录
Windows系统上搭建Clickhouse开发环境
Ahxing1985的专栏
12-20
1701
总体思路
微软的开发IDE是很棒的,有两种:Visual Studio 和 VS Code,一个重量级,一个轻量级。近年来VS Code越来越受欢迎,因为她的轻量级和丰富的插件,更重要的是VS Code消耗资源更少,打开大项目的时候不会崩溃。因此选用VS Code。
Clickhouse只能在Linux和MacOS上编译和运行,而开发机器是Windows 10系统,因此需要虚拟机或者WSL。WSL是Windows subsystem Linux,Windows 10原生支持,因此采用WSL。
调试用l
S-Function的重大发现Error in ‘blank/S-Function‘ while executing MATLAB S-function ‘sfun_blank‘, flag = 2
m0_65697462的博客
05-07
1795
解错
Error in 'blank/S-Function' while executing MATLAB S-function 'sfun_blank', flag = 2 (update), at time 0.0.
ClickHouse 异常问题记录
cbb
11-26
4476
1.插入报错
ClickHouse exception, code: 6, host: xxx.xx.xx.28, port: 8123; Code: 6, e.displayText() = DB::Exception: Cannot parse string '12345 ' as Int64: syntax error at begin of string. Note: there are toInt64OrZero and toInt64OrNull functions, which returns
Clickhouse时间日期函数一文详解+代码展示
master_hunter的博客
07-13
6700
Clickhouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的DBMS,简称CK, 与Hadoop, Spark相比,ClickHouse很轻量级,由俄罗斯第一大搜索引擎Yandex于2016年6月发布, 开发语言为C++。主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。时间在数据库中经常作为时间索引,在数据入库和出库以及更新的时候都需要变化。在一些指标计算或者是提取某段时间的数据时,都会根据数据库中的时间索引数据进行操作。因此很大一部分我们操作数据都得先从时间数
java使用看门狗原理实现监听业务
林晓风的博客
07-29
551
看门狗的原理是,有一个定时器在循环计时,当有外界条件触发它执行后,刷新(重置)计时,一直等到计时完毕,还没有外界条件来触发,则会输出特定的指令或者回调。
那么看门狗如何在java中应用呢?我举个场景:当有一个对象的状态变更很频繁,你需要保证数据一致性,将对象的最终状态更新到数据库中。当短时间内有大量的状态变更时,你如何解决更新数据库过于频繁的问题?...
Watchdog-最后的看门狗
柒月
02-26
414
Watchdog是什么
Watchdog是android framework中一个java类(在线源码), 也可以认为是一种系统检查和处理的机制。比如在Android系统中,SystemServer进程会对应用程序进行卡顿检测和处理(即ANR检测等),那么谁来检测和处理SystemServer进程的服务呢?如果AMS、PMS等核心服务出现了卡死谁来处理呢?答案是Watchdog,在Android中,设计了Watchdog机制来检测和处理系统核心服务是否能正常工作。
Watchdog怎么工作
Watchdo.
ClickHouse exception, code: 41 ClickHouse修改表字段类型后查询异常 遇到的坑
wuyuanshun的博客
03-09
1116
ClickHouse exception, code: 41 ClickHouse修改表字段类型后查询异常 遇到的坑
clickhouse linux安装使用以及Oracle数据库导入
wj的博客
08-23
411
安装
下载clickhouse
yum install clickhouse-server clickhouse-client
编辑配置文档
vi /etc/clickhouse-server/config.xml
sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
sudo -u clickhouse clickhouse-server --config-file=/etc/clickhouse-server/config.
【用户画像】ClickHouse简介、特点、安装和部署
weixin_43923463的博客
11-01
205
之前数仓和画像的处理都是批处理,一般在夜间进行,花费时间很长,按照脚本和调度去完成,后来的处理称为即时处理,即时处理要求计算的时间非常之短,存放在hive中,肯定是不行的,这种需求既要求从一定的数据量中提取(如果是小数量可以从MySQL提取),同时需要速度快。这种数据库就需要在hive中和OLAP中同时存储一份,OLAP总体的设计目标就是即席查询,但是不同的数据库之间又有细微的差别,OLAP数据库有kylinprestodruidclickhouse:多用于用户画像和实时计算,速度快。
Clickhouse升级
程裕强的专栏
08-02
401
1、当前版本20.3.9.70
[root@node1 ~]# clickhouse-client --password
ClickHouse client version 20.3.9.70 (official build).
Password for user (default):
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.3.9 revision 54433.
ela
启动系统服务clickhouse报错clickhouse-server.service: main process exited, code=exited, status=232/ADDRESS_FA
wulitaotao96的博客
06-30
7049
错误:
使用
systemctl start clickhouse-server
启动失败,报错信息如下:
[root@hantest mysql]# systemctl status clickhouse-server
● clickhouse-server.service - ClickHouse Server (analytic DBMS for big data)
Loaded: loaded (/etc/systemd/system/clickhouse-server.serv.
单节点离线安装Clickhouse20.10.2.20
x²+(y-√³x²)²=1的博客
07-03
273
一、前提条件
1、系统和 ClickHouse 安装版本
操作系统:CentOS Linux release 7.6. 64bit update
ClickHouse 安装版本:ClickHouse: 20.10.2
2、CentOS7 打开文件数限制
在 /etc/security/limits.conf 文件最后添加以下内容:
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
在 /etc/s
Clickhouse 安装教程 - 单机版
琅涯阁
02-27
513
原文
简单的 Clickhouse 单机版安装教程, 适合新手上手体验;
安装准备
curl 工具, yum install -y curl; yum-utils 工具, yum install -y yum-utils;
CentOS Linux 8 系统
检查系统是否支持安装 clickhouse
grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported."
取消
clickhouse-client报错Code: 210. DB::NetException: Connection refused (localhost:9000)
weixin_44875397的博客
06-04
2611
ClickHouse 启动报错Init script is already running,clickhouse-client报错Code: 210. DB::NetException: Connection refused (localhost:9000)
ClickHouse实战--clickhouse安装与使用
阿华田的博客
06-06
7533
扫一扫加入大数据公众号和技术交流群,了解更多大数据技术,还有免费资料等你哦
Clickhouse安装方式
单机安装
容器安装
集群安装
建议:测试与学习时,使用容器安装方便上手与学习
Ubuntu/Debian安装
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4 # optional
sudo apt-add-repository "deb http://repo.yandex.ru/clic.
watchdog(看门狗)
流氓D的专栏
10-19
9748
Linux 在不同领域如电信、终端便携设备等得到广泛应用,不同领域的应用对 Linux系统也提出相应的需求。Carrier Grade Linux 是 OSDL(Open Source Development Lab)发布的电信级 Linux 的标准,在系统可用性这部分指出 Linux 必须支持 watchdog 机制。Linux 内核从 1.3.51 版本开使提供硬件、软件 watchdog 驱
“相关推荐”对你有帮助么?
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题:大白
设计师:CSDN官方博客
返回首页
XK&RM
CSDN认证博客专家
CSDN认证企业博客
码龄5年
暂无认证
90
原创
26万+
周排名
62万+
总排名
2万+
访问
等级
990
积分
粉丝
10
获赞
10
评论
53
收藏
私信
关注
热门文章
hadoop-2.6.0-cdh5.16.2部署
1462
jps命令详解
1109
Hive--参数优化、Map、Reduce Task个数优化
1062
初识ClickHouse
1011
Mysql--笛卡尔积案例
880
分类专栏
Flink
6篇
ELK
3篇
ClickHouse
1篇
CDH
2篇
Phoenix
2篇
HBase
2篇
Scala
5篇
Kafka
3篇
zookeeper
1篇
JavaSE
2篇
protobuf
1篇
Hue
1篇
Flume
1篇
Sqoop
2篇
调度工具
1篇
Linux
10篇
MySQL
6篇
Hadoop
27篇
Hive
11篇
Spark
4篇
dos
1篇
Python
1篇
最新评论
hive-1.1.0-cdh5.16.2部署
linux_tian:
有网盘的链接吗,现在链接需要登录
hadoop-2.6.0-cdh5.16.2部署
linux_tian:
下载连接需要用户密码
CDH 5.16.2 部署
XK&RM:
CDH 5.16.2 部署
不正经的kimol君:
学习了,谢谢分享~
Kafka--API使用以及优化
XK&RM:
互相学习
您愿意向朋友推荐“博客详情页”吗?
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
Flink Task && SubTask
Flink -- WEB && Standalone Clusters
Flink--初识 DataStream Connector Kafka
2021年25篇
2020年28篇
2019年28篇
2018年11篇
目录
目录
分类专栏
Flink
6篇
ELK
3篇
ClickHouse
1篇
CDH
2篇
Phoenix
2篇
HBase
2篇
Scala
5篇
Kafka
3篇
zookeeper
1篇
JavaSE
2篇
protobuf
1篇
Hue
1篇
Flume
1篇
Sqoop
2篇
调度工具
1篇
Linux
10篇
MySQL
6篇
Hadoop
27篇
Hive
11篇
Spark
4篇
dos
1篇
Python
1篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
XK&RM
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付
您的余额不足,请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明:
1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。
余额充值