列式数据库~clickhouse问题汇总_weixin_34194087的博客-CSDN博客
列式数据库~clickhouse问题汇总
weixin_34194087
于 2019-02-25 10:30:00 发布
3902
收藏
文章标签：
数据库
原文链接：http://www.cnblogs.com/danhuangpai/p/10429499.html
版权
一 简介:常见的clickhouse 问题汇总
二 问题系列  1 内存问题     Code: 241. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Memory limit (for query) exceeded: would use 80.15 GiB (attempt to allocate chunk of 17179869184 bytes), maximum: 74.51 GiB.     分析 内存溢出情况,内存总量放不下目标数据
     这里有两种情况
      1 多用户并发执行,每个用户查询的数据量都很大,导致了总体超过了内存限制,导致了溢出
      2 group by单语句问题  ClickHouse会限制group by使用的内存量（它使用 hash table来处理group by）
      3 insert 语句也可能导致 内存溢出问题,调整参数
    变量调整user.xml相关变量
     其他调整
     1 减少并发  2 改写语句 3增大内存 4 调整参数
  2 如何将hive导致ck中    解决方式: 1 Waterdrop将Hive中的数据导入ClickHouse中 2Waterdrop经过配置文件配置即可,不用编写代码和导入csv    github地址 https://github.com/InterestingLab/waterdrop    1 此插件能支持多种输入输出目标,强烈推荐 2需要依赖spark 3  ck多表join的问题   1 多表join效果效率不是很高   2 多表join的语法非常复杂 只能期待后续版本 4 关于ck的查询与索引问题   CK本身并没有索引,建表的时候已经指定了主键,建议一切查询都要带上主键条件,这样,能大大加快速度(merge),防止全表扫描,将很多数据置入内存中 5 关于ck的适用场景   经过权威人士的测试,ck更多适用于单表查询的场景,对于多表join的效果和写法都存在问题,不建议使用,分布式架构采用Distribution+ReplicatedMergeTree
 6 ck关于DDL操作的一些限制
    1 不要进行 modify column,更改列的操作代价是非常高昂的 
转载于:https://www.cnblogs.com/danhuangpai/p/10429499.html
weixin_34194087
关注
关注
点赞
收藏
评论
列式数据库~clickhouse问题汇总
一 简介:常见的clickhouse 问题汇总二 问题系列 1 内存问题 Code: 241. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Memory limit (for query) exceeded: would use 80.15 GiB (attempt to allocate chun...
复制链接
扫一扫
clickhouse执行sql查询时报错 Code: 1001. DB::Exception: Received from clickhouse-server:9000. DB::Exception:
yy的博客
03-16
3172
目录
执行语句
对应的建表语句
报错内容
官方对应的issue
解决方法
执行语句
select * from tb1;
对应的建表语句
这里使用orc压缩格式
CREATE TABLE db1.tb1(
`app_name` String,
`num` Int64,
`down_time` String)
engine=HDFS('hdfs://192.168.100.142:8020/user/hive/warehouse/bps.db/tb1/*',ORC);
Clickhouse常见异常
dbc_zt的博客
04-30
3361
clickhouse 异常
报错： Code: 16. DB::Exception: Received from localhost:9000. DB::Exception: There is no physical column ver（表字段） in table…
处理方案： 检查metadata下sql文件数据是否正常
报错： Cannot create table from metadata file /var/lib/clickhouse/metadata/db_name//tab_nam
参与评论
您还未登录，请先
登录
后发表或查看评论
ClickHouse-6（集群部署）
getBinary的博客
12-12
730
集群部署副本配置分片集群
副本配置
在前面三台节点安装ClickHouse的基础上，可以配置数据副本，保障数据的高可用性
ClickHouse是没有主副节点的区分的，所以配置副本后，所有节点都可以读取/写入数据，节点之间通过zookeeper通信，发现互相之间数据有差异时会互相同步数据，保证数据一致
数据副本配置流程：
cd /etc/clickhouse-server/config.d
vim metrika.xml # 这里是个外部配置文件，名字不是指定的
在配置文件中指定三个节点的zookeepe
好文收藏｜Clickhouse 常见问题及解决方案汇总
最新发布
Sharon0408的博客
11-02
374
程序是运行在OS 和硬件上的，程序和 OS 息息相关，程序的一些问题会反馈到 OS 的指标上，OS 上的指标也能看出来程序运行的一些问题，所以只有掌握如何看机器负载，对相关指标有清晰的认识才能更好的做好排障工作。
clickhouse实战--常见异常汇总
没有合适的昵称
01-25
9940
Code: 117, e.displayText() = DB::Exception: Unexpected NULL value of not Nullable type String (version 20.8.3.18)
从上面报错信息来看,是因为null值导致的,hive底层存储null值是用\N表示,而clickhouse处理null值的方式不一致,因为需要在建表时特殊说明,问题解决思路:https://blog.csdn.net/jarry_cm/article/details/10598801
clickhouse的报错集合(以错误状态码收集)
qq_44833146的博客
11-30
5280
错误码目录项目场景(错误码:210, 279)：备用项目场景：
项目场景(错误码:210, 279)：
在使用Distributed的分布引擎时出现的报错
问题描述：
先在3台节点上都创建t表,
再在102上使用分布引擎创建表,合并这些表格,
结果出现的错误是:
↘ Progress: 0.00 rows, 0.00 B (0.00 rows/s., 0.00 B/s.) Received exception from server (version 19.7.3):
Code: 279. DB::E
ClickHouse报错解决：Code: 194. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Pas
热门推荐
个人博客
07-06
2万+
下午在使用ClickHouse的时候遇到了报错：
root@ubuntu:/home/zhang# clickhouse-client
ClickHouse client version 19.9.3.31 (official build).
Connecting to localhost:9000 as user default.
Code: 194. DB::Exception: Receiv...
ClickHouse 错误Received from localhost:9000. DB::Exception: Cannot convert NULL value to non-Nullable
与自己作战
05-04
2481
常见转换错误
Clickhouse查询优化问题记录
shouwantao3369的博客
06-07
1039
Clickhouse查询优化问题记录
问题一：内存不足Memory limit (total) exceeded
在做37亿数据全表JOIN时报错Memory limit (total) exceeded。
sql语句如下
SELECT *
FROM reverse_order_line_10 AS rol
LEFT JOIN reverse_order_10 AS ro ON rol.reverse_order_id = ro.id
LEFT JOIN order_10 AS a ON ro.order_
clickhouse 运维中遇到的问题
h952520296的博客
12-17
4206
1，Notenoughprivileges.Toexecutethisqueryit'snecessarytohavethegrantMYSQLON*.*(version20.12.3.3(officialbuild))
clickhouse 文档里没说 有个隐藏的权限 mysql 用来赋予
ClickHouse系列--Exception: Memory limit (total) exceeded: would use
IT云清
07-20
3892
批量写入clickhouse出错，内存溢出，报错信息如下：
2021-07-20 13:59:14.291 INFO 12719 --- [pool-9-thread-1] c.t.r.c.c.consumer.ClickHouseConsumer : ------>>>>>>The 10 times write,Receive messages size is 74593
2021-07-20 13:59:24.401 INFO 12719 --- [pool
Clickhouse 内存问题
杜海的博客
07-06
5633
User class threw exception: ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 241, host: 10.121.8.8, port: 8123; Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 9.31 GiB (attempt to alloca
内存超限java,clickhouse执行查询内存超出限制问题：Memory limit (total) exceeded
weixin_31684041的博客
03-10
4948
今天用clickhouse执行分布式查询报错：SQL 错误 [241]: ClickHouse exception, code: 241, host: 192.168.29.124, port: 18123; Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 15.44 GiB ...
Code:170.DB::Exception: Received from localhost:9000. DB::Exception: Requested cluster xxx not found
zhuxinquan的博客
01-04
5586
Received exception from server (version 20.10.3):
Code: 170. DB::Exception: Received from localhost:9000. DB::Exception: Requested cluster 'kcdnbandwidthonlinech' not found.
0 rows in set. Elapsed: 0.017 sec.
Clickhouse 完整报错如上，猜测你也是自己在搭建 clickhouse，然后去创建
报错解决：DB::Exception: Scalar subquery returned more than one row.
个人博客
07-18
2879
在使用clickhouse的时候报错了：
Received exception from server (version 19.5.3):
Code: 125. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Scalar subquery returned more than one row.
我的...
Code: 210. DB::NetException: Connection refused (localhost:9000, ::1)
renyiforever的博客
04-19
2万+
clickhouse
Code: 210. DB::NetException: Connection refused (localhost:9000, ::1)
将<listen_host>0.0.0.0</listen_host>改成
<listen_host>::</listen_host>
Code: 516. DB::Exception: Received from localhost:9000. DB::Exception: default: Authentication faile
程志伟的博客
07-12
6168
hadoop@dblab-VirtualBox:~$ clickhouse-client
ClickHouse client version 21.6.6.51 (official build).
Connecting to localhost:9000 as user default.
Code: 516. DB::Exception: Received from localhost:9000. DB::Exception: default: Authentication failed: password
clickhouse单节点报错 Code: 210. DB::NetException: Connection refused (localhost:9000)
yy的博客
03-16
1万+
安装步骤
https://clickhouse.tech/docs/zh/getting-started/install/#deban-zhuang-bao
使用deb安装 按照教程使用 clickhouse-client报错如下
报错
$ clickhouse-client
ClickHouse client version 21.3.2.5 (official build).
Connecting to localhost:9000 as user default.
Code: ...
ClickHouse的详细使用
qq_44002865的博客
08-09
548
ClickHouse
文章目录ClickHouse1、安装2、数据类型整型浮点型布尔型Decimal 型字符串时间类型数组3、表引擎TinyLog（不适用）Memory（不适用）MergeTree（推荐）手动合并二级索引数据 TTLReplacingMergeTreeSummingMergeTree4、SQL 操作5、副本配置步骤6、分片集群简介3 分片 2 副本共 6 个节点集群配置配置三节点版本集群及副本
1、安装
第一步：修改 /etc/security/limits.conf 文件并同步到其他服
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
weixin_34194087
CSDN认证博客专家
CSDN认证企业博客
码龄7年
暂无认证
152
原创
周排名
186万+
总排名
104万+
访问
等级
6446
积分
4771
粉丝
195
获赞
12
评论
1133
收藏
私信
关注
热门文章
海康威视视频监控对接（web3.0控件）
33286
关于继承的说法正确的是
16330
自动排班算法的设计与实现（日历算法）
14414
SDN有哪些优势呢？
12290
error: pathspec "" did not match any file(s) known to git.
10519
最新评论
用vb将vbs封装成exe
程序员王远:
shell？
写给过去，现在和未来的自己
weixin_46730898:
能不能让未来的自己给现在的我写信
Active Snake （Level Set 模型）
Miaiove:
博主code链接失效了 可以再分享一下吗 感谢
教你一步永久激活WebStorm2018
mrroger_xc:
大佬，补丁不能下载了
VR全景图片浏览实现
Aniona:
感谢博主分享
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
MVC笔记 初识模型（一）
PrestaShop 网站后台配置（七）
CodeForces 522C Chicken or Fish?
2019年363篇
2018年665篇
2017年949篇
2016年495篇
2015年420篇
2014年331篇
2013年306篇
2012年291篇
2011年211篇
2010年145篇
2009年115篇
2008年96篇
2007年65篇
2006年46篇
2005年26篇
2004年5篇
目录
目录
最新文章
MVC笔记 初识模型（一）
PrestaShop 网站后台配置（七）
CodeForces 522C Chicken or Fish?
2019年363篇
2018年665篇
2017年949篇
2016年495篇
2015年420篇
2014年331篇
2013年306篇
2012年291篇
2011年211篇
2010年145篇
2009年115篇
2008年96篇
2007年65篇
2006年46篇
2005年26篇
2004年5篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值