阿里Canal部署安装小白教程_明日江郎的博客-CSDN博客
阿里Canal部署安装小白教程
明日江郎
于 2017-08-07 14:26:37 发布
21498
收藏
16
分类专栏：
大数据
文章标签：
数仓-canal
阿里
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32254003/article/details/76837638
版权
大数据
专栏收录该内容
7 篇文章
0 订阅
订阅专栏
1.下载canal安装包： 地址：https://github.com/alibaba/canal/releases 图例：
2.将下载好的安装包复制到主机
3.使用命令进行安装 进入安装目录：cd /home/hadoop/test/lele 创建canal存放目录：mkdir canal 进入创建好的目录：cd canal 解压安装包：tar -zxvf ../canal.deployer-1.0.24.tar.gz
4.修改配置文件 vi conf/example/instance.properties 将红框内的内容按实际情况填写完 canal.instance.dbUsername = canal #数据库用户名 canal.instance.dbPassword = canal #数据库密码 canal.instance.defaultDatabaseName = ca_test #指定需要同步的数据库 canal.instance.connectionCharset = UTF-8 #指定编码方式
保存并退出： Esc :wq
5.配置mysql数据库 找到 mysql的my.cnf文件：mysql –help | grep my.cnf 修改my.cnf:vi /etc/my.cnf 添加以下三行内容，如果原来存在，则不需要添加，只需对当前配置项进行修改即可
log-bin=mysql-bin #添加这一行就ok binlog-format=ROW #选择row模式 server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复
保存并退出： Esc :wq
6.配置canal用户 用root用户登录mysql:mysql -uroot -proot 创建“canal”用户：CREATE USER canal IDENTIFIED BY ‘canal’; 为“canal”用户赋予相应权限：GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO ‘canal’@’%’; 刷新权限：FLUSH PRIVILEGES;
7.重新启动mysql服务 用管理员身份执行：sudo service mysqld restart 输入密码：输入自己的root账户对应的密码
8.下载客户端代码 地址：https://github.com/alibaba/canal/releases 图例：
9.将源码解压并导入eclipse中。 用软件将源码解压到某目录：D:\下载\canal\canal-canal-1.0.24 导入：
点击“Next”,指定目录为D:\下载\canal\canal-canal-1.0.24 导入之后找到canal.example项目下的“SimpleCanalClientTest.java”并打开。 原来代码是： 修改为： 即：将ip修改为canal所在的主机ip
10.修改相关文件的权限 将临时目录修改为“任何人读写执行权限”：chmod -R 777 /tmp
11.开启canal服务 /home/hadoop/test/lele/canal/bin/startup.sh
观察canal日志： tail -n 50 /home/hadoop/test/lele/canal/logs/canal/canal.log 没有错误则表示启动正常。
在eclipse中运行SimpleCanalClientTest.java
登录canal配置文件中的对应mysql数据库 mysql -uroot -proot; use ca_test; create table yuangong(name char(20),age int(30)); insert into yuangong values(‘jack’,21); 可以在eclipse中观察到如下结果：
—安装完毕—
如果结果出不来，注意参考日志： cat canal/logs/canal/canal.log cat canal/logs/example/example.log
明日江郎
关注
关注
点赞
16
收藏
打赏
评论
阿里Canal部署安装小白教程
1.下载canal安装包： 地址：https://github.com/alibaba/canal/releases 2.将下载好的安装包复制到主机 3.使用命令进行安装 进入安装目录：cd /home/hadoop/test/lele 创建canal存放目录：mkdir canal 进入创建好的目录：cd canal 解压安装包：tar -zxvf ../canal.dep
复制链接
扫一扫
专栏目录
阿里Canal从入门到实战
07-09
本课程基于阿里巴巴 MySQL binlog 增量订阅&消费组件，对Canal进行全面系统的讲解。课程先介绍Canal在电商运行项目中的架构设计与解决方案，然后详细讲解Canal架构原理以及Canal HA工作机制，最后通过Canal单节点Server，Canal HA集群，Canal集成Kafka三个案例进行实操，从而快速、深入掌握阿里Canal技术，实现数据实时增量采集.<br />
Docker部署GitLab代码托管工具保姆级教程（小白都能学会）
weixin_44016938的博客
11-01
30
新手指导docker安装gitlab
评论 2
您还未登录，请先
登录
后发表或查看评论
Canal-从零开始，一步一步教你，包教包会
hualingkai11的博客
07-24
386
简介
canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费
早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。
基于日志增量订阅和消费的业务包括
数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
超详细的Canal入门，看这篇就够了！
热门推荐
yehongzhi1994的博客
08-09
19万+
Canal入门看这篇就够了！
canal 安装及入门教程
最新发布
做一个有思想的技术人
11-08
62
canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费，目前主要支持了mysql。
canal部署及相关配置详解
咻pur慢
03-06
1万+
1.拷贝文件到指定目录下
mkdir /home/test/canal
2.解压缩
tar zxvf canal.deployer-1.0.0.tar.gz
3.对文件canal文件夹进行授权
chmod –R 777 canal
4.修改配置canal.properties
a.进入到/home/test/canal/conf找到canal.propert...
Canal的安装与部署
Ernest
06-02
6万+
一、环境要求
1.1 操作系统
Canal 是由 Java 开发，Windows/Linux 均可支持。
不同的 Canal 版本所需的 JDK 版本亦不同，下表展示了它们之间关系。
Canal
JDK
1.1.4
1.8
1.1.0 ~ 1.1.3
1.7
1.0.19 ~ 1.0.25
1.6
1.2 MySQL 要求
目前 Canal 已支持 MySQL 5.7.13/5.6.10 及以下的版本，MariaDB 5.5.35 和 10.0.7（理论上可支持以下版本
alibaba Canal 增量订阅 & 消费组件，了解，安装，部署实践
Crazy_Cw的博客
06-27
675
下载部署版本 ：canal.deployer-1.1.6.tar.gz
issues地址：https://github.com/alibaba/canal/issues/4245注意：1.1.6 版本安装包有问题，需要下载源码，自己重新编译版本下载部署版本 ： canal.deployer-1.1.4.tar.gz直接解压即可，
配置 canal
见：https://github.com/alibaba/canal/issues/3150修改方法，打开 startup.bat 文件 19 行修改如下
Canal安装部署详细步骤
Kingsley's Blog
04-29
3862
canal安装部署
阿里开源Canal--简介
weixin_43564627的博客
07-21
843
阿里开源Canal–简介
1 什么是canal
canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canal client 用来处理获得的相关数据。（数据库同步需要阿里的otter中间件，基于canal）
官网：https://github.com/alibaba/canal
背景
早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是
Canal中间件安装部署
火烧云的博客
03-03
375
通用操作
一、配置mysql数据库，登录mysql数据库
①、添加用户:
create user 'canal'@'%' identified by 'Canal@123456';
②、给用户授权:
grant SELECT, REPLICATION SLAVE, REPLICATION CLIENT on *.* to 'canal'@'%' identifi...
Canal安装与配置（保姆级教程）
wanjialin的博客
01-19
3995
Canal简述：
Canal是阿里开源的一款基于Mysql数据库binlog的增量订阅和消费组件，通过它可以订阅数据库的binlog日志，然后进行一些数据消费。
Canal安装前准备工作：
1、安装配置好MySql，如果不会安装可以跳转到Linux安装MySQL（保姆级教程）
2、使用xftp将Canal安装包上传到虚拟机中
canal.deployer-1.1.5.tar.gz
Canal安装操作步骤：
1、首先开启binlog，修改mysql配置文件my.cnfvim /etc/my.cnf(已注明行号
Canal部署
AaronLwx的博客
01-30
587
安装MySQL
[hadoop@hadoop003 canal-admin]$ sudo yum -y localinstall https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm
[hadoop@hadoop003 canal-admin]$ sudo yum -y install mysql-commu...
canal 1.1.5安装包
05-27
引入canal-admin工程，支持面向WebUI的canal管理能力
Canal-Admin-Guide
Canal-Admin-Docker
canal-server新增基于账号密码的ACL支持能力
canal-server新增admin动态运维指令，配合canal-admin工程动态管理订阅关系
多语言新增【Python客户端】
instance订阅表过滤，增加表字段订阅的过滤功能，比如针对大字段忽略 #1914
kafka支持配置Kerberos认证
数据同步之cannal部署教程
11-20
canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议.
mysql master收到dump请求，开始推送binary log给slave(也就是canal),canal解析binary log对象(原始为byte流)，主从同步的必备品
Canal部署操作说明及应用场景验证
04-24
Canal部署操作说明及应用场景验证，包括 Canal Client Java Demo 、详细的部署操作流程、应用场景验证结论。非常合适Canal初学者参考
canal 入门篇
03-12
3442
canal 入门篇
canal 一个MySQL增量日志解析神器
Huangjiazhen711的博客
10-17
215
官方注释对PropertyEditor进行了说明PropertyEditor类为希望允许用户编辑给定类型的属性值的GUI提供支持。PropertyEditor支持显示和更新属性值的各种不同方式。大多数PropertyEditors只需要支持此API中可用的不同选项的子集。Simple PropertyEditors可能只支持getAsText和setAsText方法，不需要支持paintValue或getCustomEditor。更复杂的类型可能无法支持getAsText和setAsText，
数据同步的终极解决方案:阿里巴巴开源的Canal框架
liuyaokai1990的博客
08-06
753
写在前面
在当今互联网行业，尤其是现在分布式、微服务开发环境下，为了提高搜索效率，以及搜索的精准度，会大量使用Redis、Memcached等NoSQL数据库，也会使用大量的Solr、Elasticsearch等全文检索服务。那么，这个时候，就会有一个问题需要我们来思考和解决：那就是数据同步的问题！如何将实时变化的数据库中的数据同步到Redis/Memcached或者Solr/El...
Canal1.1.5最新版安装部署及详细配置(1)
进击的小白
01-09
3265
下载安装包，版本根据情况自行调整，最新版本参考：https://github.com/alibaba/canal/releases
wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gz
超详细的canal使用总结
小飞的博客
10-12
8850
超详细的canal使用总结
canal的介绍
​canal，译意为水道/管道/沟渠，从官网的介绍中可以知道，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。
​这是一张官网提供的示意图：
官网的解释最权威，我就直接引用一下官网的原话，另，附上官网地址：https://github.com/alibaba/canal
基于日志增量订阅和消费的业务包括
数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
明日江郎
CSDN认证博客专家
CSDN认证企业博客
码龄7年
暂无认证
52
原创
26万+
周排名
8万+
总排名
5万+
访问
等级
916
积分
14
粉丝
21
获赞
评论
77
收藏
私信
关注
热门文章
阿里Canal部署安装小白教程
21497
异常进程“ld-linux-x86-64”引发的一次集群遭到黑客攻击问题的解决
6658
基于Nginx的TCP负载均衡
4979
TCP协议常规报文抓包分析
3015
LaTeX公式编辑器（CSDN公式）使用入门
2351
分类专栏
车文化
1篇
数据库
3篇
安全相关
1篇
机器智能
15篇
大数据
7篇
杂-技
10篇
Java核心
15篇
娱乐项
1篇
最新评论
阿里Canal部署安装小白教程
柏拉图已死丶:
在生产环境，严禁在配置文件中使用明文明码，请问您这里的canal用户密码是如何配置的呢？
阿里Canal部署安装小白教程
昵称已经被占用咯:
看完大佬的文章，我的心情竟是久久不能平静。正如老子所云：大音希声，大象无形。我现在终于明白我缺乏的是什么了。
TensorFlow入门-09.感知机与多层网络
明日江郎:
TensorFlow游乐场～你搜这个就找到了，是TensorFlow的一个公共web工具，主要是用来演示训练操作过程的。
TensorFlow入门-09.感知机与多层网络
WangQjun:
请问您这个界面是啥
对数计算的实现方式（在windows计算器、OneNote、Python和Java中）
懒癌大禹:
感谢感谢，对我这种新手很有用
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
技.艺.道：spark常见问题整理
车文化：1.BMW车型概览
技.艺.道：“地摊经济”话“HDFS文件读写”
2022年2篇
2020年23篇
2019年6篇
2018年18篇
2017年3篇
目录
目录
分类专栏
车文化
1篇
数据库
3篇
安全相关
1篇
机器智能
15篇
大数据
7篇
杂-技
10篇
Java核心
15篇
娱乐项
1篇
目录
评论 2
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
明日江郎
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值