canal同步到kafka,kafka连接oracle
目录服务场景zk保证了呼叫服务器的高可用性，实际只有一个呼叫服务器在工作。集群zookeeper部署配置下载：解压修复配置canal在三台电脑上验证boot zk kafka部署配置(https://github . com/Alibaba/canal/releases)。
转载自：3359 www . Jian 19f9f 140
工作场景
该公司从事社会事业。在一些业务场景中，不同类型的收入将被发送给用户。然后，用户可以在应用程序上看到他们的各种汇总收益和收益详细信息。项目运营初期，由于用户少，收入明细少，用户在APP上获取收入汇总不存在性能问题。而且随着用户数量的增加和业务的拓展，用户的收入数据也越来越多。每次用户访问收入汇总信息时，实时sql汇总查询都面临着性能问题。
解决办法
答：离线聚合缓存
b)汇总表业务逻辑[消息队列等。]实时填写汇总表。
C:mysql运河卡夫卡实时计算
一个方案问题：实时性不足。用户获得收益后，有明细，但不添加到汇总信息中。此外，有时业务中可用的余额会用于支付，不能完全满足用户和业务的需求。
方案B:业务整合，各业务线要注意数据的实时性。如果线多了，可能会忽略一些场景。
方案C:业务解绑，业务开展时无需过多关注收入汇总。实时，成功产生收入数据，用户看到之前几乎是毫秒级。
mysql运河kafka实时计算简介
当用户的收入数据写入mysql时，canal监控写入mysql，分析喜欢的大山日志，写入kafka。消费者(python)消费kafka消息，根据具体业务将数据汇总成汇总表。app可以直接读取汇总表记录。
Zk保证了呼叫服务器的高可用性，实际只有一台呼叫服务器工作。集群环境所有默认的jdk环境都设置为OK。
192 . 168 . 0 . 81(ZK/卡夫卡/运河)192 . 168 . 0 . 82(KK/卡夫卡/0.82)ZK/卡夫卡/运河)192 . 168 . 0 . 83)ZK/卡夫卡
下载：wget https://www . Apache . org/dist/zookeeper-3 . 4 . 14/zookeeper-3 . 4 . 14 . tar . gz解压缩tar-zXV veperzoo . cfgticktime=2000 init limit=10SYNCLimit=5 datalogdir=/opt/zookeeper/data client port=2181 auto purge . snaptretaincount=500 auto purge . purge interval=24 server . 1=192 . 168 . 0 . 8133600
在192.168.0.81、echo 1 myid192.168.0.82和echo 2 myid192.168.0.83中，echo 3 myid开始验证。zkServer.sh状态# 4分别在三台机器上，并重新启动。
修改配置文件/usr/local/Kafka/config/server . properties。
主要组成项目
92.168.0.81 broker . id=1 adverted . listeners=plaintext:///192 . 168 . 0 . 81:9092 Zookeeper。connect=192 . 168 . 0 . 8:2181192 . 168 . 0 . 82 Broker。ID=2已公布。192.168.0.823: 192.192对192.168.0.8:2181192.168.0.83，经纪人。ID=3广告192.168.0.833:192 . 168 . 0 . 33602181，192 . 168 . 0 . 8。/Kafka-server-start . sh-daemon config/server . properties关于Kafka的操作请参考其他文章。
运河部署配置下载(https://github.com/Alibaba/canal/releases)安装只需要服务器端软件包。
tarxvfcanal . deployer-1 . 1 . 3-snapshot . tar . gz-c/opt/canal configuration/usr/local/canal/conf/canal . prties
主要组件：
Canal . id=1(192 . 168 . 0 . 81中1，1.192.168.0.82中2，实现canal的HA)canal . zkservers=192 . 168 . 0 . 8133602181，192.168.0.8:2181与canal . server mode=kafkacanal . destinations=test # canal . properties中同级目录下的测试目录同步的表根据情况修改：canal . mjcommission canal . MQ . topic=commission canal . MEX。
郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。