签到成功

知道了

CNDBA社区CNDBA社区

TDSQL 集群 配置多源同步 任务不同步数据 解决方法

2021-07-27 23:45 1846 1 原创 TDSQL
作者: dave

1 故障现象描述

在TDSQL 集群中配置多源同步,同步任务创建正常,但是测试DDL和DML 都不同步。 只有初始化过程。http://www.cndba.cn/cndba/dave/article/4623

2 解决方法

与多源同步配置的组件有2个:consumer和 kafka。

这个在之前的博客有说明:http://www.cndba.cn/cndba/dave/article/4623

TDSQL 架构 组件 说明
https://www.cndba.cn/dave/article/4586

实际上在开始搭建的时候,也确实存在consumer 没有启动的情况,这个已经解决,如下:

TDSQL 集群 配置多源同步 页面卡住不动(一直执行中) 解决方法
https://www.cndba.cn/dave/article/4611http://www.cndba.cn/cndba/dave/article/4623http://www.cndba.cn/cndba/dave/article/4623

http://www.cndba.cn/cndba/dave/article/4623

后来任务启动之后,数据就不同步。 检查了一下kafka,TDSQL 集群中配置了3台kafka,其中有一台因为内存不足,没有启动成功,参考之前的博客,解决之后,多源同步任务正常工作。

TDSQL 安装kafka 启动报错:Cannot allocate memory 解决方法
https://www.cndba.cn/cndba/dave/article/4593

TDSQL 集群 各模块启停命令 汇总
https://www.cndba.cn/dave/article/4602http://www.cndba.cn/cndba/dave/article/4623http://www.cndba.cn/cndba/dave/article/4623http://www.cndba.cn/cndba/dave/article/4623

总结:
TDSQL 集群中的多源同步依赖consumer和所有kafka 组件的正常运行,如果遇到不同步的情况,可以参考以上思路进行处理。
http://www.cndba.cn/cndba/dave/article/4623http://www.cndba.cn/cndba/dave/article/4623

版权声明:本文为博主原创文章,未经博主允许不得转载。

用户评论
* 以下用户言论只代表其个人观点,不代表CNDBA社区的观点或立场
dave

dave

关注

人的一生应该是这样度过的:当他回首往事的时候,他不会因为虚度年华而悔恨,也不会因为碌碌无为而羞耻;这样,在临死的时候,他就能够说:“我的整个生命和全部精力,都已经献给世界上最壮丽的事业....."

  • 2283
    原创
  • 3
    翻译
  • 579
    转载
  • 196
    评论
  • 访问:8177749次
  • 积分:4428
  • 等级:核心会员
  • 排名:第1名
精华文章
    最新问题
    查看更多+
    热门文章
      热门用户
      推荐用户
        Copyright © 2016 All Rights Reserved. Powered by CNDBA · 皖ICP备2022006297号-1·

        QQ交流群

        注册联系QQ