签到成功

知道了

CNDBA社区CNDBA社区

TDSQL 集群 各模块 日志 位置 说明

2021-08-23 22:12 6392 0 原创 TDSQL
作者： dave
本文链接：http://www.cndba.cn/dave/article/4688

1 各模块日志信息

在之前的博客里有介绍TDSQL 的架构，如下：

http://www.cndba.cn/dave/article/4688
http://www.cndba.cn/dave/article/4688

TDSQL 架构 组件 说明
https://www.cndba.cn/dave/article/4586

TDSQL 集群 主要模块（Scheduler/OSS/agent/proxy） 功能 说明
https://www.cndba.cn/dave/article/4683

TDSQL 集群 各模块启停命令 汇总
https://www.cndba.cn/dave/article/4602

TDSQL 集群 各模块进程信息 说明
https://www.cndba.cn/dave/article/4603

http://www.cndba.cn/dave/article/4688
http://www.cndba.cn/dave/article/4688

通过这些内容可以知道，TDSQL 集群时一个架构非常复杂的总和系统，里面模块众多。 当TDSQL 集群出现异常的时候，我们需要根据各模块的日志信息快速的定位出问题。 本篇博客就是对各模块日志位置信息的说明。 注意这里列的是主要模块，还有一些用的很少的模块没有列举。

1.1 DB 实例 log

每个DB 实例都有自己独立的端口，查看日志需要根据端口来查看。 

[dave@www.cndba.cn  install]# ps -ef|grep mysqld|grep 4001
tdsql     4836     1  0 20:30 ?        00:00:00 /bin/sh ./bin/mysqld_safe --defaults-file=/data/tdsql_run/4001/percona-5.7.17/etc/my_4001.cnf --user=tdsql
tdsql    11506  4836  1 20:30 ?        00:00:58 ./bin/mysqld --defaults-file=/data/tdsql_run/4001/percona-5.7.17/etc/my_4001.cnf --basedir=. --datadir=/data1/tdengine/data/4001/dbdata_raw/data --plugin-dir=/data/tdsql_run/4001/percona-5.7.17/lib/mysql/plugin --log-error=/data1/tdengine/log/4001/dblogs/mysqld.err --open-files-limit=100000 --pid-file=/data1/tdengine/data/4001/prod/mysql.pid --socket=/data1/tdengine/data/4001/prod/mysql.sock --port=4001
[dave@www.cndba.cn  install]#

DB 实例的log 是按日期自动进行历史转移的，如下：

[dave@www.cndba.cn  dblogs]# pwd
/data1/tdengine/log/4001/dblogs
[dave@www.cndba.cn  dblogs]# ll
total 84
drwxr-xr-x 2 tdsql users  4096 Aug 23 21:33 bin
-rw-r----- 1 tdsql users   540 Aug 23 21:33 mysqld.err
-rw-r--r-- 1 tdsql users 28601 Aug 20 19:59 mysqld.err.2021-08-20
-rw-r--r-- 1 tdsql users 25345 Aug 23 21:32 mysqld.err.2021-08-23
-rw-r--r-- 1 tdsql users  1668 Aug 23 20:30 nohup.out
drwxr-xr-x 2 tdsql users  4096 Aug 23 20:30 relay
drwxr-xr-x 2 tdsql users  4096 Aug 19 11:49 tmp
[dave@www.cndba.cn  dblogs]#

1.2 proxy（gateway）

每个实例的proxy 也有自己的端口，我们以15001 为例。

[dave@www.cndba.cn  dblogs]# cd /data/tdsql_run/15001/gateway/log/
[dave@www.cndba.cn  log]# pwd
/data/tdsql_run/15001/gateway/log
[dave@www.cndba.cn  log]# ll
total 51424
-rw-rw---- 1 tdsql users        0 Aug 19 11:52 dbfw_instance_15001.2021-08-19.0
-rw-rw---- 1 tdsql users        0 Aug 20 19:30 dbfw_instance_15001.2021-08-20.0
-rw-rw-rw- 1 tdsql users        0 Aug 23 20:30 dbfw_instance_15001.2021-08-23.0
-rw-rw-rw- 1 tdsql users       94 Aug 19 11:52 dcagent_pngclient.log.2021-08-19.0
-rw-rw-rw- 1 tdsql users       93 Aug 20 19:30 dcagent_pngclient.log.2021-08-20.0
-rw-rw-rw- 1 tdsql users       93 Aug 23 20:30 dcagent_pngclient.log.2021-08-23.0
-rw-rw-rw- 1 tdsql users        0 Aug 19 11:52 dcagent_pngclient.log_dc.2021-08-19.0
-rw-rw-rw- 1 tdsql users        0 Aug 20 19:30 dcagent_pngclient.log_dc.2021-08-20.0
-rw-rw-rw- 1 tdsql users        0 Aug 23 20:30 dcagent_pngclient.log_dc.2021-08-23.0
-rw-rw---- 1 tdsql users  8724753 Aug 19 14:11 interf_instance_15001.2021-08-19.0
-rw-rw---- 1 tdsql users  4843963 Aug 20 19:59 interf_instance_15001.2021-08-20.0
-rw-rw-rw- 1 tdsql users 11745930 Aug 23 21:41 interf_instance_15001.2021-08-23.0
-rw-rw-rw- 1 tdsql users    92267 Aug 19 14:11 route_instance_15001.2021-08-19.0
-rw-rw-rw- 1 tdsql users     7655 Aug 20 19:59 route_instance_15001.2021-08-20.0
-rw-rw-rw- 1 tdsql users     4351 Aug 23 20:30 route_instance_15001.2021-08-23.0
-rw-rw---- 1 tdsql users    98526 Aug 19 14:10 slow_sql_instance_15001.2021-08-19.0
-rw-rw---- 1 tdsql users    21369 Aug 20 19:50 slow_sql_instance_15001.2021-08-20.0
-rw-rw-rw- 1 tdsql users    64800 Aug 23 21:30 slow_sql_instance_15001.2021-08-23.0
-rw-rw---- 1 tdsql users  9271744 Aug 19 14:11 sql_instance_15001.2021-08-19.0
-rw-rw---- 1 tdsql users  4831360 Aug 20 19:59 sql_instance_15001.2021-08-20.0
-rw-rw-rw- 1 tdsql users 11376527 Aug 23 21:41 sql_instance_15001.2021-08-23.0
-rw-rw---- 1 tdsql users   844340 Aug 19 14:11 sys_instance_15001.2021-08-19.0
-rw-rw---- 1 tdsql users   212869 Aug 20 19:59 sys_instance_15001.2021-08-20.0
-rw-rw-rw- 1 tdsql users   144273 Aug 23 21:41 sys_instance_15001.2021-08-23.0
-rw-rw-rw- 1 tdsql users    16160 Aug 19 14:11 sys_wagent_15001.log.2021-08-19.0
-rw-rw-rw- 1 tdsql users      575 Aug 20 19:59 sys_wagent_15001.log.2021-08-20.0
-rw-rw-rw- 1 tdsql users      127 Aug 23 20:30 sys_wagent_15001.log.2021-08-23.0
-rw-rw-rw- 1 tdsql users   259052 Aug 23 21:41 update_instance_15001
[dave@www.cndba.cn  log]#

日志说明：

  1. interf_ instance开头日志：接口名称日志
  2. route_instance开头日志：路由相关的日志
  3. slow_sql开头日志：显示SQL慢查询语句
  4. sql_开头日志：SQL语句日志，记录proxy发送到db的请求。
  5. sys_instance开头日志【用】：网关系统日志。

1.3 mysqlagent

每个DB实例都有一个对应的mysqlagent 进程，这里以4001 端口对应的实例为例。

目录1：

http://www.cndba.cn/dave/article/4688 

[dave@www.cndba.cn  log]# pwd
/data/tdsql_run/4001/mysqlagent/log
[dave@www.cndba.cn  log]# ll
total 36296
-rw-r--r-- 1 root  root      1006 Aug 20 19:30 cgroup.log.2021-08-20.0
-rw-r--r-- 1 root  root      1006 Aug 23 20:30 cgroup.log.2021-08-23.0
-rw-rw-rw- 1 tdsql users    22542 Aug 20 19:59 gtidlistcache.log.2021-08-20.0
-rw-rw-rw- 1 tdsql users    56622 Aug 23 21:45 gtidlistcache.log.2021-08-23.0
drwxr-xr-x 2 tdsql users     4096 Aug 23 21:30 nohup
-rw-rw-rw- 1 tdsql users   260485 Aug 20 19:59 sys_binlogtokafka_4001.log.2021-08-20.0
-rw-rw-rw- 1 tdsql users   658467 Aug 23 21:45 sys_binlogtokafka_4001.log.2021-08-23.0
-rw-rw-rw- 1 tdsql users 10478111 Aug 20 19:59 sys_report_4001.log.2021-08-20.0
-rw-rw-rw- 1 tdsql users 25652104 Aug 23 21:45 sys_report_4001.log.2021-08-23.0
[dave@www.cndba.cn  log]#

日志说明：http://www.cndba.cn/dave/article/4688http://www.cndba.cn/dave/article/4688

  1. cgroup.log开头日志：cgroup相关日志
  2. sys_report开头日志：记录mysqlagent操作日志及mysqlagent相关报错信息。

目录2：在备份节点才会有（赤兔平台可以查看）

[dave@www.cndba.cn  log]# cd /data/tdsql_run/4001/mysqlagent/log/nohup
[dave@www.cndba.cn  nohup]# ll
total 20
-rw-rw-rw- 1 tdsql users     3 Aug 23 21:43 coldbackupbinlog_result_4001
-rw-rw-rw- 1 tdsql users 10986 Aug 23 21:36 coldbackupimage_4001_2021-08-23
-rw-rw-rw- 1 tdsql users     3 Aug 23 21:36 coldbackup_result_4001
[dave@www.cndba.cn  nohup]#

日志说明：

  1. coldbackupbinlog开头日志：binlog是否备份标识日志（0表示成功，-1表示失败）
  2. coldbackup开头日志：全备冷备日志标识日志（0表示成功，-1表示失败）
  3. coldbackupimage开头日志：全备过程打印日志。
  4. all_dump开头日志：拉取全备镜像时打印的日志（扩容，重做备机的逻辑主上会生成）

1.4 scheduler/manager

[dave@www.cndba.cn  nohup]# cd /data/scheduler_log/
[dave@www.cndba.cn  scheduler_log]# ll
total 119280
-rw-rw-rw- 1 tdsql users      7771 Aug 19 13:14 stat_manager.2021-08-19.0
-rw-rw-rw- 1 tdsql users         0 Aug 20 19:30 stat_manager.2021-08-20.0
-rw-rw-rw- 1 tdsql users         0 Aug 23 20:30 stat_manager.2021-08-23.0
-rw-rw-rw- 1 tdsql users    187751 Aug 19 14:11 stat_scheduler.2021-08-19.0
-rw-rw-rw- 1 tdsql users         0 Aug 20 19:30 stat_scheduler.2021-08-20.0
-rw-rw-rw- 1 tdsql users         0 Aug 23 20:28 stat_scheduler.2021-08-23.0
-rw-rw-rw- 1 tdsql users   3312032 Aug 19 14:11 sys_manager.2021-08-19.0
-rw-rw-rw- 1 tdsql users    146350 Aug 20 19:59 sys_manager.2021-08-20.0
-rw-rw-rw- 1 tdsql users    373034 Aug 23 21:49 sys_manager.2021-08-23.0
-rw-rw-rw- 1 tdsql users 117985941 Aug 19 14:12 sys_scheduler.2021-08-19.0
-rw-rw-rw- 1 tdsql users     26075 Aug 20 19:59 sys_scheduler.2021-08-20.0
-rw-rw-rw- 1 tdsql users     61739 Aug 23 21:48 sys_scheduler.2021-08-23.0
[dave@www.cndba.cn  scheduler_log]#

日志说明：http://www.cndba.cn/dave/article/4688

  1. sys_manager开头日志：manager系统日志。
  2. sys_scheduler开头日志：scheduler系统日志。

1.5 oss

[dave@www.cndba.cn  scheduler_log]# cd /data/application/oss/log
[dave@www.cndba.cn  log]# ll
total 640
-rwxrwxrwx 1 tdsql users 164134 Aug 19 13:14 sys_tdsql_oss_log.2021-08-19.0
-rw-rw-rw- 1 tdsql users  38241 Aug 20 19:30 sys_tdsql_oss_log.2021-08-20.0
-rw-rw-rw- 1 tdsql users  37078 Aug 23 20:30 sys_tdsql_oss_log.2021-08-23.0
-rwxrwxrwx 1 tdsql users 250725 Aug 19 14:12 zk_tdsql_oss_log.2021-08-19.0
-rw-rw-rw- 1 tdsql users  42983 Aug 20 19:59 zk_tdsql_oss_log.2021-08-20.0
-rw-rw-rw- 1 tdsql users  89577 Aug 23 21:49 zk_tdsql_oss_log.2021-08-23.0
[dave@www.cndba.cn  log]#

日志说明：http://www.cndba.cn/dave/article/4688

  1. sys_tdsql_oss_log开头日志：记录OSS的操作日志。

1.6 analyze

[dave@www.cndba.cn  log]# cd /data/application/tdsql_analysis/logs/
[dave@www.cndba.cn  logs]# ll
total 3504
-rw-r--r-- 1 tdsql users 3485561 Aug 23 21:51 main.log
-rw-r--r-- 1 tdsql users   47931 Aug 20 19:32 main.log-2021-08-19.gz
-rw-r--r-- 1 tdsql users   49226 Aug 23 20:28 main.log-2021-08-20.gz
[dave@www.cndba.cn  logs]#

main.log日志：analyze系统日志。

1.7 collector

[dave@www.cndba.cn  logs]# cd /data/application/tdsql_collector/logs/
[dave@www.cndba.cn  logs]# ll
total 276
-rw-r--r-- 1 tdsql users 229637 Aug 23 21:51 main.log
-rw-r--r-- 1 tdsql users  18791 Aug 20 19:32 main.log-2021-08-19.gz
-rw-r--r-- 1 tdsql users  21666 Aug 23 20:28 main.log-2021-08-20.gz
[dave@www.cndba.cn  logs]#

main.log日志：collector系统日志。

1.8 zookeeper

[dave@www.cndba.cn  logs]# cd /data/application/zookeeper/bin/
[dave@www.cndba.cn  bin]# ll
total 52
-rwxrwxrwx 1 tdsql users  232 Nov 25  2019 README.txt
-rwxrwxrwx 1 tdsql users 1937 Nov 25  2019 zkCleanup.sh
-rwxrwxrwx 1 tdsql users 1056 Nov 25  2019 zkCli.cmd
-rwxrwxrwx 1 tdsql users 1534 Nov 25  2019 zkCli.sh
-rwxrwxrwx 1 tdsql users 1759 Nov 25  2019 zkEnv.cmd
-rwxrwxrwx 1 tdsql users 2923 Aug 19 11:37 zkEnv.sh
-rwxrwxrwx 1 tdsql users 1089 Nov 25  2019 zkServer.cmd
-rwxrwxrwx 1 tdsql users 6773 Nov 25  2019 zkServer.sh
-rwxrwxrwx 1 tdsql users  996 Nov 25  2019 zkTxnLogToolkit.cmd
-rwxrwxrwx 1 tdsql users 1385 Nov 25  2019 zkTxnLogToolkit.sh
-rw-r--r-- 1 tdsql users 1692 Aug 19 14:11 zookeeper-1.log
-rw-r--r-- 1 tdsql users  504 Aug 23 20:30 zookeeper.out
[dave@www.cndba.cn  bin]#

zookeeper.out日志：记录zk报错和相关信息日志。

1.9 hdfs

[dave@www.cndba.cn  log]# cd /data/home/tdsql/hadoop/logs
[dave@www.cndba.cn  logs]# ll
total 372
-rw-r--r-- 1 tdsql users  93824 Aug 19 14:11 hadoop-tdsql-datanode-tdsql1.log
-rw-r--r-- 1 tdsql users    702 Aug 19 12:59 hadoop-tdsql-datanode-tdsql1.out
-rw-r--r-- 1 tdsql users  42695 Aug 19 14:11 hadoop-tdsql-journalnode-tdsql1.log
-rw-r--r-- 1 tdsql users    702 Aug 19 12:57 hadoop-tdsql-journalnode-tdsql1.out
-rw-r--r-- 1 tdsql users 145971 Aug 19 14:11 hadoop-tdsql-namenode-tdsql1.log
-rw-r--r-- 1 tdsql users    702 Aug 19 12:58 hadoop-tdsql-namenode-tdsql1.out
-rw-r--r-- 1 tdsql users  60443 Aug 19 14:11 hadoop-tdsql-zkfc-tdsql1.log
-rw-r--r-- 1 tdsql users    702 Aug 19 12:58 hadoop-tdsql-zkfc-tdsql1.out
-rw-r--r-- 1 tdsql users      0 Aug 19 12:57 SecurityAuth-tdsql.audit
[dave@www.cndba.cn  logs]#

日志说明：

  1. hadoop-tdsql-datanode-xxxx.log：记录datanode进程报错和相关信息。
  2. hadoop-tdsql-datanode-xxxx.out：记录当前datanode进程启动用户环境的limit值。
  3. hadoop-tdsql-journalnode-xxxx.log：记录journalnode进程报错和相关信息。
  4. hadoop-tdsql-journalnode-xxxx.out：记录当前journalnode进程启动用户环境的limit值。
  5. hadoop-tdsql-namenode-xxxx.log：记录namenode进程报错和相关信息。
  6. hadoop-tdsql-namenode-xxxx.out：记录当前namenode进程启动用户环境的limit值。
  7. hadoop-tdsql-zkfc-xxxx.log：记录zkfc进程报错和相关信息。
  8. hadoop-tdsql-zkfc-xxxx.out：记录当前zkfc进程启动用户环境的limit值。

1.10 kafka

[dave@www.cndba.cn  logs]# cd /data/application/kafka/logs
[dave@www.cndba.cn  logs]# ll
total 136
-rw-r--r-- 1 tdsql users  1049 Aug 19 14:11 controller.log
-rw-r--r-- 1 tdsql users   307 Aug 19 13:01 controller.log.2021-08-19-13
-rw-r--r-- 1 tdsql users     0 Aug 19 13:01 kafka-authorizer.log
-rw-r--r-- 1 tdsql users     0 Aug 19 13:01 kafka-request.log
-rw-r--r-- 1 tdsql users  3200 Aug 19 14:11 kafkaServer-gc.log
-rw-r--r-- 1 tdsql users 53755 Aug 19 14:11 kafkaServer.out
-rw-r--r-- 1 tdsql users   378 Aug 19 14:11 log-cleaner.log
-rw-r--r-- 1 tdsql users   172 Aug 19 13:01 log-cleaner.log.2021-08-19-13
-rw-r--r-- 1 tdsql users 10580 Aug 19 14:11 server.log
-rw-r--r-- 1 tdsql users 43175 Aug 19 13:51 server.log.2021-08-19-13
-rw-r--r-- 1 tdsql users     0 Aug 19 13:01 state-change.log
[dave@www.cndba.cn  logs]#

server.log开头日志：kafka服务状态日志

1.11 consumer

[dave@www.cndba.cn  logs]# cd /data/application/consumer/log
[dave@www.cndba.cn  log]# ll
total 672
-rw-rw-rw- 1 root root 680761 Aug 19 14:11 sys_binlogconsumer_mgn.log.2021-08-19.0
[dave@www.cndba.cn  log]#

日志说明：

  1. binlogconsumer.nohup开头日志：
  2. sys_binlogconsumer开头日志：消费者sql回放日志
  3. sys_binlogconsumer_mgn.log开头日志：consumer守护进程管理日志
  4. sys_oncesynctable.log开头日志：全量数据导出导入操作日志

1.12 onlineDDL

[dave@www.cndba.cn  log]# cd /data/application/onlineddl/log
[dave@www.cndba.cn  log]# ll
total 1388
-rw-rw-rw- 1 tdsql users 560182 Aug 19 14:11 sys_ddlperformer_mgn.log.2021-08-19.0
-rw-rw-rw- 1 tdsql users 216423 Aug 20 19:59 sys_ddlperformer_mgn.log.2021-08-20.0
-rw-rw-rw- 1 tdsql users 628303 Aug 23 21:56 sys_ddlperformer_mgn.log.2021-08-23.0
[dave@www.cndba.cn  log]#

日志说明：http://www.cndba.cn/dave/article/4688

  1. sys_ddlperformer开头日志：表结构表更过程日志。
  2. sys_ddlperformer_mgn开头日志：守护进程管理日志。

1.13 clouddba

[dave@www.cndba.cn  log]# cd /data/application/clouddba/log
[dave@www.cndba.cn  log]# ll
total 2836
-rw-rw---- 1 tdsql users  993537 Aug 19 14:11 diagnosis.2021-08-19.0
-rw-rw---- 1 tdsql users  605253 Aug 20 19:59 diagnosis.2021-08-20.0
-rw-rw---- 1 tdsql users 1294645 Aug 23 22:05 diagnosis.2021-08-23.0
[dave@www.cndba.cn  log]#

diagnosis开头日志：clouddba系统日志。

1.14 ocagent

[dave@www.cndba.cn  log]# cd /data/oc_agent/log/
[dave@www.cndba.cn  log]# ll
total 8088
-rwxrwxrwx 1 root root    1408 Aug 23 20:30 agent_main.log
-rwxrwxrwx 1 root root       0 Aug 19 11:37 crontab_monitor.log
-rwxrwxrwx 1 root root     672 Aug 23 20:30 log_core.log
-rwxrwxrwx 1 root root       0 Aug 19 11:37 log_monitor.log
-rwxrwxrwx 1 root root   38756 Aug 19 13:14 oc_sshd.log.2021-08-19.0
-rwxrwxrwx 1 root root    2935 Aug 20 19:32 oc_sshd.log.2021-08-20.0
-rw-r--r-- 1 root root    2131 Aug 23 20:30 oc_sshd.log.2021-08-23.0
-rwxrwxrwx 1 root root       0 Aug 23 20:30 oc_sshd.nohup
-rwxrwxrwx 1 root root 8215009 Aug 23 22:05 process_monitor.log
[dave@www.cndba.cn  log]#

agent_main.log开头日志:

1.15 创建实例日志

[dave@www.cndba.cn  application]# cd /data/home/tdsql/tdsqlinstall/log/
[dave@www.cndba.cn  log]# ll
total 580
-rw-r--r-- 1 tdsql users 199680 Aug 19 13:14 pkginstall.log.2021-08-19.0
-rw-r--r-- 1 tdsql users 384106 Aug 23 22:06 shell_pkginstall_2021-08-19.log
[dave@www.cndba.cn  log]#

日志说明

  1. pkginstall.log开头日志：实例安装/卸载过程日志。
  2. shell_pkginstall开头日志：实例安装/卸载具体操作命令日志。

2 各模块日志汇总图示


版权声明：本文为博主原创文章，未经博主允许不得转载。

用户评论
* 以下用户言论只代表其个人观点，不代表CNDBA社区的观点或立场
dave

dave

关注

人的一生应该是这样度过的：当他回首往事的时候，他不会因为虚度年华而悔恨，也不会因为碌碌无为而羞耻；这样，在临死的时候，他就能够说：“我的整个生命和全部精力，都已经献给世界上最壮丽的事业....."

  • 2261
    原创
  • 3
    翻译
  • 578
    转载
  • 191
    评论
  • 访问：7970506次
  • 积分：4346
  • 等级：核心会员
  • 排名：第1名
精华文章

    达梦数据库运维实战

    Oracle 18c 必须掌握的新特性：管理与实战

    Oracle数据库问题解决方案和故障排除手册
    最新问题
    查看更多+
    热门文章
      热门用户
      推荐用户
        友情链接： CNDBA社区 | openGauss | openEuler | openAnolis | 广告联系: database@ustc.edu
        Copyright © 2016 All Rights Reserved. Powered by CNDBA · 皖ICP备2022006297号-1·

        QQ交流群

        注册联系QQ