CNDBA社区
在之前的博客我们搭建了2节点的DMDSC环境，如下：
DM7 达梦 共享存储数据库集群 (6) — 搭建2节点的DMDSC 环境（DMASM）
https://www.cndba.cn/dave/article/3700
博客中我们注册了服务，并通过服务对相关的进程进行启动和关闭。
在DMDSC 集群中，可以通过 DMCSSM 监视器来查看的运行情况，也可以查询 DMDSC 相关的动态视图获取更详细的信息。
1 DMCSSM 监视器
1.1 功能说明
监控集群状态
DMCSS 每秒会发送集群中所有节点的状态信息、当前连接到 DMCSS 的监视器信息以及DCR 的配置信息到活动的监视器上，监视器提供对应的 show 命令用于查看各类信息。
打开/关闭 DMCSS 监控
DMCSSM提供CSS STARTUP/CSS STOP命令，通知DMCSS打开或关闭监控功能，DMCSS监控功能关闭后，如果 ASM 或 DB 发生故障，不会自动执行故障处理。
打开/关闭指定组的自动拉起
DMCSSM 提供 SET AUTO RESTART ON/SET AUTO RESTART OFF 命令，通知 DMCSS打开或关闭对指定组的自动拉起功能，此功能和 DMCSS 的监控打开或关闭没有关系。
强制 OPEN 指定组
DMCSSM 提供 OPEN FORCE 命令，在启动 ASM 或 DB 组时，如果组中某个节点发生硬件故障等原因导致一直无法启动，可执行此命令通知 DMCSS 将 ASM 组或 DB 组强制 OPEN，不再等待故障节点启动成功。
启动/退出集群
DMCSSM 提供 EP STARTUP/EP STOP 命令，可以通知 DMCSS 启动/退出指定的 ASM或 DB 组。
集群故障处理
DMCSSM 提供 EP BREAK/EP RECOVER 命令，在主 CSS 的监控功能被关闭的情况下，可以通过执行这些命令手动进行故障处理和故障恢复。另外在某些特殊场景下还可通过 EP HALT 命令强制退出指定节点，具体可参考 13.1.4 小节。
1.2 配置文件
DMCSSM 的配置文件名称为 dmcssm.ini，所支持的配置项说明如下。
1.3 配置步骤
同一个 DMDSC 集群中，允许最多同时启动 10 个监视器，建议监视器放在独立的第三方机器上，避免由于节点间网络不稳定等原因导致监视器误判节点故障。
我们这里测试，直接在RAC1节点上配置DMCSSM。
1.3.1 配置 dmcssm.ini 文件
在/dm/dmdbms/data目录下创建dmcssm.ini文件，并添加如下内容：
[dmdba@dmdsc1 data]$ pwd
/dm/dmdbms/data
[dmdba@dmdsc1 data]$ cat dmcssm.ini
#和 dmdcr_cfg.ini 中的 DCR_OGUID 保持一致
CSSM_OGUID = 63635
#配置所有 CSS 的连接信息，
#和 dmdcr_cfg.ini 中 CSS 配置项的 DCR_EP_HOST 和 DCR_EP_PORT 保持一致
CSSM_CSS_IP = 192.168.56.181:9341
CSSM_CSS_IP = 192.168.56.182:9343
CSSM_LOG_PATH =/dm/dmdbms/log/ #监视器日志文件存放路径
CSSM_LOG_FILE_SIZE = 32 #每个日志文件最大 32M
CSSM_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间
[dmdba@dmdsc1 data]$
1.3.2 启动 dmcssm 监视器
1.通过服务的方式：用root用户执行：
[root@dmdsc1 ~]# /dm/dmdbms/script/root/dm_service_installer.sh -t dmcssm -i /dm/dmdbms/data/dmcssm.ini -p rac1
移动服务脚本文件(/dm/dmdbms/bin/DmCSSMonitorServicerac1 到 /etc/rc.d/init.d/DmCSSMonitorServicerac1)
创建服务(DmCSSMonitorServicerac1)完成
[root@dmdsc1 ~]#
[root@dmdsc1 ~]# service DmCSSMonitorServicerac1 start
Starting DmCSSMonitorServicerac1: [ OK ]
[root@dmdsc1 ~]#
2.直接调用dmcssm 命令启动：
[dmdba@dmdsc1 ~]$ dmcssm INI_PATH=/dm/dmdbms/data/dmcssm.ini
[monitor] 2019-09-17 21:47:44: CSS MONITOR V7.6.0.95-Build(2018.09.13-97108)ENT
[monitor] 2019-09-17 21:47:44: get local ip address failed
[monitor] 2019-09-17 21:47:44: CSS MONITOR SYSTEM IS READY.
[monitor] 2019-09-17 21:47:44: Wait master css choosed...
[monitor] 2019-09-17 21:47:45: Wait master css choosed succeed.
1.4 命令说明
监视器提供一系列命令，支持集群的状态信息查看以及节点的故障处理，可输入 help命令，查看命令使用说明。
注意这里，如果如果要执行命令，必须命令行交互模式启动：
[dmdba@dmdsc1 ~]$ dmcssm INI_PATH=/dm/dmdbms/data/dmcssm.ini
[monitor] 2019-09-17 21:47:44: CSS MONITOR V7.6.0.95-Build(2018.09.13-97108)ENT
[monitor] 2019-09-17 21:47:44: get local ip address failed
[monitor] 2019-09-17 21:47:44: CSS MONITOR SYSTEM IS READY.
[monitor] 2019-09-17 21:47:44: Wait master css choosed...
[monitor] 2019-09-17 21:47:45: Wait master css choosed succeed.
help
DMCSSM usage:
If not specified group_name in SHOW command, monitor will show all groups info
----------------------------------------------------------------------------------------------
1.help --list help information
2.show [group_name] --show information of specified group
3.show config --show information of configure file
4.show monitor --show current connect monitor information
5.css startup --startup CSS group
6.css stop --stop CSS group
7.set group_name auto restart on --set specified group auto restart on
8.set group_name auto restart off --set specified group auto restart off
9.open force group_name --open force specified ASM or DB group
10.ep startup group_name --startup specified ASM or DB group
11.ep stop group_name --stop specified ASM or DB group
12.ep break group_name --process ep break to specified group when master CSS watch stopped
13.ep recover group_name --process ep recover to specified group when master CSS watch stopped
14.ep halt group_name.ep_name --force halt specified ep of specified group
15.ep crash group_name.ep_name --set ep to crash
16.exit --exit monitor
相关命令说明如下：
1. help： 显示帮助信息。
2.show [group_name]： 显示指定的组信息，如果没有指定 group_name，则显示所有组信息。返回的组信息优先从主 CSS 获取，如果主 CSS 故障或尚未选出，则任选一个从 CSS 返回组信息。
3. show config： 显示 dmdcr_cfg.ini 的配置信息，对于 DB 类型的节点，会比 CSS/ASM 节点多一项DCR_EP_SEQNO 的显示值，如果原本的 ini 文件中没有手动配置，则显示的是自动分配的序列值。返回的配置信息优先从主 CSS 获取，如果主 CSS 故障或尚未选出，则任选一个从 CSS返回信息。
4. show monitor： 显示当前连接到主 CSS 的所有监视器信息，如果主 CSS 故障或尚未选出，则任选一个从 CSS 显示连接信息。 返回的信息中，第一行为当前执行命令的监视器的连接信息。
5. css startup： CSS 监控关闭的情况下，可通过此命令打开 CSS 的监控功能。此命令会发送给所有的 CSS 执行，可通过 show css 组查看每个 CSS 的 auto flag值，为 TRUE 则表示执行成功。 CSS 启动后，默认监控处于打开状态。 CSS 监控是否打开和是否可以自动拉起 ASM 或 DB 节点没有关系，ASM 或 DB 节点的自动拉起是单独控制的，在 CSS 监控打开后，如果 ASM 或 DB 节点的自动拉起功能是关闭的，则 CSS 不会对未启动的节点执行自动拉起操作。
6. css stop： 关闭 CSS 的监控功能。 此命令会发送给所有的 CSS 执行，可通过 show css 组查看每个 CSS 的 auto flag值，为 FALSE 则表示执行成功。 CSS 监控被关闭后，不会对故障情况做自动处理，但仍然可以调整各组节点的 active状态。 CSS 监控是否打开和是否可以自动拉起 ASM 或 DB 节点没有关系，ASM 或 DB 节点的自动拉起是单独控制的，在 CSS 监控关闭后，如果 ASM 或 DB 节点的自动拉起功能是打开的，则 CSS 仍然可以自动拉起未启动的节点，只是无法自动启动到 OPEN 状态。
7. set group_name auto restart on ： 打开指定组的自动拉起功能。 此功能和 CSS 的监控打开/关闭没有关系，命令执行成功后，即使 CSS 监控处于关闭状态，也可以自动拉起指定组中未启动的节点，只是无法自动启动到 OPEN 状态。可借助 show css 命令查看每个节点的自动拉起标记，每个 css 只能控制和自己的dmdcr.ini 中配置的 DMDCR_SEQNO 相同节点的自动拉起。
8. set group_name auto restart off：关闭指定组的自动拉起功能。此功能和 CSS 的监控打开/关闭没有关系，命令执行成功后，即使 CSS 监控处于打开状态，也无法自动拉起指定组中未启动的节点。可借助 show css 命令查看每个节点的自动拉起标记，每个 css 只能控制和自己的dmdcr.ini 中配置的 DMDCR_SEQNO 相同节点的自动拉起。
9. open force group_name
在启动 ASM 或 DB 组时，如果某个节点故障一直无法启动，可借助此命令将 ASM 或 DB组强制 OPEN。
此命令需要发送到主 CSS 执行，并且主 CSS 的监控需要处于打开状态，如果主 CSS 故障或尚未选出，则命令执行失败。
10. ep startup group_name： 通知 CSS 启动指定的 ASM 或 DB 组，如果 CSS 已经打开了指定组的自动拉起功能，则命令不允许执行，需要等待 CSS 自动检测故障并执行拉起操作。每个 CSS 只负责拉起和自己的 dmdcr.ini 中配置的 DMDCR_SEQNO 相同的 ASM 或 DB节点，因此需要所有 CSS 都处于活动状态，否则只通知当前活动的 CSS 自动拉起相对应的节点。只有在 ASM 组正常启动到 OPEN 状态，并且所有活动的 ASM 节点都处于 OPEN状态时，才允许启动 DB 组，否则执行 DB 组的启动命令会报错，CSS 自动拉起 DB 组时也需要满足此条件。在命令执行前，如果 CSS 对指定组的自动拉起功能是关闭的，在节点拉起成功后，会打开对指定组的自动拉起功能。但是如果 CSS 自身监控处于关闭状态，则节点拉起后无法自动启动到OPEN 状态，需要等 CSS 监控打开后才可以启动到 OPEN 状态。
11. ep stop group_name： 退出指定的 ASM 或 DB 组，如果主 CSS 故障或尚未选出，则命令执行失败。在退出 ASM 组时，需要保证 DB 组已经退出，否则会报错处理。在命令执行前，如果 CSS 对指定组的自动拉起功能是打开的，则会先通知 CSS 关闭对指定组的自动拉起功能，再通知指定组退出，避免命令执行成功后节点再次被自动拉起。
12. ep break group_name
使用场景：ASM 组或 DB 组在正常运行时，某个节点出现故障，则需要执行故障处理，将故障节点从组的 OK 节点数组中摘除。
如果主 CSS 监控处于打开状态，则主 CSS 会自动执行故障处理，如果主 CSS 的监控处于关闭状态，则需要通过 ep break 命令通知主 CSS 执行故障处理。如果故障节点是主节点，则在故障处理中，主 CSS 会从剩余节点中再选出新的主节点继续对外服务。
此命令仅在主 CSS 监控关闭的情况下允许使用，如果主 CSS 故障或尚未选出，则命令执行失败。另外，如果 ASM 组的某个节点故障，和故障节点有相同DCR_SEQNO 的 DB 节点需要使用 EP HALT 命令手动 HALT，否则 DB 节点访问对应的 ASM 文件系统失败，也会自动 HALT。 在 ASM 和 DB 节点都出现故障的情况下，需要先对 ASM 组执行故障处理，再对 DB 组执行故障处理，否则会报错不允许执行。
也可以采用另一种处理方式，执行 CSS STARTUP 命令，将主 CSS 监控打开，主 CSS会自动检测并执行故障处理，不需要再手动执行其他命令。
13. ep recover group_name
使用场景：执行过 ep break 的故障节点重启成功后，可通过此命令将故障节点重加入指定的 ASM或 DB 组，重新恢复组到 OPEN 状态。
此命令仅在主 CSS 监控关闭的情况下允许使用，如果主 CSS 故障或尚未执行，则命令执行失败。另外，只有在 ASM 组的故障节点重加入成功后，才允许重启对应的 DB 节点，并执行 DB 组的故障重加入。
也可以采用另一种处理方式，通过执行 CSS STARTUP 命令，将主 CSS 监控打开，主CSS 会自动检测并执行故障重加入。
14. ep halt group_name.ep_name： 强制退出指定组的指定 EP。
此命令在 CSS 监控打开或关闭的情况下都允许使用，适用于下述场景：
一某个 ASM 或 DB 节点故障，CSS 的心跳容错时间 DCR_GRP_NETCHK_TIME 或DCR_GRP_DSKCHK_CNT 配置值很大，在容错时间内，CSS 不会调整故障节点的 active标记，一直是 TRUE，CSS 认为故障 EP 仍然处于活动状态，不会自动执行故障处理，并且不允许手动执行故障处理。
另外，执行 EP STARTUP 或 EP STOP 命令时，会误认为故障 EP 仍然处于活动状态，导致执行结果与预期不符。此时可以通过执行 EP HALT 命令，通知 CSS 再次 HALT 故障EP，确认 EP 已经被 HALT 后，CSS 会及时调整 active 标记为 FALSE，在此之后，对自动/手动故障处理，EP STARTUP/EP STOP 命令都可以正常执行。
二需要强制 HALT 某个正在运行的 ASM 或 DB 节点，也可以通过此命令完成。
1.5 命令操作示例
show GRP_RAC
monitor current time:2019-09-17 21:56:09
=================== group[name = grp_rac, seq = 2, type = DB, master_ep = 1] ========================================
n_ok_ep = 2
ok_ep_arr(index, seqno):
(0, 0)
(1, 1)
sta = OPEN, sub_sta = STARTUP
break ep = NULL
recover ep = NULL
crash process over flag is TRUE
ep: css_time inst_name seqno mode inst_status vtd_status is_ok active guid ts
2019-09-17 21:56:09 RAC0 0 SLAVE OPEN WORKING OK TRUE 285494500 285494534
2019-09-17 21:56:09 RAC1 1 MASTER OPEN WORKING OK TRUE 283928935 283934301
==================================================================================================================
ep stop GRP_RAC
[monitor] 2019-09-17 21:56:38: Group(GRP_RAC) ep's CSS auto restart flag is already OFF
[monitor] 2019-09-17 21:56:38: Notify CSS(seqno:0) execute EP STOP(GRP_RAC)
[monitor] 2019-09-17 21:56:45: Notify current active CSS to do clear
[monitor] 2019-09-17 21:56:46: Clean request of CSS(0) success
[monitor] 2019-09-17 21:56:46: Clean request of CSS(1) success
[monitor] 2019-09-17 21:56:46: Command EP STOP GRP_RAC execute success
show GRP_RAC
monitor current time:2019-09-17 21:56:58
=================== group[name = grp_rac, seq = 2, type = DB, master_ep = 255] ========================================
n_ok_ep = 2
ok_ep_arr(index, seqno):
(0, 0)
(1, 1)
sta = OPEN, sub_sta = STARTUP
break ep = NULL
recover ep = NULL
crash process over flag is FALSE
ep: css_time inst_name seqno mode inst_status vtd_status is_ok active guid ts
2019-09-17 21:56:57 RAC0 0 SLAVE SHUTDOWN SHUTDOWN OK FALSE 285494500 285494570
2019-09-17 21:56:57 RAC1 1 SLAVE SHUTDOWN SHUTDOWN OK FALSE 283928935 283934337
==================================================================================================================
ep startup GRP_RAC
[monitor] 2019-09-17 21:57:25: Notify CSS(seqno:0) execute EP STARTUP(RAC0)
[monitor] 2019-09-17 21:58:26: Monitor wait over (60)s, ep(RAC0) still not STARTUP success, command execute failed
[monitor] 2019-09-17 21:58:26: Notify CSS(seqno:0) EP STARTUP(RAC0) failed
[monitor] 2019-09-17 21:58:26: Notify CSS(seqno:1) execute EP STARTUP(RAC1)
[monitor] 2019-09-17 21:58:32: Notify CSS(seqno:1) EP STARTUP(RAC1) success
[monitor] 2019-09-17 21:58:32: Notify current active CSS to do clear
[monitor] 2019-09-17 21:58:33: Clean request of CSS(0) success
[monitor] 2019-09-17 21:58:33: Clean request of CSS(1) success
[monitor] 2019-09-17 21:58:33: Command EP STARTUP GRP_RAC execute failed
show GRP_RAC
monitor current time:2019-09-17 21:59:56
=================== group[name = grp_rac, seq = 2, type = DB, master_ep = 255] ========================================
n_ok_ep = 2
ok_ep_arr(index, seqno):
(0, 0)
(1, 1)
sta = OPEN, sub_sta = STARTUP
break ep = NULL
recover ep = NULL
crash process over flag is FALSE
ep: css_time inst_name seqno mode inst_status vtd_status is_ok active guid ts
2019-09-17 21:59:56 RAC0 0 SLAVE SHUTDOWN SHUTDOWN OK FALSE 285494500 285494570
2019-09-17 21:59:56 RAC1 1 SLAVE STARTUP WORKING OK TRUE 285546108 285546193
==================================================================================================================
2 集群相关的动态视图
DMDSC 集群提供一系列动态视图来查看当前的系统运行信息。
2.1 相关试图
| 视图 | 说明 |
|---|---|
| V$RAC_EP_INFO | 显示实例信息。 |
| V$RAC_GBS_POOL | 显示 GBS 控制结构的信息。 |
| V$RAC_GBS_POOLS_DETAIL | 显示分片的 GBS_POOL 详细信息。 |
| V$RAC_GBS_CTL | 显示 GBS 控制块信息。多个 pool，依次扫描。 |
| V$RAC_GBS_CTL_DETAIL | 显示 GBS 控制块详细信息。多个 pool，依次扫描。 |
| V$RAC_GBS_CTL_LRU_FIRST | 显示 GBS 控制块 LRU 链表首页信息。多个 pool，依次扫描。 |
| V$RAC_GBS_CTL_LRU_FIRST_DETAIL | 显示 GBS 控制块 LRU 链表首页详细信息。多个 pool，依次扫描。 |
| V$RAC_GBS_CTL_LRU_LAST | 显示 GBS 控制块 LRU 链表尾页信息。多个 pool，依次扫描。 |
| V$RAC_GBS_CTL_LRU_LAST_DETAIL | 显示 GBS 控制块 LRU 链表尾页详细信息。多个 pool，依次扫描。 |
| V$RAC_GBS_REQUEST_CTL | 显示等待 GBS 控制块的请求信息。多个 pool，依次扫描。 |
| V$RAC_LBS_POOLS_DETAIL | 显示分片的 LBS_POOL 详细信息。多个 pool，依次扫描。 |
| V$RAC_LBS_CTL | 显示 LBS 控制块信息。多个 pool，依次扫描。 |
| V$RAC_LBS_CTL_LRU_FIRST | 显示 LBS 的 LRU_FIRST 控制块信息。多个 pool，依次扫描。 |
| V$RAC_LBS_CTL_LRU_LAST | 显示 LBS 的 LRU_LAST 控制块信息。多个 pool，依次扫描。 |
| V$RAC_LBS_CTL_DETAIL | 显示 LBS 控制块详细信息。多个 pool，依次扫描。 |
| V$RAC_LBS_CTL_LRU_FIRST_DETAIL | 显示 LBS 的 LRU_FIRST 控制块详细信息。多个 pool，依次扫描。 |
| V$RAC_LBS_CTL_LRU_LAST_DETAIL | 显示 LBS 的 LRU_LAST 控制块详细信息。多个 pool，依次扫描。 |
| V$RAC_GTV_SYS | 显示 GTV 控制结构的信息。 |
| V$RAC_GTV_TINFO | 显示 TINFO 控制结构的信息。 |
| V$RAC_GTV_ACTIVE_TRX | 显示全局活动事务信息。 |
| V$RAC_LOCK | 显示全局活动的事务锁信息。 |
| V$RAC_TRX | 显示所有活动事务的信息。通过该视图可以查看所有系统中所有的事务以及相关信息， 如锁信息等。 |
| V$RAC_TRXWAIT | 显示事务等待信息。 |
| V$RAC_TRX_VIEW | 显示当前事务可见的所有活动事务视图信息。根据达梦多版本规则，通过该视图可以查询系统中自己所见的事务信息；可以通过与 v$rac_trx 表的连接查询它所见事务的具体信息。 |
| V$ASMATTR | 如果使用有 ASM 文件系统，可通过此视图查看 ASM 文件系统相关属性。 |
| V$ASMGROUP | 如果使用有 ASM 文件系统，可通过此视图查看 ASM 磁盘组信息。 |
| V$ASMDISK | 如果使用有 ASM 文件系统，可通过此视图查看所有的 ASM 磁盘信息。 |
| V$ASMFILE | 如果使用有 ASM 文件系统，可通过此视图查看所有的 ASM 文件信息。 |
| V$DCR_INFO | 查看 DCR 配置的全局信息。 |
| V$DCR_GROUP | 查看 DCR 配置的组信息。 |
| V$DCR_EP | 查看 DCR 配置的节点信息。 |
| V$RAC_REQUEST_STATISTIC | 统计 DSC 环境内 TYPE 类型请求时间。 |
| V$RAC_REQUEST_PAGE_STATISTIC | 统计 lbs_XX 类型最耗时的前 100 页地址信息。 |
2.2 部分示例
SQL> select group_name,n_disk,au_size,total_size,free_size from v$asmgroup;
LINEID GROUP_NAME N_DISK AU_SIZE TOTAL_SIZE FREE_SIZE
---------- ---------- ----------- ----------- ----------- -----------
1 DMLOG 1 1048576 2047 1012
2 DMDATA 1 1048576 3071 2596
3 VOTE 1 1048576 500 476
4 DCR 1 1048576 500 476
used time: 15.190(ms). Execute id is 3.
SQL>
SQL> select group_id,disk_name,disk_path,size from v$asmdisk;
LINEID GROUP_ID DISK_NAME DISK_PATH SIZE
---------- ----------- ---------- ------------- -----------
1 0 DMASMLOG0 /dev/raw/raw3 2047
2 1 DMASMDATA0 /dev/raw/raw4 3071
3 125 DMASMvote /dev/raw/raw2 500
4 126 DMASMdcr /dev/raw/raw1 500
5 -1 UNKNOWN /dev/raw/raw7 0
6 -1 UNKNOWN /dev/raw/raw6 0
7 -1 UNKNOWN /dev/raw/raw5 0
7 rows got
used time: 46.599(ms). Execute id is 5.
SQL>
SQL> select group_name,ep_name,ep_seqno,ep_host,ep_port from v$dcr_ep;
LINEID GROUP_NAME EP_NAME EP_SEQNO EP_HOST EP_PORT
---------- ---------- ------- ----------- -------------- -----------
1 GRP_CSS CSS0 0 192.168.56.181 9341
2 GRP_CSS CSS1 1 192.168.56.182 9343
3 GRP_ASM ASM0 0 192.168.20.181 9349
4 GRP_ASM ASM1 1 192.168.20.182 9351
5 GRP_RAC RAC0 0 5236
6 GRP_RAC RAC1 1 5236
6 rows got
used time: 13.578(ms). Execute id is 7.
SQL>
SQL> select * from v$dcr_group;
LINEID GROUP_TYPE GROUP_NAME N_EP DSKCHK_CNT NETCHK_TIME
---------- ---------- ---------- ----------- ----------- -----------
1 CSS GRP_CSS 2 60 0
2 ASM GRP_ASM 2 60 0
3 DB GRP_RAC 2 60 0
used time: 11.365(ms). Execute id is 8.
SQL>
版权声明：本文为博主原创文章，未经博主允许不得转载。
