Oracle GoldenGate 微服务架构日常运维与故障排查 100 条命令

DBA100

100 条命令系列文章专栏

Oracle GoldenGate 微服务架构日常运维与故障排查 100 条命令（建议收藏）

前言

GoldenGate 微服务架构将管理、分发、接收和指标采集拆成独立服务。源端 Extract 写入 Trail，Distribution Path 将数据发往目标端，Receiver Path 接收后由 Replicat 应用。

Oracle GoldenGate 微服务架构示意图 Oracle GoldenGate 微服务架构示意图

经典架构里常查的 Manager 和 Pump，在这里不再是同一套排障入口。复制延迟要同时看 Extract、Distribution Path、Receiver Path、Replicat，以及对应服务的日志。

本文整理了微服务架构日常检查和故障排查常用的 100 条命令，建议收藏备用。

文中以 Linux 和 Oracle GoldenGate 21c 为例，部署名、进程名、路径名、主机及端口请根据实际环境修改。

一、Admin Client 与部署状态

1. 进入 Admin Client

Bash

1$OGG_HOME/bin/adminclient

2. 连接指定部署

1CONNECT https://ogg-host:16000 DEPLOYMENT ogg_deploy AS oggadmin

3. 查看 CONNECT 命令帮助

1HELP CONNECT

4. 查看 Admin Client 版本

1VERSIONS

5. 查看全部进程

1INFO ALL

6. 查看全部任务进程

1INFO ALL TASKS

7. 查看全部进程及子进程

1INFO ALL ALLPROCESSES

ALLPROCESSES 会把子进程一起列出，适合判断是复制进程异常还是服务内部进程异常。

8. 查看部署运行状态

1STATUS DEPLOYMENT ogg_deploy

9. 查看部署健康状态

1HEALTH DEPLOYMENT ogg_deploy

健康检查比单纯的 RUNNING 多一层依赖检查。结果异常时，继续展开对应服务和部署日志。

10. 断开当前部署连接

1DISCONNECT

二、微服务状态检查

11. 查看全部服务状态

1STATUS SERVICE *

12. 查看 Administration Server 状态

1STATUS SERVICE ADMINSRVR

13. 查看 Distribution Server 状态

1STATUS SERVICE DISTSRVR

14. 查看 Receiver Server 状态

1STATUS SERVICE RECVSRVR

15. 查看 Performance Metrics Server 状态

1STATUS SERVICE PMSRVR

16. 检查 Service Manager 监听端口

Bash

1ss -lntp | grep 16000

端口监听只能证明进程占用了端口，不能证明 Administration Server 接口已经可以正常处理请求。

17. 检查微服务进程

Bash

1ps -ef | grep '[a]dminsrvr\|[d]istsrvr\|[r]ecvsrvr\|[p]msrvr\|[s]rvmgr'

18. 检查部署目录空间

Bash

1du -sh $OGG_DEPLOYMENT_HOME
2df -h $OGG_DEPLOYMENT_HOME

19. 查看部署日志末尾

Bash

1tail -n 100 $OGG_DEPLOYMENT_HOME/var/log/ggserr.log

默认错误日志是排障入口。部署目录调整过时，先从 Service Manager 中确认实际日志路径。

20. 搜索部署日志中的错误

Bash

1grep -Ei 'OGG-|ERROR|WARNING|ABEND' $OGG_DEPLOYMENT_HOME/var/log/ggserr.log | tail -100

三、Extract 捕获进程

21. 查看 Extract 基本信息

1INFO EXTRACT ext1

22. 查看 Extract 详细信息

1INFO EXTRACT ext1, DETAIL

DETAIL 里可以核对参数、Trail 和检查点；这些信息比一个 RUNNING 状态更能说明进程是否工作。

23. 查看 Extract 全部检查点

1INFO EXTRACT ext1, SHOWCH

24. 查看全部 Extract

1INFO EXTRACT *

25. 查看 Extract 当前状态

1STATUS EXTRACT ext1

26. 查看全部 Extract 状态

1STATUS EXTRACT *

27. 查看 Extract 延迟

1LAG EXTRACT ext1

延迟不更新时，同时看 Extract 检查点和源端是否还有新事务。没有新数据时，延迟值本身意义不大。

28. 查看全部 Extract 延迟

1LAG EXTRACT *

29. 查看 Extract 累计统计

1STATS EXTRACT ext1, TOTAL

30. 查看 Extract 最近一小时统计

1STATS EXTRACT ext1, HOURLY

四、Replicat 应用进程

31. 查看 Replicat 基本信息

1INFO REPLICAT rep1

32. 查看 Replicat 详细信息

1INFO REPLICAT rep1, DETAIL

33. 查看 Replicat 全部检查点

1INFO REPLICAT rep1, SHOWCH

34. 查看全部 Replicat

1INFO REPLICAT *

35. 查看 Replicat 当前状态

1STATUS REPLICAT rep1

36. 查看全部 Replicat 状态

1STATUS REPLICAT *

37. 查看 Replicat 延迟

1LAG REPLICAT rep1

38. 查看全部 Replicat 延迟

1LAG REPLICAT *

39. 查看 Replicat 累计统计

1STATS REPLICAT rep1, TOTAL

40. 查看 Replicat 最近一小时统计

1STATS REPLICAT rep1, HOURLY

五、Distribution Path

41. 查看全部分发路径

1INFO DISTPATH ALL

分发路径负责把 Trail 发往目标端。路径为 STOPPED 时，Extract 仍可能正常写本地 Trail。

42. 查看指定分发路径

1INFO DISTPATH path1

43. 查看分发路径详细信息

1INFO DISTPATH path1 DETAIL

详细信息里重点核对源 Trail、目标 URI 和当前发送位置。

44. 查看分发路径统计

1STATS DISTPATH path1

统计有增长说明路径在传数据；统计不变时，再看源 Trail 是否产生了新记录。

45. 查看 Distribution Server 状态

1STATUS SERVICE DISTSRVR

46. 检查 Distribution Server 进程

Bash

1ps -ef | grep '[d]istsrvr'

47. 检查分发端口监听

Bash

1ss -lntp | grep 16002

48. 测试接收端网络连通性

Bash

1curl -kI https://target-host:16003

curl -k 忽略证书校验，只适合定位网络问题。正式配置仍要解决证书信任。

49. 查看分发路径相关错误

Bash

1grep -Ei 'DISTPATH|OGG-|ERROR' $OGG_DEPLOYMENT_HOME/var/log/ggserr.log | tail -100

50. 按时间查看最新部署日志

Bash

1find $OGG_DEPLOYMENT_HOME/var/log -type f -printf "%TY-%Tm-%Td %TH:%TM %p\n" | sort -r | head -20

六、Receiver Path

51. 查看全部接收路径

1INFO RECVPATH ALL

接收路径负责将上游数据写入目标 Trail，它和 Replicat 是两个独立环节。

52. 查看指定接收路径

1INFO RECVPATH path1

53. 查看接收路径详细信息

1INFO RECVPATH path1 DETAIL

这里可以确认目标 Trail 位置以及已经接收到了哪里，排查“已发送但未落盘”时最直接。

54. 查看接收路径统计

1STATS RECVPATH path1

55. 查看 Receiver Server 状态

1STATUS SERVICE RECVSRVR

56. 检查 Receiver Server 进程

Bash

1ps -ef | grep '[r]ecvsrvr'

57. 检查接收端口监听

Bash

1ss -lntp | grep 16003

58. 检查接收 Trail 目录空间

Bash

1du -sh $OGG_DEPLOYMENT_HOME/var/lib/data
2df -h $OGG_DEPLOYMENT_HOME/var/lib/data

除了总容量，还要看文件系统是否只读、inode 是否耗尽，以及运行账号有没有写权限。

59. 按时间查看最新 Trail

Bash

1find $OGG_DEPLOYMENT_HOME/var/lib/data -type f -printf "%TY-%Tm-%Td %TH:%TM %s %p\n" | sort -r | head -20

60. 查看接收路径相关错误

Bash

1grep -Ei 'RECVPATH|OGG-|ERROR' $OGG_DEPLOYMENT_HOME/var/log/ggserr.log | tail -100

七、延迟、统计与报告

61. 查看所有 Extract 和 Replicat 延迟

1LAG ER *

LAG ER * 适合快速比较捕获端和应用端，真正定位还要分别查看对应进程和路径。

62. 查看 Extract 最新统计

1STATS EXTRACT ext1, LATEST

63. 查看 Replicat 最新统计

1STATS REPLICAT rep1, LATEST

64. 查看 Extract 每日统计

1STATS EXTRACT ext1, DAILY

65. 查看 Replicat 每日统计

1STATS REPLICAT rep1, DAILY

66. 查看指定源表捕获统计

1STATS EXTRACT ext1, TABLE app.orders, TOTAL

67. 查看指定目标表应用统计

1STATS REPLICAT rep1, TABLE app.orders, TOTAL

68. 查看 Extract 报告

1VIEW REPORT ext1

报告中先找第一条异常和它发生的时间，再去匹配部署日志，不要从末尾的重复报错开始处理。

69. 查看 Replicat 报告

1VIEW REPORT rep1

70. 查看心跳表状态

1INFO HEARTBEATTABLE

心跳表能反映链路端到端延迟，前提是心跳记录确实在持续产生和应用。

八、凭据、数据库与复制对象

71. 查看 Admin Client 保存的连接凭据

1INFO CREDENTIALS *

72. 查看默认数据库凭据域

1INFO CREDENTIALSTORE

73. 查看指定数据库凭据域

1INFO CREDENTIALSTORE DOMAIN OracleGoldenGate

74. 使用凭据别名登录数据库

1DBLOGIN USERIDALIAS oggadmin

别名登录成功只证明凭据和数据库连接可用，复制对象权限仍要单独检查。

75. 查看表级补充日志

1INFO TRANDATA app.orders

76. 查看 Schema 级补充日志

1INFO SCHEMATRANDATA app

77. 列出 Schema 下的表

1LIST TABLES app.*

78. 检查数据库归档和强制日志

Bash

1sqlplus -s / as sysdba <<'SQL'
2SET PAGES 100 LINES 200
3SELECT log_mode, force_logging FROM v$database;
4SQL

GoldenGate 捕获前至少需要数据库处于归档模式，并按复制方式确认强制日志设置。

79. 检查数据库最小补充日志

Bash

1sqlplus -s / as sysdba <<'SQL'
2SET PAGES 100 LINES 200
3SELECT supplemental_log_data_min FROM v$database;
4SQL

80. 检查 GoldenGate 管理用户

Bash

1sqlplus -s / as sysdba <<'SQL'
2SET PAGES 100 LINES 200
3SELECT username, account_status FROM dba_users WHERE username='OGGADMIN';
4SQL

九、操作系统与接口排查

81. 查看主机名和时间

Bash

1hostname
2date

82. 检查主机时间同步

Bash

1timedatectl status

83. 查看 CPU 和内存负载

Bash

1uptime
2free -h

84. 查看磁盘与 inode 使用率

Bash

1df -h
2df -i

85. 查看部署目录权限

Bash

1namei -l $OGG_DEPLOYMENT_HOME

86. 检查进程打开文件数

Bash

1pid=$(pgrep -o adminsrvr)
2cat /proc/$pid/limits | grep -i "open files"

文件句柄达到限制时，服务可能间歇报错。这里同时看当前值和进程允许的上限。

87. 检查进程占用的端口

Bash

1ss -lntp | grep -E "adminsrvr|distsrvr|recvsrvr|pmsrvr"

88. 检查域名解析

Bash

1getent hosts target-host

89. 检查 HTTPS 证书有效期

Bash

1openssl s_client -connect ogg-host:16000 -servername ogg-host </dev/null 2>/dev/null | openssl x509 -noout -dates -subject

证书日期正常仍可能存在主机名或信任链问题，接口报 TLS 错误时还要查看完整握手信息。

90. 检查目标端口连通性

Bash

1timeout 5 bash -c '</dev/tcp/target-host/16003' && echo OK

十、启停与故障处置

91. 启动 Extract

1-- 确认数据库、凭据和 Trail 可用
2START EXTRACT ext1

启动后查看 Extract 的检查点是否推进；只看到 RUNNING 还不能确认已经开始捕获。

92. 启动 Replicat

1-- 确认目标库、检查点表和 Trail 可用
2START REPLICAT rep1

93. 启动分发路径

1-- 确认接收端服务和网络可用
2START DISTPATH path1

94. 启动接收路径

1-- 确认目标 Trail 目录可写
2START RECVPATH path1

95. 平滑停止 Extract

1-- 维护窗口；停止后确认检查点位置
2STOP EXTRACT ext1

正常停止会在检查点处退出，维护时优先用这种方式，不要直接杀进程。

96. 平滑停止 Replicat

1-- 维护窗口；先评估待应用数据量
2STOP REPLICAT rep1

97. 停止分发路径

1-- 维护窗口；先记录积压和发送位置
2STOP DISTPATH path1

98. 停止接收路径

1-- 维护窗口；先确认上游已停止发送
2STOP RECVPATH path1

99. 重启异常微服务

1-- 先保存日志并确认故障原因
2RESTART SERVICE DISTSRVR

重启前先保存服务日志。服务起来以后，再检查受它管理的路径和复制进程。

100. 重启整个部署

1-- 高风险：会影响部署内全部服务和复制进程
2RESTART DEPLOYMENT ogg_deploy

整个部署重启会影响其中所有服务和复制进程，恢复后要逐项检查，不能只看 Deployment 状态。

总结

Extract 仍在写 Trail 时，延迟不一定发生在源库；还要核对分发路径、接收路径和 Replicat 的位置。重启服务或整个部署前，保存异常日志和进程检查点，恢复后逐项确认路径与复制进程继续运行。

后续的 GoldenGate 微服务运维命令，会继续补到 ORA100 · DBA100：

https://ora100.com/dba100

手机上可用小程序 「三笠的百令册」。