数据同步软件 Shareplex 异常重建详细步骤（Oracle 数据库）

大家好，这里是 Lucifer三思而后行，专注于提升数据库运维效率。 @TOC目录最近有客户的 shareplex 因为一些稀奇古怪的原因又挂了，由于邮件告警问题，没有及时通知到，并且归档已经被删除，备份也追溯不回丢失的归档日志。经过与客户确认repo库没有历史数据需保留，直接重建修复！确认以下条件均已具备： - 有可用备份； - 磁盘空间足够； - 由于使用 networker 备份，需要

2021年8月25日阅读—点赞—收藏—

oraclerac

大家好，这里是 Lucifer三思而后行，专注于提升数据库运维效率。

前言

本章目标：掌握本章核心知识点 前置要求：完成前序章节学习 预计时长：60 分钟

最近有客户的 shareplex 因为一些稀奇古怪的原因又挂了，由于邮件告警问题，没有及时通知到，并且归档已经被删除，备份也追溯不回丢失的归档日志。

经过与客户确认repo库没有历史数据需保留，直接重建修复！

准备

确认以下条件均已具备：

有可用备份；
磁盘空间足够；
由于使用 networker 备份，需要提前安装备份恢复所需客户端；

本次重建目标端使用 rman 进行全库恢复。

重建过程

确认数据库大小

SQL

1select sum(bytes/1024/1024/1024) from dba_segments;
2select sum(bytes/1024/1024/1024) from dba_data_files;

确认目标端磁盘空间足够！

确认备份可用

SQL

1--查询备份
2set line222
3set pagesize100
4col status for a10
5col input_type for a20
6col INPUT_BYTES_DISPLAY for a10
7col OUTPUT_BYTES_DISPLAY for a10 
8col TIME_TAKEN_DISPLAY for a10
9
10select input_type,
11       status,
12       to_char(start_time,
13               'yyyy-mm-dd hh24:mi:ss'),
14       to_char(end_time,
15               'yyyy-mm-dd hh24:mi:ss'),
16       input_bytes_display,
17       output_bytes_display,
18       time_taken_display,
19       COMPRESSION_RATIO
20  from v$rman_backup_job_details
21 where start_time > date '2021-08-10'
22 order by 3 desc;

Bash

1list backup of controlfile;

ctrl_mesdbtj_65271_1_1081487814

确认最新的有效备份，记录控制文件。

安装 networker 客户端

安装包上传目标端安装

Bash

1lgtoclnt-9.2.1.4-1.x86_64.rpm
2lgtonmda-9.2.1.4-1.x86_64.rpm

建议使用 yum install 进行安装，防止依赖包缺失，前提是 yum 源已配置。

按顺序安装：

Bash

1yum install -y lgtoclnt-9.2.1.4-1.x86_64.rpm
2systemctl start networker
3systemctl start networker
4yum install -y lgtonmda-9.2.1.4-1.x86_64.rpm

lgtoclnt 安装完成后，确保服务正常运行，再安装 lgtonmda。

配置解析

必须将目标端和源端，networker 服务端的ip和主机名解析全部写入 /etc/hosts 文件。

目标端链接 NMO 库文件

Bash

1cd $ORACLE_HOME/lib
2ln –s /usr/lib/libnsrora.so libobk.so

至此，networker 目标端已安装完成。

清理 shareplex 旧环境

源端和目标端关闭 shareplex

Bash

1sp_ctrl
2shutdown

源端和目标端执行清理脚本

Bash

1/quest/bin/ora_cleansp splex2300/splex2300
2/data/quest/bin/ora_cleansp splex2300/splex2300

源端和目标端重新开启 shareplex 环境

Bash

1sp_cop -u2300&

本文 shareplex 使用端口为 2300，读者需根据实际情况更换，如 2400、2500 等。

目标端停止 post 进程

Bash

1stop post

最后全部恢复完毕之后再开启。

开始 rman 恢复

确保目标端数据库已开启到 nomount 状态。

恢复控制文件

连接 rman 客户端后执行恢复控制文件：

Bash

1run {
2allocate channel c1 type 'SBT_TAPE';
3send 'NSR_ENV=(NSR_SERVER=这里填写 networker 服务端主机名,NSR_CLIENT=这里填写源端备份主机名)';
4restore controlfile from '这里填写最新备份控制文件名称';
5release channel c1;
6}
7``
8
9恢复完之后开启目标端数据库到 mount 状态。
10
11### 恢复数据
12
13由于数据库大概有 1-2 T 的大小，恢复时间很长，因此建议将恢复脚本放在后台进行执行，脚本如下：

Bash

1#!/bin/bash
2source ~/.bash_profile
3backtime=`date +"20%y%m%d%H%M%S"`
4rman target / log=/home/oracle/rman_repo_$backtime.log<<EOF
5run {
6allocate channel c1 type 'SBT_TAPE';
7allocate channel c2 type 'SBT_TAPE';
8allocate channel c3 type 'SBT_TAPE';
9allocate channel c4 type 'SBT_TAPE';
10send 'NSR_ENV=(NSR_SERVER=这里填写 networker 服务端主机名,NSR_CLIENT=这里填写源端备份主机名)';
11set newname for database to '/data/mesdb/%b';
12restore database;
13switch datafile all;
14recover database;
15release channel c1;
16release channel c2;
17release channel c3;
18release channel c4;
19}
20exit;
21EOF

执行 sh rman_sp.sh & 进行后台恢复。

📢 注意： 通道根据实际情况进行修改，由于源端是 rac 环境，目标端是单机环境，因此数据文件路径需要 set newname 进行转换，最后执行初次 recover database。

备份恢复完之后，由于缺少归档，所以需要追归档。

追归档日志

由于备份时间与当前时间存在较大时差，在获取当前源端的 scn 进行 recover 时，必然需要追大量的归档日志文件，为了减少 shareplex 积压，因此提前追归档日志到当前时间。

源端备份归档日志到当前最新：

Bash

1backup archivelog from sequence 71457 until sequence 71986 thread 1;
2backup archivelog from sequence 65247 until sequence 65780 thread 2;

备份成功后拷贝至目标端，注册目录后执行 recover：

Bash

1catalog start with '/data/archivelog/';
2recover database;

追完归档之后，激活源端 shareplex 的 config 文件。

激活源端 config 配置文件

Bash

1list config
2activate config ORA_config_20210825 nolock
3show config

激活成功后，检查源端数据库中是否存在 长事务。

SQL

1select start_time from gv$transaction;

如果有长事务，可以确实是否可以杀掉，杀掉后才能继续操作。

根据以下 SQL 可以获取到事务的详细情况：

SQL

1set linesize 260 pagesize 10000
2column sess       format a21 heading "SESSION"
3column program    format a18
4column clnt_pid   format a8
5column machine    format a25
6column username   format a12
7column osuser     format a13
8column event      format a32
9column waitsec    format 999999
10column start_time format a18
11column sql_id     format a15
12column clnt_user  format a10
13column svr_ospid  format a10
14
15ALTER SESSION SET NLS_DATE_FORMAT = 'yyyy/mm/dd hh24:mi:ss';
16
17set feedback off
18set echo off
19
20set head off
21select chr(9) from dual;
22select 'Waiting Transactions'||chr(10)||'====================' from dual;
23set head on
24select /*+ rule */
25       lpad(nvl(s.username,' '),8)||'('||s.sid||','||s.serial#||')' as sess,
26       p.spid as svr_ospid,
27       nvl(osuser,' ') as clnt_user,
28       s.process as clnt_pid,
29       substr((case instr(s.PROGRAM, '@')
30                 when 0 then
31                   s.program
32                 else
33                   case instr(s.PROGRAM, '(TNS V1-V3)')
34                     when 0 then
35                       substr(s.program, 1, instr(s.PROGRAM, '@') - 1) || substr(s.program, instr(s.PROGRAM, '(') - 1)
36                     else
37                       substr(s.program, 1, instr(s.PROGRAM, '@') - 1)
38                   end
39                                                         end),
40              1, 18) as program,
41       (case 
42            when length(s.MACHINE) > 8 then substr(s.machine,1,8)||'~'
43            else s.machine
44        end
45       ) || '('||nvl(s.client_info, 'Unknown IP')||')' as machine, s.sql_id,
46       substr(s.event, 1, 32) as event,
47       s.seconds_in_wait      as waitsec
48  from v$transaction t,v$session s,v$process p
49 where t.ses_addr=s.saddr and s.paddr=p.addr
50 order by s.seconds_in_wait, s.program, s.machine;

可以通过 SESSION 字段来杀掉事务：

SQL

1alter system kill session '1841,44697';

如果杀不掉，则使用 svr_ospid 系统层进行 kill：

Bash

1kill -9 27353

确认没有长事务后，继续下一步操作。

源端获取 scn 号

SQL

1col current_scn format 9999999999999999
2select current_scn from v$database;

记录获取到的 SCN 号：72863106548。

目标端 rman 恢复至指定 scn

Bash

1recover database until scn 72863106548;

因为源端一直在运行，激活期间到SCN号必然会有新的归档产生，提示缺少归档日志，因此需要去源端拷贝缺少的归档日志，再次进行 recover。

目标端开启 resetlogs 状态

SQL

1alter database open resetlogs;

确认 recover 完成恢复之后，基本恢复结束，可以开启目标端到 resetlogs 状态。

rman 恢复后收尾

目标端 reconcile 至指定SCN号

Bash

1reconcile queue q1 for o.mesdb2-o.mesdb scn 72863106548
2reconcile queue q2 for o.mesdb2-o.mesdb scn 72863106548
3reconcile queue q3 for o.mesdb2-o.mesdb scn 72863106548
4reconcile queue q4 for o.mesdb2-o.mesdb scn 72863106548
5reconcile queue q5 for o.mesdb2-o.mesdb scn 72863106548

非必须操作，如果出现 hang 住的情况，需要在源端 shareplex 执行 flush 操作疏通通道：

Bash

1flush o.mesdb2 to mes-repo queue q1
2flush o.mesdb2 to mes-repo queue q2
3flush o.mesdb2 to mes-repo queue q3
4flush o.mesdb2 to mes-repo queue q4
5flush o.mesdb2 to mes-repo queue q5

📢 注意： 源端执行过 flush 的通道，目标端 start post 之后需要再次执行 start post queue 指定队列名 ，否则无法开启 post。

目标端运行 cleanup.sql 来清空内部表信息

Bash

1cd /data/quest/bin/
2sqlplus splex用户账号/splex账户密码
3@cleanup.sql

该步骤用于清理源端 splex 用户相关数据。

目标端禁用所有 trigger

SQL

1SELECT 'alter trigger ' || owner || '.' || trigger_name || ' disable;'
2  from dba_triggers
3 where owner in (需要同步的用户);

将输出结果复制执行即可！

目标端禁用所有约束

SQL

1SELECT 'alter table '||owner||'.'||table_name||' disable constraint '||constraint_name||';' from dba_constraints
2where constraint_type='R' and owner in (需要同步的用户);

将输出结果复制执行即可！

禁用job

SQL

1alter system set job_queue_processes=0;

确保 job 任务不会运行！

目标端开启 post 进程

Bash

1sp_ctrl
2start post

确保所有队列均已处于正常 running 状态。

由于目标端执行 reconcile 时 2，4 队列 hang 住，因此需要单独 start post queue 指定队列名 来开启：

Bash

1start post queue q2
2start post queue q4

状态已全部正常 running。

重建后检查

Bash

1qstatus
2show post queue q2
3show log reverse

通过命令查看同步是否正常，以及同步速度是否正常。再次确认邮件告警是否恢复正常。

写在最后

shareplex 重建恢复的流程还算复杂，因此需要做好必备的告警措施，防止遇到停止导致问题发生，无法及时补救的情况。

分享两个告警脚本：

1、监控 shareplex 进程是否正常运行：

Bash

1#!/bin/bash
2if [ -f ~/.bash_profile ];
3then
4  . ~/.bash_profile
5fi
6  count=`ps -ef|grep sp_cop|wc -l`
7  if [ "${count}" -ne 2 ]; 
8    then
9      ps -ef|grep sp_cop > /tmp/sp_cop.log
10      mail -s "Shareplex sp_cop process shutdown" 邮箱地址 < /tmp/sp_cop.log
11  fi

2、监控 shareplex 队列是否存在异常：

Bash

1#!/bin/bash
2if [ -f ~/.bash_profile ];
3then
4  . ~/.bash_profile
5fi
6rm -rf /data/quest/error.log
7echo "show "|sp_ctrl|grep "Idle"     >> /data/quest/error.log
8echo "show "|sp_ctrl|grep "Stopped"  >> /data/quest/error.log
9
10# -s 文件大小非0时为真
11if  [ ! -s /data/quest/error.log ]
12then
13    rm -rf /data/quest/error.log   #文件大小为0 删除
14fi
15
16if  [ -s /data/quest/error.log ]
17  then
18mail -s "Shareplex error" 邮箱地址 < /data/quest/error.log
19fi

📢 如有问题，请及时指正，谢谢！

往期精彩文章

Oracle 一键巡检自动生成 Word 报告
 Oracle 一键安装合集
 Oracle一键安装脚本的 21 个疑问与解答
 Oracle一键巡检脚本的 21 个疑问与解答
 全网首发：Oracle 23ai 一键安装脚本（非 RPM）
Oracle 19C 最新 RU 补丁 19.24 ，一键安装！
Oracle Linux 7.9 一键安装 Oracle 19C
RedHat 9.4(aarch64) 一键安装 Oracle 19C
openEuler 22.03 LTS SP4 一键安装 Oracle 19C RAC
RHEL 7.9 一键安装 Oracle 19C 19.23 RAC
Oracle DataGuard GAP 修复手册
 优化 Oracle：最佳实践与开发规范
 DBA 必备：Linux 软件源配置全攻略
 Linux 一键配置时钟同步全攻略

感谢您的阅读，这里是 Lucifer三思而后行，欢迎点赞+关注，我会持续分享数据库知识、运维技巧。