在知识库中专注阅读，并随时返回相关工具与课程
大家好，这里是公众号 DBA学习之路，分享一些学习国产数据库路上的知识和经验。 为了给大家提供一些技术交流的平台，目前已成立的技术交流群： - Oracle 数据库交流群 - 国产数据库交流群 - Linux 技术交流群 - ChatGPT 4o 免费体验群 需要进群（均已超过 200 人，需要邀请）可以添加号主微信：Lucifer-0622，备注对应的群名即可。 @TOC目录 前文介绍了 KES
大家好，这里是公众号 DBA学习之路，分享一些学习国产数据库路上的知识和经验。
本章目标：掌握本章核心知识点 前置要求：完成前序章节学习 预计时长：60 分钟
为了给大家提供一些技术交流的平台，目前已成立的技术交流群：
需要进群（均已超过 200 人，需要邀请）可以添加号主微信：Lucifer-0622，备注对应的群名即可。
前文介绍了 KES RAC 的一些基础架构和概念，具体可参考：金仓 KingbaseES RAC 入门指南。
实战才是王道，玩玩才知道好不好，本文记录一下在麒麟 V10 上安装部署 KES RAC 2 节点的详细过程。
本文演示环境：
检查操作系统版本信息：
1## 以节点一为例2[root@kesrac01 ~]# cat /etc/os-release3NAME="Kylin Linux Advanced Server"4VERSION="V10 (Halberd)"5ID="kylin"6VERSION_ID="V10"7PRETTY_NAME="Kylin Linux Advanced Server V10 (Halberd)"8ANSI_COLOR="0;31"建议配置主机名解析：
1## 以节点一为例2cat<<-EOF>>/etc/hosts3192.168.6.60 kesrac014192.168.6.61 kesrac025EOF数据库安装均建议关闭防火墙：
1## 以节点一为例2[root@kesrac01 ~]# systemctl stop firewalld3[root@kesrac01 ~]# systemctl disable firewalld4Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.5Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.所有节点建议关闭 SELNUX，防止造成一些不必要的问题：
1## 以节点一为例2## 这里使用 setenforce 0 临时生效3[root@kesrac01 ~]# /usr/sbin/setenforce 04/usr/sbin/setenforce: SELinux is disabled5[root@kesrac01 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config6[root@kesrac01 ~]# sestatus7SELinux status: disabled将 SELINUX 参数设置为 disabled，即 SELINUX=disabled 保存退出后，需要重新启动才能生效。
建议在所有服务器上创建 KES 产品的安装用户 kingbase，而非使用 root 身份执行安装部署：
1## 以节点一为例2[root@kesrac01 ~]# useradd -u 2000 -d /home/kingbase -m kingbase3[root@kesrac01 ~]# echo "kingbase:kingbase" | chpasswd4[root@kesrac01 ~]# id kingbase5用户id=2000(kingbase) 组id=2000(kingbase) 组=2000(kingbase)如果有密码复杂性要求，不想设置密码太复杂的话，可以取消密码复杂度：
1## 以节点一为例2[root@kesrac01 ~]# sed -i 's/^password\+[[:space:]]\+requisite[[:space:]]\+pam_pwquality.so/#&/g' /etc/pam.d/system-auth3[root@kesrac01 ~]# sed -i 's/use_authtok$//' /etc/pam.d/system-auth为了使共享磁盘在节点间迁移时不会因改变属主而失去访问权限，我们需要保证共享磁盘的属主（也就是拥有 KingbaseES 实例的用户）在每个节点上的 uid 一致。
为了利于数据库的日常运维、持续使用、存储扩容等，我们在安装前必须做好选项、存储目录规划。
创建安装所需目录并且授权：
1## 以节点一为例2[root@kesrac01 ~]# mkdir -p /KingbaseES/V8 /backup /archive /install3[root@kesrac01 ~]# chown -R kingbase:kingbase {/KingbaseES,/backup,/archive,/install}4[root@kesrac01 ~]# chmod -R 775 {/KingbaseES,/backup,/archive,/install}为了避免在 KingbaseES 安装和使用过程中出现问题，官方建议调整系统内核参数：
注意：这里关于 shmmax 和 shmall 参数值的计算，我们可以参考 oracle 来设置：
1# 物理内存（KB）2os_memory_total=$(awk '/MemTotal/{print $2}' /proc/meminfo)3# 获取系统页面大小，用于计算内存总量4pagesize=$(getconf PAGE_SIZE)5((shmall = (os_memory_total - 1) * 1024 / pagesize))6((shmmax = os_memory_total * 1024 - 10))7# 如果 shmall 小于 2097152，则将其设为 20971528((shmall < 2097152)) && shmall=20971529# 如果 shmmax 小于 4294967295，则将其设为 429496729510((shmmax < 4294967295)) && shmmax=4294967295复制以上命令，直接执行即可计算得出这两个参数值：
1## 以节点一为例2[root@kesrac01 ~]# echo $shmall320971524[root@kesrac01 ~]# echo $shmmax57008071670根据官方建议值，配置系统参数文件：
1## 以节点一为例2[root@kesrac01 ~]# cat<<-EOF>>/etc/sysctl.conf3fs.aio-max-nr= 10485764fs.file-max= 68157445kernel.shmall= 20971526kernel.shmmax= 70080716707kernel.shmmni= 40968kernel.sem= 250 32000 100 1289net.ipv4.ip_local_port_range= 9000 6550010net.core.rmem_default= 26214411net.core.rmem_max= 419430412net.core.wmem_default= 26214413net.core.wmem_max= 104857614EOF1516## 生效配置17[root@kesrac01 ~]# sysctl -p限制用户可使用的资源数量对系统的稳定性非常重要，可以通过调整资源限制数量改进系统性能：
1## 以节点一为例2[root@kesrac01 ~]# cat<<-EOF>>/etc/security/limits.conf3kingbase soft nofile 655364kingbase hard nofile 655365kingbase soft nproc 655366kingbase hard nproc 655367kingbase soft core unlimited8kingbase hard core unlimited9EOFsystemd-logind 服务中引入的一个特性 RemoveIPC，会造成程序信号丢失等问题，只有Redhat7 及以上和一些特殊的国产Linux的版本需要修改，改之前可先查看此项是否为默认yes)，需要设置 RemoveIPC=no：
1## 以节点一为例2[root@kesrac01 ~]# sed -i 's/#RemoveIPC=no/RemoveIPC=no/' /etc/systemd/logind.conf3[root@kesrac01 ~]# grep RemoveIPC /etc/systemd/logind.conf4RemoveIPC=no5# 重新加载 systemd 守护进程并重启 systemd-logind 服务生效6[root@kesrac01 ~]# systemctl daemon-reload7[root@kesrac01 ~]# systemctl restart systemd-logind.serviceKES 安装对于 /tmp 目录有一定要求，至少需要 10G 空间，否则安装时会报警并使用 kingbase 用户家目录作为替代：
1Now launch installer...2正在准备进行安装3警告:/tmp 磁盘空间不足！正在尝试将 /home/kingbase 用于安装基础和 tmp dir。手动挂载 /tmp 目录空间：
1## 以节点一为例2[root@kesrac01 ~]# cat<<-EOF>>/etc/fstab3tmpfs /tmp tmpfs size=10G 0 04EOF5[root@kesrac01 ~]# mount -o remount /tmp6[root@kesrac01 ~]# df -h | grep /tmp7tmpfs 10G 16K 10G 1% /tmp这个不是必须配置，但是建议配置，用于在系统中配置 NTP 实现时间同步。
⭐️ 配置 Linux 时间同步可以参考为之前写的文章：Linux 一键配置时钟同步全攻略
本文未配置时间同步。
Linux 系统安装软件需要配置本地软件源。
⭐️ 配置 Linux 软件源可以参考为之前写的文章：DBA 必备：Linux 软件源配置全攻略
配置本地软件源的方式需要先挂载本地 ISO 安装镜像：
1mount /dev/sr0 /mnt一键配置 KylinV10 本地软件源：
1## 以节点一为例2## 备份软件源初始配置3[root@kesrac01 ~]# mkdir -p /etc/yum.repos.d/bak4[root@kesrac01 ~]# mv /etc/yum.repos.d/* /etc/yum.repos.d/bak5mv: 无法将目录'/etc/yum.repos.d/bak' 移动至自身的子目录'/etc/yum.repos.d/bak/bak' 下6## 配置软件源7[root@kesrac01 ~]# cat<<-EOF>/etc/yum.repos.d/local.repo8[server]9name=server10baseurl=file:///mnt11enabled=112gpgcheck=013EOF14## 查看软件源内容15[root@kesrac01 ~]# cat /etc/yum.repos.d/local.repo16[server]17name=server18baseurl=file:///mnt19enabled=120gpgcheck=0确保软件源配置完成，就可以安装软件了。
构建 KingbaseES RAC 架构，需要准备好两块共享存储：
可以采用 iSCSI 设备或其他多点可见存储设备作为共享存储。如果只有一块共享存储，可采用分区方式来对投票盘和数据盘进行区分，可以采用 fdisk 或 parted 命令进行分区。
本文通过 iscsi 共享存储作为数据库存储文件系统。
⭐️ 配置 iscsi 共享盘可以参考为之前写的文章：实战篇：使用 StarWind 配置 ISCSI 共享存储
1、Linux 客户端安装 iscsi 软件
1## 以节点一为例2## 如果遇到报错 -bash: iscsiadm：未找到命令，就需要安装 iscsi 软件3[root@kesrac01 ~]# yum install -y iscsi-initiator-utils*4[root@kesrac01 ~]# systemctl start iscsid.service5[root@kesrac01 ~]# systemctl enable iscsid.service2、搜索服务端 iscsi target
1## 以节点一为例2## 192.168.6.43 为 iscsi 服务端 IP 地址3[root@kesrac01 ~]# iscsiadm -m discovery -t st -p 192.168.6.434192.168.6.43:3260,-1 iqn.2008-08.com.starwindsoftware:lpc-matebook-lucifer3、连接服务端 iscsi 共享存储
1## 以节点一为例2## iqn.2008-08.com.starwindsoftware:lpc-matebook-lucifer 为上一步搜索出的 target 名称3[root@kesrac01 ~]# iscsiadm -m node -T iqn.2008-08.com.starwindsoftware:lpc-matebook-lucifer -p 192.168.6.43 -l4Logging in to [iface: default, target: iqn.2008-08.com.starwindsoftware:lpc-matebook-lucifer, portal: 192.168.6.43,3260]5Login to [iface: default, target: iqn.2008-08.com.starwindsoftware:lpc-matebook-lucifer, portal: 192.168.6.43,3260] successful.4、配置开机自动挂载
1## 以节点一为例2[root@kesrac01 ~]# iscsiadm -m node -T iqn.2008-08.com.starwindsoftware:lpc-matebook-lucifer -p 192.168.6.43 --op update -n node.startup -v automatic5、查看挂载成功的共享盘
1## 以节点一为例，sdb 和 sdc 为挂载的共享盘2[root@kesrac01 ~]# lsblk 3NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT4sda 8:0 0 100G 0 disk 5├─sda1 8:1 0 1G 0 part /boot6└─sda2 8:2 0 99G 0 part 7 ├─klas-root 253:0 0 91.1G 0 lvm /8 └─klas-swap 253:1 0 7.9G 0 lvm [SWAP]9sdb 8:16 0 10G 0 disk 10sdc 8:32 0 20G 0 disk 11sr0 11:0 1 4.4G 0 rom /mnt挂载好共享盘之后就可以配置 UDEV 绑盘了。
如果共享盘是多路径，建议可以先使用 multipath 进行绑盘，便于管理。
我这里只有一条路径，查看节点磁盘 wwid：
1## 以节点一为例2[root@kesrac01 ~]# /usr/lib/udev/scsi_id -g -u /dev/sdb322d5116c157b617954[root@kesrac01 ~]# /usr/lib/udev/scsi_id -g -u /dev/sdc52f055a2b742fd0cc9执行 udev 绑定：
1## 以节点一为例2## 防止规则冲突，建议使用 99-persist-iscsi.rules，以确保此规则在最后生效3[root@kesrac01 ~]# cat<<-EOF>/etc/udev/rules.d/99-persist-iscsi.rules4KERNEL=="sd*",ENV{ID_SERIAL}=="22d5116c157b61795",SYMLINK+="qdisk%n",MODE:="0644"5KERNEL=="sd*",ENV{ID_SERIAL}=="2f055a2b742fd0cc9",SYMLINK+="kdata%n",MODE:="0644"6EOF生效 udev：
1## 以节点一为例2[root@kesrac01 ~]# udevadm control --reload-rules3[root@kesrac01 ~]# udevadm trigger --type=devices --action=change查看绑定后的盘：
1## 以节点一为例2[root@kesrac01 ~]# ll /dev/qdisk 3lrwxrwxrwx 1 root root 3 11月 18 11:38 /dev/qdisk -> sdb4[root@kesrac01 ~]# ll /dev/kdata 5lrwxrwxrwx 1 root root 3 11月 18 11:38 /dev/kdata -> sdc确保两个节点都绑定成功。配置方面到这就结束了。
安装 KES RAC 之前需要现在各个节点安装 KingbaseES RAC 数据库软件。
在所有节点都分别上传 KES RAC 安装包：
KingbaseES_V008R006B1108_Lin64_install.iso到 /install 目录下，目前暂不开放下载，如有需要可向官方申请试用。
以节点一为例：
1## 挂载 iso 文件需要使用 root 用户，安装包上传在 /install 目录，挂载到 /mnt 目录下2[root@kesrac01 ~]# umount /mnt3[root@kesrac01 ~]# mount -o loop /install/KingbaseES_V008R006B1108_Lin64_install.iso /mnt/4## 将挂载出来的安装文件拷贝到 /install 目录下5[root@kesrac01 ~]# cp -r /mnt/* /install6## 复制完成后取消安装 iso 的挂载7[root@kesrac01 ~]# umount /mnt8## 由于之前 root 复制的安装文件权限为 root，所以需要重新授权 kingbase 用户9[root@kesrac01 ~]# chown -R kingbase:kingbase /install10[root@kesrac01 ~]# su - kingbase11[kingbase@kesrac01 ~]$ cd /install/12## 命令行安装13[kingbase@kesrac01 install]$ sh setup.sh -i console14Now launch installer...15正在准备进行安装16正在从安装程序档案中提取 JRE...17正在解包 JRE...18正在从安装程序档案中提取安装资源...19配置该系统环境的安装程序...20 Verifying JVM........21正在启动安装程序...2223===============================================================================24KingbaseES V8 (使用 InstallAnywhere 创建)25-------------------------------------------------------------------------------2627正在准备控制台模式安装...2829许可协议不分省略....3031是否接受此许可协议条款？ (Y/N): Y32333435===============================================================================36选择安装集37-----3839请选择将由本安装程序安装的“安装集”。4041 ->1- 完全安装42 2- 客户端安装4344 3- 定制安装4546输入“安装集”的号码，或按 <ENTER> 键以接受缺省值4748===============================================================================49选择服务器类型50-------5152请选择服务器类型：5354 ->1- default55 2- rac5657输入您选择的号码，或按 <ENTER> 键以接受缺省值: 25859===============================================================================60选择授权文件61------6263不选择授权文件，则使用软件自带试用版授权64提示：请在有效期内及时更换正式授权文件。6566文件路径 : 67686970===============================================================================71选择安装目录72------7374请选择一个安装目录。7576您想在哪一位置安装？7778 缺省安装文件夹： /opt/Kingbase/ES/V87980输入一个绝对路径，或按 <ENTER> 键以接受缺省路径81 : /KingbaseES/V88283安装文件夹为： /KingbaseES/V884 是否正确？ (Y/N): Y85868788===============================================================================89预安装摘要90-----9192在继续执行前请检查以下信息：9394产品名：95 KingbaseES V89697安装文件夹：98 /KingbaseES/V899100产品功能部件：101 数据库服务器,102 接口,103 数据库部署工具,104 高可用组件,105 数据库开发管理工具,106 数据库迁移工具107108安装空间磁盘信息109 所需磁盘空间： 5378 MB 空闲磁盘空间： 79279 MB110111请按 <ENTER> 键继续: 112113===============================================================================114准备就绪，可以安装115---------116117本安装程序已准备完毕，可在下列位置安装 KingbaseES V8：118119/KingbaseES/V8120121按 <ENTER> 键进行安装: 122123===============================================================================124正在安装...125-------126127 [==================|==================|==================|==================]128 [------------------|------------------|------------------|--------129130===============================================================================131安装完成132----133134恭喜！KingbaseES V8 已成功地安装到：135136 /KingbaseES/V8137138按 <ENTER> 键以退出安装程序: 139Complete.📢 注意：服务器类型要选择 rac，密钥为空直接回车试用即可。
安装完 KingbaseES 后，进入安装后的数据库 install/script 目录，执行 rootDeployClusterware.sh 脚本：
1## 以节点一为例2[root@kesrac01 script]# vi rootDeployClusterware.sh3## 执行前需要检查 rootDeployClusterware.sh 脚本中的 INSTALLDIR 变量，需要修改为 KingbaseES 软件安装目录，本教程正常无需修改4## INSTALLDIR=/KingbaseES/V856## 使用 root 用户执行脚本7[root@kesrac01 script]# sh rootDeployClusterware.sh8[root@kesrac01 ~]# ll /opt/KingbaseHA/9-rw-r--r-- 1 root root 4150 11月 18 14:14 cluster_manager.conf10-rwxr-xr-x 1 root root 64786 11月 18 14:14 cluster_manager.sh11drwxr-xr-x 9 root root 130 11月 18 14:14 corosync12drwxr-xr-x 7 root root 130 11月 18 14:14 corosync-qdevice13drwxr-xr-x 8 root root 74 11月 18 14:14 crmsh14drwxr-xr-x 7 root root 70 11月 18 14:14 dlm-dlm15drwxr-xr-x 5 root root 42 11月 18 14:14 fence_agents16drwxr-xr-x 7 root root 140 11月 18 14:14 gfs217drwxr-xr-x 6 root root 57 11月 18 14:14 gfs2-utils18drwxr-xr-x 5 root root 42 11月 18 14:14 ipmi_tool19-rwxr-xr-x 1 root root 2962 11月 18 14:14 keep_cluster_alive.sh20drwxr-xr-x 7 root root 89 11月 18 14:14 kingbasefs21drwxr-xr-x 5 root root 45 11月 18 14:15 kronosnet22drwxr-xr-x 2 root root 4096 11月 18 14:15 lib23drwxr-xr-x 2 root root 29 11月 18 14:15 lib6424drwxr-xr-x 7 root root 68 11月 18 14:15 libqb25drwxr-xr-x 10 root root 146 11月 18 14:15 pacemaker26drwxr-xr-x 6 root root 56 11月 18 14:15 python2.7执行完成后会将 INSTALLDIR 目录下的 KingbaseHA 软件包拷贝到 /opt 目录下。
进入 KingbaseHA 目录，修改集群搭建必要参数：
查看 cluster_manager.conf 默认配置：
1[root@kesrac01 ~]# cd /opt/KingbaseHA/2[root@kesrac01 KingbaseHA]# cat cluster_manager.conf |grep -v ^$|grep -v ^#3cluster_name=kcluster4node_name=(node1 node2)5node_ip=(192.168.5.1 192.168.5.2)6enable_qdisk=17votingdisk=/dev/sde8sharedata_dir=/sharedata/data_gfs29sharedata_disk=/dev/sdb10install_dir=/opt/KingbaseHA11env_bash_file=/root/.bashrc12keep_cluster_alive=013pacemaker_daemon_group=haclient14pacemaker_daemon_user=hacluster15kingbaseowner=kingbase16kingbasegroup=kingbase17kingbase_install_dir=/home/kingbase/V8/Server18database="test"19username="system"20password="123456"21initdb_options="-A trust -U $username"22enable_fence=123enable_esxi=024esxi_server=192.168.4.525esxi_user=root26esxi_passwd="Kingbase@99"27enable_ipmi=028ipmi_server=(192.168.2.100 192.168.2.101)29ipmi_user=(Administrator Administrator)30ipmi_passwd=("Admin@9000" "Admin@9000")31enable_qdisk_fence=132qdisk_watchdog_dev=/dev/watchdog33qdisk_watchdog_timeout=3034enable_fip=035fip=(192.168.4.139 192.168.4.140)36fip_interface=(bond0 bond0)37fip_netmask=2438enable_heuristics=139heuristics_interval=100040heuristics_timeout=1000041heuristics_ping_gateway=""42heuristics_reskey_attempts=143heuristics_exec="exec_ping: /bin/ping -q -c $heuristics_reskey_attempts $heuristics_ping_gateway"44install_rac=145rac_port=5432146rac_lms_port=5344447rac_lms_count=748install_ssma=049ssma_data_disk=("-U f0c8f59d-0cc8-473c-970d-d19b30d87f5e" "-U 7075f361-f3ad-48cf-87cc-ecc3db4a063a")50ssma_data_dir=(/sharedata/data1 /sharedata/data2)51ssma_port=(36321 36322)52ssma_fstype=ext4需要修改参数为：
1## 集群名称2cluster_name=krac3## 集群节点主机名4node_name=(kesrac01 kesrac02)5## 集群节点 IP6node_ip=(192.168.6.60 192.168.6.61)7## 仲裁磁盘和 votedisk8votingdisk=/dev/sdb9## 数据库共享存储磁盘10sharedata_disk=/dev/sdc11## KingbaseES 软件安装路径12kingbase_install_dir=/KingbaseES/V8/Server13## 不启用 heuristics14enable_heuristics=0配置修改完之后即可，后续需要调用。
本文基于 SAN 的部署，所以需要初始化仲裁和 votedisk 磁盘(iscsi 共享存储）。
初始化仲裁盘：
1## root 用户执行2[root@kesrac01 ~]# cd /opt/KingbaseHA/3[root@kesrac01 KingbaseHA]# ./cluster_manager.sh --qdisk_init4votingdisk init start5disk /dev/sdb has already initialized as label 'krac'6Are you sure you want to initialize again? [Y/N]:7Y8/dev/block/8:16:9/dev/disk/by-id/scsi-22d5116c157b61795:10/dev/disk/by-path/ip-192.168.6.43:3260-iscsi-iqn.2008-08.com.starwindsoftware:lpc-matebook-lucifer-lun-0:11/dev/qdisk:12/dev/sdb:13 Magic: eb7a62c214 Label: krac15 Created: Mon Nov 18 14:23:16 202416 Host: kesrac0117 Kernel Sector Size: 51218 Recorded Sector Size: 5121920votingdisk init success初始化数据盘：
1[root@kesrac01 KingbaseHA]# ./cluster_manager.sh --cluster_disk_init2sharedata disk init start3It appears to contain an existing filesystem (gfs2)4This will destroy any data on /dev/sdc5Are you sure you want to proceed? (Y/N):6Y7Adding journals: Done 8Building resource groups: Done 9Creating quota file: Done10Writing superblock and syncing: Done11Device: /dev/sdc12Block size: 409613Device size: 20.00 GB (5242880 blocks)14Filesystem size: 20.00 GB (5242876 blocks)15Journals: 316Journal size: 512MB17Resource groups: 7718Locking protocol: "lock_dlm"19Lock table: "krac:gfs2"20UUID: b8f79ae5-5d80-4596-aab8-1ecda4eaf68521sharedata disk init success使用 root 用户在所有节点执行，更新操作系统内核的 gfs2 模块：
1## 以节点一为例2[root@kesrac01 KingbaseHA]# ./cluster_manager.sh --init_gfs23init gfs2 start4current OS kernel version does not support updating gfs2, please confirm whether to continue? (Y/N):5Y6init the OS native gfs2 success使用 root 用户在所有节点执行，初始化所有基础组件，如corosync，pacemaker，corosync-qdevice：
1## 以节点一为例2[root@kesrac01 KingbaseHA]# ./cluster_manager.sh --base_configure_init3init kernel soft watchdog start4init kernel soft watchdog success5config host start6config host success7add env varaible in /root/.bashrc8add env variable success9config corosync.conf start10config corosync.conf success11Starting Corosync Cluster Engine (corosync): [WARNING]12add pacemaker daemon user start13add pacemaker daemon user success14config pacemaker success15Starting Pacemaker Cluster Manager[ OK ]16config qdevice start17config qdevice success18clean qdisk fence flag start19clean qdisk fence flag success20Starting Qdisk Fenced daemon (qdisk-fenced): [ OK ]21Starting Corosync Qdevice daemon (corosync-qdevice): [ OK ]22config kingbase rac start23config kingbase rac success24add_udev_rule start25add_udev_rule success26check and mknod for dlm start27/opt/KingbaseHA/corosync/etc/corosync/uidgid.d28/opt/KingbaseHA/corosync/etc/corosync/uidgid.d29/opt/KingbaseHA/corosync/etc/corosync/uidgid.d30check and mknod for dlm success初始化之后，查看环境变量：
1[root@kesrac01 KingbaseHA]# cat /root/.bashrc 2# .bashrc34# User specific aliases and functions56alias rm='rm -i'7alias cp='cp -i'8alias mv='mv -i'910# Source global definitions11if [ -f /etc/bashrc ]; then12 . /etc/bashrc13fi14export install_dir=/opt/KingbaseHA15export PATH=/opt/KingbaseHA/python2.7/bin:/opt/KingbaseHA/pacemaker/sbin/:$PATH16export PATH=/opt/KingbaseHA/crmsh/bin:/opt/KingbaseHA/pacemaker/libexec/pacemaker/:$PATH17export PATH=/opt/KingbaseHA/corosync/sbin:/opt/KingbaseHA/corosync-qdevice/sbin:$PATH18export PYTHONPATH=/opt/KingbaseHA/python2.7/lib/python2.7/site-packages/:/opt/KingbaseHA/crmsh/lib/python2.7/site-packages:$PYTHONPATH19export COROSYNC_MAIN_CONFIG_FILE=/opt/KingbaseHA/corosync/etc/corosync/corosync.conf20export CRM_CONFIG_FILE=/opt/KingbaseHA/crmsh/etc/crm/crm.conf21export OCF_ROOT=/opt/KingbaseHA/pacemaker/ocf22export HA_SBIN_DIR=/opt/KingbaseHA/pacemaker/sbin/23export QDEVICE_SBIN_DIR=/opt/KingbaseHA/corosync-qdevice/sbin/24export LD_LIBRARY_PATH=/opt/KingbaseHA/lib64/:$LD_LIBRARY_PATH25export HA_INSTALL_PATH=/opt/KingbaseHA26export PATH=/opt/KingbaseHA/dlm-dlm/sbin:/opt/KingbaseHA/gfs2-utils/sbin:$PATH27export LD_LIBRARY_PATH=/opt/KingbaseHA/corosync/lib/:$LD_LIBRARY_PATH检查 corosync 和 pacemaker 进程：
1## corosync2[root@kesrac01 KingbaseHA]# ps -ef|grep corosync3root 43300 1 1 14:41 ? 00:00:00 /opt/KingbaseHA/corosync/sbin/corosync -c /opt/KingbaseHA/corosync/etc/corosync/corosync.conf -p /opt/KingbaseHA/corosync/var/4root 43436 1 0 14:41 ? 00:00:00 corosync-qdevice -p /opt/KingbaseHA/corosync-qdevice/var/run/corosync-qdevice/corosync-qdevice.sock5root 43437 1 0 14:41 ? 00:00:00 corosync-qdevice -p /opt/KingbaseHA/corosync-qdevice/var/run/corosync-qdevice/corosync-qdevice.sock6root 43588 9128 0 14:42 pts/0 00:00:00 grep --color=auto corosync7## pacemaker8[root@kesrac01 KingbaseHA]# ps -ef|grep pacemaker9root 43341 1 0 14:41 pts/0 00:00:00 /opt/KingbaseHA/pacemaker/sbin/pacemakerd -d /opt/KingbaseHA/pacemaker10haclust+ 43344 43341 0 14:41 ? 00:00:00 /opt/KingbaseHA/pacemaker/libexec/pacemaker/pacemaker-based -d /opt/KingbaseHA/pacemaker11root 43345 43341 0 14:41 ? 00:00:00 /opt/KingbaseHA/pacemaker/libexec/pacemaker/pacemaker-fenced -d /opt/KingbaseHA/pacemaker12root 43346 43341 0 14:41 ? 00:00:00 /opt/KingbaseHA/pacemaker/libexec/pacemaker/pacemaker-execd -d /opt/KingbaseHA/pacemaker13haclust+ 43347 43341 0 14:41 ? 00:00:00 /opt/KingbaseHA/pacemaker/libexec/pacemaker/pacemaker-attrd14haclust+ 43348 43341 0 14:41 ? 00:00:00 /opt/KingbaseHA/pacemaker/libexec/pacemaker/pacemaker-schedulerd -d /opt/KingbaseHA/pacemaker15haclust+ 43349 43341 0 14:41 ? 00:00:00 /opt/KingbaseHA/pacemaker/libexec/pacemaker/pacemaker-controld -d /opt/KingbaseHA/pacemaker16root 43598 9128 0 14:42 pts/0 00:00:00 grep --color=auto pacemaker查看集群资源：
1## 需要生效环境变量2[root@kesrac01 KingbaseHA]# source /root/.bashrc 3[root@kesrac01 KingbaseHA]# crm status4Cluster Summary:5 * Stack: corosync6 * Current DC: kesrac01 Pacemaker (Kingbase) V008R006B1108 (2.0.3.0.0 4b1f869f0f:1268c00dfa83) - partition with quorum7 * Last updated: Mon Nov 18 14:44:06 20248 * Last change: Mon Nov 18 14:41:35 2024 by hacluster via crmd on kesrac019 * 2 nodes configured10 * 0 resource instances configured1112Node List:13 * Online: [ kesrac01 kesrac02 ]1415Full List of Resources:16 * No resources确保两个节点的进程均已正常启动。
配置 fence、dlm 和 gfs2 资源：
1[root@kesrac01 KingbaseHA]# ./cluster_manager.sh --config_gfs2_resource2config dlm and gfs2 resource start3b8f79ae5-5d80-4596-aab8-1ecda4eaf68545config dlm and gfs2 resource success查看集群资源：
1## 注意 gfs2 一直在 Starting 状态2[root@kesrac01 KingbaseHA]# crm status3Cluster Summary:4 * Stack: corosync5 * Current DC: kesrac01 Pacemaker (Kingbase) V008R006B1108 (2.0.3.0.0 4b1f869f0f:1268c00dfa83) - partition with quorum6 * Last updated: Mon Nov 18 14:47:00 20247 * Last change: Mon Nov 18 14:44:23 2024 by root via cibadmin on kesrac018 * 2 nodes configured9 * 6 resource instances configured1011Node List:12 * Online: [ kesrac01 kesrac02 ]1314Full List of Resources:15 * fence_qdisk_0 (stonith:fence_qdisk): Started kesrac0216 * fence_qdisk_1 (stonith:fence_qdisk): Started kesrac0117 * Clone Set: clone-dlm [dlm]:18 * Started: [ kesrac01 kesrac02 ]19 * Clone Set: clone-gfs2 [gfs2]:20 * gfs2 (ocf::heartbeat:Filesystem): Starting kesrac0121 * gfs2 (ocf::heartbeat:Filesystem): Starting kesrac022223## 要等待 dlm 和 gfs2 全都启动到 Started 才算完成24[root@kesrac01 KingbaseHA]# crm status25Cluster Summary:26 * Stack: corosync27 * Current DC: kesrac01 Pacemaker (Kingbase) V008R006B1108 (2.0.3.0.0 4b1f869f0f:1268c00dfa83) - partition with quorum28 * Last updated: Mon Nov 18 14:47:38 202429 * Last change: Mon Nov 18 14:44:23 2024 by root via cibadmin on kesrac0130 * 2 nodes configured31 * 6 resource instances configured3233Node List:34 * Online: [ kesrac01 kesrac02 ]3536Full List of Resources:37 * fence_qdisk_0 (stonith:fence_qdisk): Started kesrac0238 * fence_qdisk_1 (stonith:fence_qdisk): Started kesrac0139 * Clone Set: clone-dlm [dlm]:40 * Started: [ kesrac01 kesrac02 ]41 * Clone Set: clone-gfs2 [gfs2]:42 * Started: [ kesrac01 kesrac02 ]确保集群状态正常。
创建 RAC 数据库实例，初始化数据库：
1[root@kesrac01 KingbaseHA]# ./cluster_manager.sh --init_rac2init KingbaseES RAC start3create_rac_share_dir start4create_rac_share_dir success5数据库簇将使用本地化语言 "zh_CN.utf8"进行初始化.6默认的数据库编码已经相应的设置为 "UTF8".7属于此数据库系统的文件宿主为用户 "kingbase".8此用户也必须为服务器进程的宿主.9initdb: could not find suitable text search configuration for locale "zh_CN.utf8"10缺省的文本搜索配置将会被设置到"simple"1112字符串的比较区分大小写.13禁止为数据页生成校验和.1415输入新的超级用户口令: 16再输入一遍: 1718创建目录 /sharedata/data_gfs2/kingbase/data ... 成功19正在创建子目录 ... 成功20选择动态共享内存实现 ......posix21选择默认最大联接数 (max_connections) ... 10022选择默认共享缓冲区大小 (shared_buffers) ... 128MB23选择默认时区...Asia/Shanghai24创建配置文件 ... 成功25开始设置加密设备26正在初始化加密设备...成功27正在运行自举脚本 ...成功28正在执行自举后初始化 ...成功29创建安全数据库...成功30加载安全数据库...成功31同步数据到磁盘...成功3233成功。您现在可以用下面的命令开启数据库服务器：3435 ./sys_ctl -D /sharedata/data_gfs2/kingbase/data -l 日志文件 start3637init KingbaseES RAC success推荐使用 pacemaker 管理数据库的启动和停止，这样可以获得更好的可用性。
初始化 PINGD、FIP、DB 资源：
1[root@kesrac01 KingbaseHA]# ./cluster_manager.sh --config_rac_resource2crm configure DB resource start3crm configure DB resource end查看资源配置信息：
1[root@kesrac01 KingbaseHA]# crm config show2node 1: kesrac013node 2: kesrac024primitive DB ocf:kingbase:kingbase \5 params sys_ctl="/KingbaseES/V8/Server/bin/sys_ctl" ksql="/KingbaseES/V8/Server/bin/ksql" sys_isready="/KingbaseES/V8/Server/bin/sys_isready" kb_data="/sharedata/data_gfs2/kingbase/data" kb_dba=kingbase kb_host=0.0.0.0 kb_user=system kb_port=54321 kb_db=template1 logfile="/KingbaseES/V8/Server/log/kingbase1.log" \6 op start interval=0 timeout=120 \7 op stop interval=0 timeout=120 \8 op monitor interval=9s timeout=30 on-fail=restart \9 meta failure-timeout=5min10primitive dlm ocf:pacemaker:controld \11 params daemon="/opt/KingbaseHA/dlm-dlm/sbin/dlm_controld" dlm_tool="/opt/KingbaseHA/dlm-dlm/sbin/dlm_tool" args="-s 0 -f 0" \12 op start interval=0 \13 op stop interval=0 \14 op monitor interval=60 timeout=6015primitive fence_qdisk_0 stonith:fence_qdisk \16 params qdisk_path="/dev/sdb" qdisk_fence_tool="/opt/KingbaseHA/corosync-qdevice/sbin/qdisk-fence-tool" pcmk_host_list=kesrac01 \17 op monitor interval=60s \18 meta failure-timeout=5min target-role=Started19primitive fence_qdisk_1 stonith:fence_qdisk \20 params qdisk_path="/dev/sdb" qdisk_fence_tool="/opt/KingbaseHA/corosync-qdevice/sbin/qdisk-fence-tool" pcmk_host_list=kesrac02 \21 op monitor interval=60s \22 meta failure-timeout=5min target-role=Started23primitive gfs2 Filesystem \24 params device="-o noatime -U b8f79ae5-5d80-4596-aab8-1ecda4eaf685" directory="/sharedata/data_gfs2" fstype=gfs2 \25 op start interval=0 timeout=7200 \26 op stop interval=0 timeout=60 \27 op monitor interval=30s timeout=60 OCF_CHECK_LEVEL=10 \28 meta failure-timeout=5min29clone clone-DB DB \30 meta interleave=true target-role=Started31clone clone-dlm dlm \32 meta interleave=true target-role=Started33clone clone-gfs2 gfs2 \34 meta interleave=true target-role=Started35colocation cluster-colo1 inf: clone-gfs2 clone-dlm36order cluster-order1 clone-dlm clone-gfs237order cluster-order2 clone-dlm clone-gfs2 clone-DB38location fence_qdisk_0-on-kesrac02 fence_qdisk_0 1800: kesrac0239location fence_qdisk_1-on-kesrac01 fence_qdisk_1 1800: kesrac0140property cib-bootstrap-options: \41 have-watchdog=false \42 dc-version=2.0.3.0.0-4b1f869f0f \43 cluster-infrastructure=corosync \44 cluster-name=krac \45 cluster-recheck-interval=3min \46 load-threshold="0%"查看当前数据库状态：
1[root@kesrac01 ~]# crm resource status clone-DB2resource clone-DB is running on: kesrac01 3resource clone-DB is running on: kesrac02配置完成后，尝试关闭数据库资源：
1[root@kesrac01 ~]# crm resource stop clone-DB2## 需要等待几秒后，再次查看发现数据库已经关闭3[root@kesrac01 ~]# crm resource status clone-DB4resource clone-DB is NOT running5resource clone-DB is NOT running开启数据库资源：
1[root@kesrac01 ~]# crm resource start clone-DB2## 启动成功3[root@kesrac01 ~]# crm resource status clone-DB4resource clone-DB is running on: kesrac01 5resource clone-DB is running on: kesrac02查看集群状态：
1[root@kesrac01 ~]# crm status2Cluster Summary:3 * Stack: corosync4 * Current DC: kesrac01 Pacemaker (Kingbase) V008R006B1108 (2.0.3.0.0 4b1f869f0f:1268c00dfa83) - partition with quorum5 * Last updated: Mon Nov 18 16:11:55 20246 * Last change: Mon Nov 18 16:11:35 2024 by root via cibadmin on kesrac017 * 2 nodes configured8 * 8 resource instances configured910Node List:11 * Online: [ kesrac01 kesrac02 ]1213Full List of Resources:14 * fence_qdisk_0 (stonith:fence_qdisk): Started kesrac0215 * fence_qdisk_1 (stonith:fence_qdisk): Started kesrac0116 * Clone Set: clone-dlm [dlm]:17 * Started: [ kesrac01 kesrac02 ]18 * Clone Set: clone-gfs2 [gfs2]:19 * Started: [ kesrac01 kesrac02 ]20 * Clone Set: clone-DB [DB]:21 * Started: [ kesrac01 kesrac02 ]使用 pacemaker 托管数据库是推荐的做法，这样可以获得更好的可用性。
启动停止集群需要在 root 用户下执行，使用 cluster_manager.sh 脚本。
关闭集群：
1## 在任意节点均可以执行，只会关闭当前执行节点的集群资源2[root@kesrac02 ~]# cd /opt/KingbaseHA/3[root@kesrac02 KingbaseHA]# ./cluster_manager.sh stop4Signaling Pacemaker Cluster Manager to terminate[ OK ]5Waiting for cluster services to unload..........[ OK ]6Signaling Qdisk Fenced daemon (qdisk-fenced) to terminate: [ OK ]7Waiting for qdisk-fenced services to unload:[ OK ]8Signaling Corosync Qdevice daemon (corosync-qdevice) to terminate: [ OK ]9Waiting for corosync-qdevice services to unload:.[ OK ]10Signaling Corosync Cluster Engine (corosync) to terminate: [ OK ]11Waiting for corosync services to unload:..[ OK ]此时查看当前节点集群状态：
1[root@kesrac02 KingbaseHA]# crm status23Error: cluster is not available on this node4ERROR: status: crm_mon (rc=102): 5## 查看集群各服务状态6[root@kesrac02 KingbaseHA]# ./cluster_manager.sh status7corosync is stopped8pacemakerd is stopped9corosync-qdevice is stopped10qdisk-fenced is stopped1112## 也可以分别查看各个资源状态13[root@kesrac02 KingbaseHA]# ./cluster_manager.sh --status_pacemaker14pacemakerd is stopped15[root@kesrac02 KingbaseHA]# ./cluster_manager.sh --status_corosync16corosync is stopped17[root@kesrac02 KingbaseHA]# ./cluster_manager.sh --status_qdevice18corosync-qdevice is stopped19[root@kesrac02 KingbaseHA]# ./cluster_manager.sh --status_qdisk_fenced20qdisk-fenced is stopped查看另一个节点的集群状态：
1[root@kesrac01 install]# crm status2Cluster Summary:3 * Stack: corosync4 * Current DC: kesrac01 Pacemaker (Kingbase) V008R006B1108 (2.0.3.0.0 4b1f869f0f:1268c00dfa83) - partition with quorum5 * Last updated: Mon Nov 18 16:38:57 20246 * Last change: Mon Nov 18 16:11:35 2024 by root via cibadmin on kesrac017 * 2 nodes configured8 * 8 resource instances configured910Node List:11 * Online: [ kesrac01 ]12 * OFFLINE: [ kesrac02 ]1314Full List of Resources:15 * fence_qdisk_0 (stonith:fence_qdisk): Started kesrac0116 * fence_qdisk_1 (stonith:fence_qdisk): Started kesrac0117 * Clone Set: clone-dlm [dlm]:18 * Started: [ kesrac01 ]19 * Stopped: [ kesrac02 ]20 * Clone Set: clone-gfs2 [gfs2]:21 * Started: [ kesrac01 ]22 * Stopped: [ kesrac02 ]23 * Clone Set: clone-DB [DB]:24 * Started: [ kesrac01 ]25 * Stopped: [ kesrac02 ]2627## 节点 1 的集群各服务状态正常28[root@kesrac01 install]# cd /opt/KingbaseHA/29[root@kesrac01 KingbaseHA]# ./cluster_manager.sh status30corosync (pid 43300) is running...31pacemakerd (pid 43341) is running...32corosync-qdevice (pid 43437) is running...33qdisk-fenced (pid 43379) is running...可以发现节点 2 集群已经关闭，对应的集群和数据库资源均已关闭。
启动集群：
1[root@kesrac02 KingbaseHA]# ./cluster_manager.sh start2Waiting for node failover handling:[ OK ]3Starting Corosync Cluster Engine (corosync): [WARNING]4clean qdisk fence flag start5clean qdisk fence flag success6Starting Qdisk Fenced daemon (qdisk-fenced): [ OK ]7Starting Corosync Qdevice daemon (corosync-qdevice): [ OK ]8Waiting for quorate:..................[ OK ]9Starting Pacemaker Cluster Manager[ OK ]查看集群状态：
1[root@kesrac02 KingbaseHA]# crm status2Cluster Summary:3 * Stack: corosync4 * Current DC: kesrac01 Pacemaker (Kingbase) V008R006B1108 (2.0.3.0.0 4b1f869f0f:1268c00dfa83) - partition with quorum5 * Last updated: Mon Nov 18 16:53:09 20246 * Last change: Mon Nov 18 16:11:35 2024 by root via cibadmin on kesrac017 * 2 nodes configured8 * 8 resource instances configured910Node List:11 * Online: [ kesrac01 kesrac02 ]1213Full List of Resources:14 * fence_qdisk_0 (stonith:fence_qdisk): Started kesrac0215 * fence_qdisk_1 (stonith:fence_qdisk): Started kesrac0116 * Clone Set: clone-dlm [dlm]:17 * Started: [ kesrac01 kesrac02 ]18 * Clone Set: clone-gfs2 [gfs2]:19 * Started: [ kesrac01 kesrac02 ]20 * Clone Set: clone-DB [DB]:21 * Started: [ kesrac01 kesrac02 ]集群启动成功。
访问数据库需要使用 kingbase 主机用户，（为了方便）配置 kingbase 用户环境变量：
1## 以节点一为例2[kingbase@kesrac01 ~]$ cat<<-\EOF>>/home/kingbase/.bash_profile3export KES_HOME=/KingbaseES/V8/Server4export LD_LIBRARY_PATH=$KES_HOME/lib:/lib:/usr/lib5export PATH=$KES_HOME/bin:/usr/sbin:$PATH6export PS1="[`whoami`@`hostname`:"'$PWD]$ '7alias ksystem='ksql test system'8alias ksso='ksql test sso'9EOF两个节点都需要配置，配置完成后生效环境变量：
1[kingbase@kesrac01 ~]$ source ~/.bash_profile配置好环境变量之后就可以不需要到指定路径下执行命令了。
访问 RAC 数据库：
1[kingbase@kesrac01:/home/kingbase]$ ksql -U system test -p 543212授权类型: TEST-企业版.3输入 "help" 来获取帮助信息.45## 查看数据库存储目录 data（存储在 gfs2 的共享文件系统上）6test=# show data_directory;7 data_directory 8------------------------------------9 /sharedata/data_gfs2/kingbase/data1011test=# \conninfo12以用户 "system" 的身份，通过套接字"/tmp"在端口"54321"连接到数据库 "test"13test=# create database lucifer;14CREATE DATABASE15test=# \c lucifer16您现在以用户名"system"连接到数据库"lucifer"。17lucifer=# create table test (id int,name varchar2(20));18CREATE TABLE19lucifer=# insert into test values (1,'lucifer');20INSERT 0 121lucifer=# select * from test;22 id | name 23----+---------24 1 | lucifer25(1 行记录)2627lucifer=# quit;KES RAC 是默认本地免密登录的：
1[kingbase@kesrac02:/home/kingbase]$ ksql test system2授权类型: TEST-企业版.3输入 "help" 来获取帮助信息.45test=#查看对应的配置文件 sys_hba.conf：
1[kingbase@kesrac02:/home/kingbase]$ vi /sharedata/data_gfs2/kingbase/data/sys_hba.conf23# "local" 只能用于UNIX域套接字4local all all trust数据库连接正常。
KES RAC 的部署到此结束，后续会继续分享 KES RAC 的运维管理以及数据库使用技巧，敬请期待。
如果有遗漏或者不足的地方，欢迎评论区补充或者投稿，感谢阅读！
达梦数据库安装最详细教程
一招教你学会达梦数据库的免密登录
一文讲透达梦数据库的大小写敏感
效率翻倍！达梦数据库 disql 使用技巧全攻略
达梦数据库参数配置与一键优化指南
达梦 AWR 报告快速上手指南
金仓数据库 KingbaseES V9 单机安装指南
KingbaseES KSQL 免密登录的几种方式
KingbaseES 控制文件冗余与恢复秘籍
金仓 KingbaseES RAC 入门指南
GBase 8a MPP 集群部署最佳实践
GBase 8a GDCA 认证课后练习题大全（题库） 南大通用 GBASE 8s V8.8 数据库最全安装指南 GBase 8s GDCA 认证课后练习题大全（题库）
GBase 8s 数据库巡检报告及一键巡检脚本
YashanDB 一键生成 AWR 报告
YashanDB 数据库安装部署
YashanDB 共享集群（YAC）入门指南与技术详解