PostgreSQL为源库

支持版本

数据库版本: 9.6, 10, 11, 12, 13, 14 依赖插件: decoderbufs, wal2json

数据库设置

安装插件

具体请参考： decoderbufs， wal2json

修改源库 WAL 参数

修改源库参数配置文件 postgresql.conf，参数文件位于数据库 data 目录下。

通过 psql 工具登录 PostgreSQL 数据库，查询数据目录位置：

psql -d postgres -U $USER -c 'show data_directory'

修改以上命令查询到的数据目录中的 postgresql.conf 文件

# 注意替换 <data_directory> 为实际查询到的数据目录位置
vi <data_directory>/postgresql.conf

在 postgresql.conf 中找到如下参数，并修改为对应的参数值：

1. wal_level=logical # 使用logical decoding读取预写日志
2. max_replication_slots = 4 # 最大复制槽数 (变更后重启生效)
3. wal_sender_timeout = 0s # 超时时间自定义, 0不生效
4. max_wal_senders = 8 # 最大walsender进程数 (变更后重启生效)
5. shared_preload_libraries = 'decoderbufs' # 仅decoderbufs插件配置，wal2json插件请忽略

修改源库 HBA 配置

在数据库数据目录（<data_directory>）中，找到 pg_hba.conf 配置文件，在其中添加如下配置以便允许复制。

注意： mdb_user 为复制使用的用户，实际环境中若用户名有变更，则需要实际实际情况修改。

# 注意替换 <data_directory> 为实际查询到的数据目录位置
cat >> <data_directory>/pg_hba.conf <"EOF"

# Add for MDB replication
host  replication  mdb_user   0.0.0.0/0  sha256
EOF

设置用户权限

创建 mdb_user 用户，用于登录和复制源端 PostgreSQL 数据，实际环境中用户名与密码可按实际需求自行修改。

其中：

• login 权限用于登录数据库
• replication 权限用于同步增量数据
• superuser 权限用于对象初始化和全量数据同步

create user mdb_user with superuser login replication PASSWORD 'Enmo@123';

打开表的 REPLICA IDENTITY 模式

针对需要被同步的所有表，都需要打开 REPLICA IDENTITY 模式，具体命令如下：

注意： 以下仅为命令示例，实际上需要对被同步的所有表，都设置 REPLICA IDENTITY。

ALTER TABLE public.customers REPLICA IDENTITY FULL;

开启心跳配置

发送心跳消息使连接器能够将最新检索到的LSN发送到数据库slot，从而允许数据库回收不再需要的WAL文件所使用的磁盘空间。

开启心跳需要在通道高级参数中，设置heartbeatIntervalMs为正整数，并在源节点执行以下命令。

注意： 以下仅为命令示例，表名heartbeat需与高级参数heartbeatTableName参数值保持一至。

CREATE TABLE heartbeat (ts TIMESTAMP WITH TIME ZONE);
INSERT INTO heartbeat (ts) VALUES (NOW());

数据类型映射

字符集映射