MTK Limit

Limit

并发配置

Appears in:

• Config.limit

示例:

Limit Example

{
  "parallel": 2,
  "fetchSize": 1000,
  "batchSize": 1000,
  "bufferSize": 8,
  "cpBufferSize": 8,
  "oracleSelectParallel": 2,
  "channelCacheNum": 2000,
  "limit": 0,
  "splitTabSize": 5120,
  "splitTabMethod": "",
  "splitTabTaskNum": 0,
  "splitTabSamplePercentage": 0.1
}

parallel

类型: int

描述: 并行度.

迁移数据时执行数据加载的作业(线程)数目.

默认值: 1

fetchSize

类型: int

描述: 指定一次行提取行数大小.

有效值为 1-50000

支持 Oracle.

默认值: 1000

batchSize

类型: int

描述: 指定批量插入或Copy条数大小并进行Commit.

2.3.4 之后版本开始支持批量Commit. 之前版本只是批量与数据交互不进行提交

如果提交失败程序会推出并记录错误数据到错误文件.

如果配置igErrorData程序不会退出会记录错误数据到错误文件并继续处理数据.

有效值为 1-50000

支持Oracle、PostgreSQL、openGauss、MySQL.

批量提交支持 PostgreSQL/MogDB,MySQL。

默认值: 1000

bufferSize

类型: int

描述: 指定查询或者批量插入时缓存大小(以MB为单位).

有效值为1-1024

支持PostgreSQL、openGauss、MySQL.

默认值: 8

cpBufferSize

类型: int

描述: 定义Copy命令中使用的缓存大小(以MB为单位).

有效值为1-1024

支持 PostgreSQL、openGauss、MySQL。

默认值: 8

oracleSelectParallel

类型: int

描述: Oracle查询语句中增加 hint /* +parallel(t,n) */. 请慎重配置,需要考虑Oracle数据库的性能.

limit

类型: int64

描述: 定义每张表迁移多少行. 定义此参数不再进行表并发迁移.

scn

类型: string

描述: 一致性导出事务一致点. v2.7.3之前为 oraScn

示例:

Oracle AS OF SCN Example

{
  "scn": "41393786"
}

Oracle AS OF Timestamp Example

{
  "scn": "TO_TIMESTAMP('2021-12-01 00:00:00', 'YYYY-MM-DD HH:MI:SS')"
}

新增于: v2.8.0

splitTabSize

类型: int64

描述: 配置当单个表/单个分区大于此值后进行任务拆分并发执行

默认值: 5120

新增于: v2.9.3

splitTabMethod

类型: string

描述: 配置拆分单表/单分区并发查询的方法。拆分方法和数据库类型相关

• Oracle
  • Auto : Select * from schema.table sample [0.000001,100)
  • ora_hash

可选值:

• auto
• ora_hash
• mod
• rowid

新增于: v2.9.3

splitTabTaskNum

类型: int

描述: 配置单个表/单个分区拆分多少个任务执行

新增于: v2.9.3

splitTabSamplePercentage

类型: float64

描述: 采样百分比.

Oracle : Select * from schema.table sample [0.000001,100)

默认值: 0.1

新增于: v2.9.3