3、数据集成工具

# 实时同步服务简介

实时同步服务是 DWS 团队根据特性孵化出的一个简便易用、高性能的从 Kafka 同步数据到 DWS 的服务化工具。其入库时可采用 DWS 内部协议，以减少对 DWS 集群的资源消耗，同时提升入库性能。

---

# 创建实时同步服务实例

1. **步骤1**：登录 GaussDB(DWS) 管理控制台。
2. **步骤2**：在左侧导航栏中，单击“数据集成”->“实时同步管理”。
3. **步骤3**：在“实例管理”标签页，点击创建同步实例按钮。

![创建实例图](/api/file/getImage?fileId=682d9a152cbdfd19ee00073a)

创建时填写对应参数，然后点击立即购买，等待创建完成就会按需在后台创建好一个资源池，后续运行的作业将会从资源池中分配一定资源供作业运行。资源池统一使用 CU 分配资源，规格中的 CPU 数量即为 CU 数量，内存不可直接控制，会按照 CPU 内存比按比例分配。例如，创建的实例规格为 4U16GB，选择了 3 节点，那么总资源 = 4CU * 3 = 12CU，每 CU 内存大小 4GB。

### 参数说明

- **名称**：用于业务区分，满足填写规则即可。
- **规格**：选择实例使用的物理资源单节点规格。
- **节点数量**：实例一共使用多少节点，实例总资源 = 规格 * 节点数量，节点最低 3 个。
- **企业项目**：当前实例所绑定的企业项目。
- **描述**：无实际含义，可用于业务自身说明。
- **虚拟私有云**：当前实例所使用的 VPC，需要和 DWS、Kafka 所在 VPC 一致才能联通。
- **子网**：当前实例所在子网，建议与 DWS 一致。
- **安全组**：实例对应安全组，需要能访问 DWS 集群以及访问 Kafka。

---

# 实时同步服务连接配置

## 实时同步服务 - 连接配置

连接配置用于配置 Kafka、DWS 的连接信息，一份配置所有作业均可使用，以便于后面在提交作业时可以直接使用，不用每个作业都配置一份。

1. **步骤1**：登录 GaussDB(DWS) 管理控制台。
2. **步骤2**：在左侧导航栏中，单击“数据集成”->“实时同步管理”。
3. **步骤3**：在“连接管理”标签页，点击新建连接按钮。

![连接配置图](/api/file/getImage?fileId=682d9a542cbdfd19ee00073b)

## 实时同步服务 - 连接配置

![连接配置详情图](/api/file/getImage?fileId=682d9a662cbdfd19ee00073c)

---

# 实时同步服务作业开发

## 实时同步服务 - 作业开发

可以通过新建作业实现从 Kafka 获取数据写入 DWS 数据库，并且可以对数据做简单的加工、清洗、过滤。

![作业开发图1](/api/file/getImage?fileId=682d9aa12cbdfd19ee00073d)

![作业开发图2](/api/file/getImage?fileId=682d9ab82cbdfd19ee00073f)

![作业开发图3](/api/file/getImage?fileId=682d9ad12cbdfd19ee000740)

![作业开发图4](/api/file/getImage?fileId=682d9ae12cbdfd19ee000741)

![作业开发图5](/api/file/getImage?fileId=682d9af12cbdfd19ee000742)

![作业开发图6](/api/file/getImage?fileId=682d9b032cbdfd19ee000743)

![作业开发图7](/api/file/getImage?fileId=682d9b172cbdfd19ee000745)

![作业开发图8](/api/file/getImage?fileId=682d9b2c2cbdfd19ee000747)

![作业开发图9](/api/file/getImage?fileId=682d9b3e2cbdfd19ee000749)

![作业开发图10](/api/file/getImage?fileId=682d9b4d2cbdfd19ee00074a)

DBLOG

导航1234

最近发表

友情链接