DBLOG
2、事务
2025-05-22 15:09:00    0    0    0
事务概述 事务介绍 事务原理概述 - ACID DWS 如何实现 ACID 原子性 - 事务号 原子性 - 事务提交日志（Commit Log） 隔离性/一致性 - 不一致读 隔离性/一致性 - 事务快照与可见性规则 隔离性/一致性 - 并发事务的可见性 (1) 隔离性/一致性 - 并发事务的可见性 (2) 持久性 - 重做日志（Redo Log） 持久性 - 重做日志（Redo Log）查询 分布式事务原理 分布式事务 分布式事务 - 2PC 流程 2PC 流程 - 单节点 DML 2PC 流程 - 跨节点 DML 2PC 流程 - DDL 事务概述 事务介
2、历史TopSQL解析
2025-05-22 15:09:02    1    0    0
TopSQL 概述 TopSQL 概述 (1) 将 SQL 的排队信息和运行时的信息（耗时、CPU、内存、IO、网络、空间）记录到一张系统表中，这称为 TopSQL，即作业级监控。 TopSQL 可以帮助用户实现以下功能： 确定影响数据库性能的资源最密集的 SQL 查询。 监控和跟踪 SQL 查询随时间推移的性能变化。 分析查询执行计划以确定潜在的优化。 类型与查询数据范围 级别 类型 查询数据范围 实时 视图名称 当前 CN GS_WLM_SESSION_STATISTICS 历史 全部 C
2、巡检工具及运维工具
2025-05-22 15:09:09    0    0    0
巡检工具介绍 巡检工具使用规范 巡检任务概述 序号 巡检任务 使用场景 TOP巡检项 使用规范 1 日常巡检 用于集群日常维护，获取集群的健康状态，发现潜在风险问题。 集群状态、负载均衡状态、CPU使用率、磁盘性能和使用率、日志空间大小、内存泄露、数据倾斜、透明大页、周期性备份等 每单周或双周执行一次 2 升级前巡检 用于版本升级前，提前发现可能影响升级的问题。 集群状态、文件系统占用率、磁盘可用空间、防火墙关闭、xid回滚、系统表是否损坏 升级版本前5天内执行 3 扩容前巡检 用
2、湖格式——Hudi
2025-05-22 15:09:04    0    0    0
Hudi 简介 Hudi 是一个功能丰富的存储管理平台，支持构建具有增量数据管道的流式数据湖，针对处理引擎和常规批处理进行了优化；针对数据探索、BI 场景的交互式分析能力进行了优化。 Hudi 存储结构 Hudi 表类型 1. COW（Copy On Write） 描述：写入操作时进行复制，每次写入操作都会创建新的 COW 表，并将原表覆盖。COW 表的主要优点在于可以减少内存占用和提高写入性能，适合频繁进行写入操作的场景，例如批量更新、数据批量插入等。 优点： 减少内存占用：每次操作都会创建新的 COW 表，而不是修改原表，可以
3、 基于Flink构建实时数仓
2025-05-22 15:08:58    1    0    0
Flink简介 1. 概念 2. 组件 3. 任务 4. API和库 dws-flink-connector介绍与使用 1. 概述 2. 批量读 说明 3. 维流join 说明 维表join语法 4. 攒批写 语法示例 说明 5. 丰富的写入方式 6. 攒批写入典型参数 数据写入模式说明 7. Flink Catalog 说明 实时增量读取 1. 实时增量读取的作用原理 2. Binlog数据格式 gs_binlog_event_type可能的取值： 3. 实时读取Binlog 说明 数据同步示例 增量计算示例 4. 实时读取Binlog注意事项 5.
3、 运维监控
2025-05-22 15:09:09    0    0    0
华为云Stack DWS 云服务运维架构 华为云Stack DWS 微服务组件 Controller：整个 DWS 的后台组件，负责管理和调度各个服务。 Monitor：ECF 公共组件，主要用于集群实例的状态监控以及告警/事件的上报。 Event：ECF 公共组件，负责事件/告警管理中心，支持向 SMN、OC、CTS 发送事件和告警。 ECFAgent：部署在集群节点上的代理，接收告警和事件，同时监控集群状态。 DMSAgent：部署在集群节点上的代理，负责采集数据库的资源监控信息和数据库所在节点的系统资源信息。 告警 告警配置 GaussDB
3、SQL调优
2025-05-22 15:09:02    0    0    0
调优原则 基本原则（唯一原则）：资源利用最大化原则 资源包括 CPU、内存、磁盘 IO、网络 IO。 SQL 语句应尽量高效，节省资源开销： 以最优的执行方式实现功能。 举例：查询 seqscan + filter：逐条读取并进行条件过滤。 indexscan：基于表建立索引表，可以以更小的代价实现相同的查询效果。 SQL 语句应充分利用资源： 充分利用资源，实现性能的极致。 举例：排序 在内存可控的范围内尽量保证数据不下盘，让数据在内存中排序，从而提升排序效率，保证性能的最大效益。 调优流程 静态调优 根据硬件资源和客户的业务特征确定集群部署方案和
3、元数据服务对接
2025-05-22 15:09:04    0    0    0
元数据打通——从湖仓两层架构走向湖仓一体，统一元数据共享数据 元数据打通——统一元数据，简化数据共享 什么是 HiveMetaStore HiveMetaStore 是 Apache Hive 的一个关键组件，是一个元数据存储库，用于管理 Hive/Spark 表的元数据信息。HiveMetaStore 存储了 Hive 表的结构信息，包括表名、列名、数据类型、分区信息等。它还存储了表的位置信息，即表数据存储何处。HiveMetaStore 的主要作用是提供元数据服务，使得 Hive/Spark 可以对数据进行查询和分析。它还提供了一些 API，可以让
3、数据集成工具
2025-05-22 15:09:06    0    0    0
实时同步服务简介 实时同步服务是 DWS 团队根据特性孵化出的一个简便易用、高性能的从 Kafka 同步数据到 DWS 的服务化工具。其入库时可采用 DWS 内部协议，以减少对 DWS 集群的资源消耗，同时提升入库性能。 创建实时同步服务实例 步骤1：登录 GaussDB(DWS) 管理控制台。 步骤2：在左侧导航栏中，单击“数据集成”->“实时同步管理”。 步骤3：在“实例管理”标签页，点击创建同步实例按钮。 创建时填写对应参数，然后点击立即购买，等待创建完成就会按需在后台创建好一个资源池，后续运行的作业将会从资源池中分配一定资源供作业运行。资源池统一使
3、表
2025-05-22 15:09:00    0    0    0
概念 在关系数据库中，数据库表是由一系列二维数组的集合组成。 记录：表中的每一行称为一个记录，也称为元组（tuple），由若干个字段组成。 字段：也称为域或属性，表中的每一列称为一个字段。每个字段包含两个属性：列名和数据类型。 表字段类型 基本数据类型： 数值类型 字符类型 日期时间类型 用户自定义类型： 使用 CREATE TYPE 定义。 数据类型 说明 Smallint 定长2字节整数，范围是 -32768 ~ +32767 Char(n), Nchar(n) 定长字符串，不足的部分补空格。n 是指字节长度，
3、集群备份恢复管理
2025-05-22 15:09:07    0    0    0
快照概述 快照是对 GaussDB(DWS) 集群在某一时间点进行的全量数据和增量数据的备份。它记录了当前数据库的数据以及集群的相关信息，包括节点数量、节点规格和管理员用户名称等。快照的创建方式包括手动创建和自动创建。 备份存储：创建的快照文件会存储到指定的备份介质中，华为云支持的备份介质包括 OBS（Object Storage Service）和 SFS（Scalable File Service）。 免费空间：GaussDB(DWS) 提供免费的快照存储空间，免费容量等于集群的存储空间。当快照数据存储空间超过免费空间时，超出部分将按照 OBS 的计费规则进行收费。
3、集群部署
2025-05-22 15:08:50    1    0    0
DWS部署形态-组件介绍 DWS部署形态-组件分布 DWS部署形态-安全环 DWS组网形态 # # #