DBLOG
» WTF
Toggle navigation
DBLOG
主页
OCM
1、概览
2、数据导入导出
3、GaussDB(DWS)数据库管理
4、数据库调优与开发实践
5、湖仓一体
6、开发应用
7、集群管理
8、巡检和维运维
About Me
归档
标签
4、SQL调优开发实践
2025-05-22 15:09:02
0
0
0
案例一:建立分区 案例二:选择合适的分布列 案例二:选择合适的分布列
4、业务应急
2025-05-22 15:09:09
0
0
0
常见故障场景和应急手段 故障场景 应急手段 整体性能慢 通过应急“三板斧”,快速恢复集群性能 CPU 使用率高 找到 CPU 占用高的语句,对相关业务进行应急查杀或资源限制,事后进行 SQL 优化 IO 使用率高 找到 IO 占用高的语句,对相关业务进行应急查杀,事后进行 SQL 优化 内存报错 找到内存占用高的语句,对相关业务进行应急查杀或资源限制 锁冲突报错 找到持锁语句,应急查杀并将锁冲突业务错峰执行 集群只读 找到空间占用高的表或语句,清理空间 整体性能慢 数据库系统的性能管理在
4、分区表
2025-05-22 15:09:00
0
0
0
分区管理概述 – 分区表优势 分区表和普通表相比,有以下优势: 改善查询性能:对分区对象的查询可以仅搜索自己关心的分区,提高检索效率。 增强可用性:如果分区表的某个分区出现故障,表在其他分区的数据仍然可用。 方便维护:如果分区表的某个分区出现故障,只需修复该分区即可。 均衡 I/O:可以将不同的分区映射到不同的磁盘,从而平衡 I/O,改善整个系统性能。 分区管理概述 – 分区策略选择依据 分区策略选择依据: 数据具有明显区间性的字段:分区表需要根据有明显区间性字段进行表分区,例如按照日期、区域、数值等字段进行分区,时间字段是最常见的分区字段。 业务查询有明显的区间
4、数据调度工具
2025-05-22 15:09:06
0
0
0
调度功能介绍 Airflow 基础介绍 (1) 什么是 Airflow? Apache Airflow 是一个开源平台,用于开发、调度和监控面向批处理的工作流程。Airflow 的创建是一个可扩展的 Python 框架,主要特点是所有工作流都用 Python 代码定义,此特点有如下几个优点: 动态:Airflow 管道配置为 Python 代码,允许动态管道生成。 可扩展:Airflow 框架包含可连接多种技术的运算符,所有 Airflow 组件都可扩展,易于适应运行环境。 灵活:利用 Jinja 模板引擎内置工作流参数化。 Airflow 基础介绍 (
4、集群容灾管理
2025-05-22 15:09:07
0
0
0
集群容灾 容灾概述 容灾(灾难恢复)是一个广泛的概念,旨在提供一个能够防止用户业务系统遭受各种灾难影响的计算机系统。容灾的主要目的是在自然或人为原因导致生产系统发生灾难时,尽可能保证业务的连续性。 广义容灾:包含所有与业务连续性相关的内容。 狭义容灾:建立两套或多套功能相同的 IT 系统,互相之间可以进行健康状态监视和功能切换。主要站点因意外(如火灾、地震等)停止工作时,整个应用系统可以利用辅助站点快速恢复并继续工作。 容灾和备份的区别 灾难类型: 容灾主要针对重大自然灾害,如火灾、地震等,生产站点和容灾站点之间必须保证一定的安全距离。 备份主要针对人
4、集群配置介绍
2025-05-22 15:08:50
0
0
0
DWS集群资源分配流程 集群内存使用 多租户 资源池的建立
5、索引
2025-05-22 15:09:00
0
0
0
概念 索引的分类 - 数据组织方式分类 索引的分类 - 索引方式分类 索引的分类 - 基表类型分类 索引修改与删除 重建索引 索引的使用 索引的利与弊 概念 索引类似书籍的目录,通过目录中的关键字信息,找到书中对应的信息页。索引可以减少搜索元组的时间,提升数据的访问速度。没有索引时,只能遍历表中所有的元组,效率较低。 使用索引会增加插入、更新和删除操作的处理时间,因为这些操作需要同步更新索引信息。 索引需要额外的存储空间。创建过多索引可能对数据库性能产生负面影响。 索引的分类 - 数据组织方式分类 按数据组织方式分类: Btree索引: 使用
5、集群弹性伸缩管理
2025-05-22 15:09:07
0
0
0
节点扩容 随着用户集群容量和性能需求的变化,用户可以在管理控制台通过扩容来调整已有集群的大小。建议在集群磁盘容量使用超过 70% 时进行扩容,以便充分利用 GaussDB(DWS) 提供的计算资源和存储资源。 在扩容配置页面,用户需要填写“扩容到”的节点数量,并根据需要在高级自定义配置中选择是否使用在线扩容。用户还可以选择重分布模式,默认配置将不使用在线扩容,并在扩容后自动进行离线重分布。 如果使用在线扩容,默认将在扩容之后进行在线重分布操作。 在线扩容及在线重分布相比离线模式对业务影响较小。在在线重分布期间,用户可以对表执行插入、更新、删除等操作,但重分布过程仍然
6、视图
2025-05-22 15:09:00
0
0
0
[] 视图简介 视图是一个虚拟的表。数据库中仅存放视图的定义,而不存放视图对应的数据。这些数据仍存放在原来的基本表中,因此若基本表中的数据发生变化,从视图中查询出的数据也随之改变。 视图与基本表不同,不是物理上实际存在的,而是一个虚表。 视图管理 创建视图: CREATE VIEW:创建一个未存在的视图。 CREATE OR REPLACE VIEW:如果同名视图已存在,则将替换该视图,否则新建一个视图。 CREATE TEMP VIEW:创建一个临时视图,该视图随着会话退出而消失。 更改视图: ALTER VIEW:修改视图名称、列的默认值、所有
6、集群资源管理
2025-05-22 15:09:07
0
0
0
资源管理原理 为了解决用户资源隔离问题,并实现业务优先级的管理,以避免复杂业务阻塞资源,引入了资源池的概念。每个资源池指定可以使用的 CPU、内存、磁盘等资源大小,然后将用户与资源池关联,用户在使用时只能使用该资源池内可以使用的资源,以达到资源限制的目的。 资源管理 - 创建资源池 用户可以对资源池进行创建、删除和修改(配置、异常规则、关联用户)等操作。资源池的参数表明了对该资源池的限制,主要包括 CPU 的配额和限额两个维度。 配额:当多个资源池同时在一个 CPU 上执行时,各自使用时间的比例。 限额:限定该资源池可以运行的 CPU 数量。
7、Sequence
2025-05-22 15:09:00
0
0
0
[T] Sequence 介绍 Sequence 是一种自增整数序列,主要用于生成唯一标识符。其值按照一定规则自增,具有唯一标识性,因此在数据库中常常被用作主键。 Sequence 使用方法 创建 Sequence CREATE SEQUENCE 语句的语法格式 CREATE SEQUENCE name[ INCREMENT [ BY ] increment ][ MINVALUE minvalue | NO MINVALUE | NOMINVALUE ][ MAXVALUE maxvalue | NO MAXVALUE | NOMAXVALU
7、智能运维
2025-05-22 15:09:07
0
0
0
智能运维概述 智能运维是 GaussDB(DWS) 的常驻运维工具,旨在帮助用户智能地执行运维任务。其主要特点包括: 智能任务调度:智能运维会根据集群负载情况选择合理的时间窗和并发度来完成用户指定的任务。这意味着运维任务的执行会在业务负载较低的时段进行,从而减少对业务的影响。 动态调整:在运维任务执行过程中,智能运维会实时关注用户业务的变化,及时调整运维任务的执行策略,确保业务的连续性和稳定性。 任务支持:用户可以创建周期型和单次型运维任务,执行时间窗可以根据不同用户的业务负载进行定制。 高可用性:智能运维具备一定的高可用性。在集群出现异常的情况下,智能运维将会重新执行失败的运维
上一页
3/5
下一页