DBLOG
2、应用场景
2025-05-22 15:08:50    0    0    0
DWS解决方案全景图 GaussDB(DWS)新一代数仓 XX电力：实时数据分析赋能工业物联网数字新基建
1、 DWS外部表
2025-05-22 15:08:58    1    0    0
外部表 创建DWS外表的语法与普通表相比，需要额外指定server和option选项。（1）server是一个数据库对象，可通过create server语法创建，它存储了数据源的访问或认证信息，告诉外表如何找到目标数据。语法CREATE SERVER server_name foreign data wrapper fdw_name OPTIONS ( { option_name ' value ' } [, ...] ) ;外部服务器是存储HDFS集群信息、OBS服务器信息、DLI连接信息或其他同构集群信息的载体。默认只有系统管理员才可以创建外部服务器，否则需要对所使用的FORE
1、 存储引擎
2025-05-22 15:09:00    0    0    0
存储引擎概述 图中展示了存储引擎在数据库中1. SQL语句从客户端发到SQL引擎后，首先进行语法分析，然后经过优化器优化生成一个执行计划。2.接下来执行器与存储引擎进行交互，GaussDB(DWS)的存储引擎支持行存和列存（普通列存表和HStore/HstoreOPT），并分别提供了存储访问接口，组织与管理数据的存储。 行存储–page结构 行存表的page页面包括页头(page header)、空闲空间（free space）、数据(heap tuple)下图展示了表文件page页头各个字段的存储信息：tuple：一行数据为一个tuple空闲空间：行指针的末尾与最
1、DWS驱动介绍及ODBC/JDBC开发
2025-05-22 15:09:06    0    0    0
DWS 驱动介绍 驱动概念介绍 数据库驱动是应用程序和数据库存储之间的一种接口，数据库厂商为了某一种开发语言环境（比如 C、Java 等）能够实现数据库调用而开发的类似翻译员功能的程序，将复杂的数据库操作与通信抽象成为了当前开发语言的访问接口。DWS 支持 JDBC、ODBC 等数据库驱动。 GaussDB(DWS) 驱动获取 登录 GaussDB(DWS) 管理控制台。 在左侧导航栏中，单击“连接管理”。 在“下载驱动程序”区域，选择一个驱动下载。 驱动类别 JDBC 驱动：选择“DWS JDBC Driver”，然后单击“下载
1、SQL执行计划解析
2025-05-22 15:09:02    0    0    0
Explain 执行 EXPLAIN VERBOSE 命令可以收集 SQL 语句（如 SELECT/UPDATE/INSERT/DELETE/MERGE INTO/CREATE TABLE AS）的详细计划信息（语句不会真正执行）。 EXPLAIN VERBOSESELECT sum(l_extendedprice * (1 - l_discount)) AS revenueFROM ordersINNER JOIN lineitem ON l_orderkey = o_orderkeyWHERE o_orderdate >= '1994-01-01'::date A
1、各种架构
2025-05-22 15:08:50    0    0    0
逻辑架构 业务流程架构 全对称分布式架构 全并行架构 分布式优化技术 高性能：行列混合引擎 高扩展：逻辑集群，支持多业务统一管理和隔离 高扩展：异构扩展，实现冷数据低成本管理 高可用：主备从机制HA技术 高可用：多租户资源管理 高可用：构筑可信的安全体系 高可用：提供多层
1、基本运维动作
2025-05-22 15:09:09    0    0    0
常用运维命令 常用运维命令 - 查看集群状态 查询集群状态或单个主机的状态使用以下命令： 运维命令: cm_ctlquery -Cv 参数说明： -v：显示集群详细状态。 -C：按主备关系成对显示集群状态，需与-v参数一起使用。 -d：显示实例数据目录，需与-v和-C参数一起使用。 -x：显示集群所有异常实例，需与-v和-C参数一起使用。 -p：显示集群所有 CN、DN 端口，但不包含从备、CCN，需与-v和-C参数一起使用。 集群可能的状态包括： - Normal：表示集群可用，主备关系正常。 - Degraded：表示集群可用，但数据没有冗余备
1、湖仓融合介绍
2025-05-22 15:09:04    0    0    0
什么是数据湖 数据湖理解 云厂商：基于对象存储（如 S3、OSS、OBS 等）构建数据底座，实现统一存储。 大数据互联网：以数据湖三剑客为主——Iceberg、Hudi、Delta Lake。它们支持比 Hive 更高层的 Upsert、Delete、事务操作等高级特性，能基于 Hive 进行升级，解决准实时性的问题。 传统用户：主要以 Hadoop 集群为基础，支持所有结构化、半结构化和无结构化的数据存储。 数据湖的优势 更低的存储成本，更高的可靠性： 使用对象存储相比于本地磁盘、SSD 存储或云盘存储，大幅降低存储成本。 通过编码技术降低副本数据量，同时保
1、集群创建与删除
2025-05-22 15:09:07    1    0    0
集群创建 (1) 在创建集群时，用户需选择以下内容： 产品类型：选择所需的产品类型。 CPU 架构：选择相应的 CPU 架构。 节点规格：根据业务需求选择合适的节点规格。 节点存储容量：指定每个节点的存储容量。 节点数量：设置需要的节点数量。 接下来，用户需要填写集群参数，包括集群名称、管理员用户名和密码，以及数据库端口号。 随后，填写网络参数，选择虚拟私有云、子网和安全组，以及是否需要购买公网访问。 最后，按需填写自定义高级配置，包括快照策略、CN 数量、参数模板和集群标签等。 增删 CN 当用户的集群创建后，实际需要的 CN 数
2.、集群监控管理
2025-05-22 15:09:07    0    0    0
监控系统 节点监控 (1) 性能监控 实时查询节点的资源使用情况提供了关于当前 GaussDB(DWS) 中所有节点的详细信息，包括： 概览：提供节点资源使用的整体视图。 资源池监控： CPU 使用率 内存使用率 数据盘的平均资源使用率 磁盘 IO TCP 协议重传率 网络 IO 磁盘分页：提供细粒度的磁盘使用情况，显示各个磁盘及其对应功能（数据盘、日志盘、系统盘）。 磁盘容量 读速率 写速率 磁盘 IO 等待时间 磁盘 IO 服务时间 磁盘 IOPS 指标 网络分页：显示节点网卡的详细信息，包括名称、网卡状态、接收丢包数、接收速率和发送速率。 节点所有页面都可以
2、GDS
2025-05-22 15:08:58    1    0    0
1. GDS工具适用场景 GDS是GaussDB(DWS)提供的一个数据导入导出工具，可在支持多种场景下的数据迁移业务，如异型数据库之间、两个集群之间等。主要使用场景包括： 大数据量表以文本数据作为来源导入 大数据量表的导出 数据迁移，同构异构集群数据迁移 2. GDS工具原理 GDS（Gauss Data Service）数据服务位于数据库系统外部，通过网络与系统相连。数据服务器上部署GDS管理源数据，提供数据服务功能，分发数据文件给DataNode。各DataNode并行收到数据分片，进行数据的入库。数据导出流程刚好反过来。GDS支持导入和导出的文件格式有c
2、SQL编辑器
2025-05-22 15:09:06    0    0    0
数据源管理 IAM 用户登录 (1) 用户可以直接用 IAM 账号登录集群数据库，免去填写账号和密码的操作。 自定义数据源登录： 提供集群列表树，展示当前用户拥有的所有集群，用户可以选择某一集群直接双击打开。 当前连接使用用户的 IAM 账号，登录后可以对账号进行权限赋权。 登录后，用户可以对集群数据库进行开发和运维等操作。 限制： 使用 IAM 账号登录需要具备 DWS Database Access 角色权限，且当前用户必须是子账号。 集群版本要求高于 8.3.1.330，具体版本可以参考用户手册。 IAM 用户登录 (2)