FYF
» HerBert
Toggle navigation
FYF
主页
1、用户
2、各种方案
3、备份恢复
4、表空间相关
5、OGG
6、文件管理
7、常见故障分析
8、DG
9、集群相关
HCCDP
实验题
About Me
归档
标签
1、GaussDB 软件体系架构概览
无
2025-10-04 22:43:03
25
0
0
admin
# GaussDB 数据库考试重点笔记 --- ## 一、概述与定位 ### 产品定位 * 华为自研的新一代企业级关系型数据库 * 支持 **SQL2003 标准** * 兼容 **x86 / 鲲鹏** 架构 * 支持 **高并发事务处理 + 强一致性** * 适用于 **金融、电信、政府核心系统** ### 核心优势 | 能力 | 关键特性 | | --- | ----------------------------- | | 高可用 | 同城双活 / 异地容灾,RPO=0,RTO<60s | | 高性能 | 自研 Ustore 引擎(In-place Update) | | 高安全 | CC EAL4+ 认证,全密态、防篡改 | | 高智能 | AI-Native,智能索引推荐、智能诊断 | | 高兼容 | 一站式迁移工具 DRS + UGO | | 高弹性 | 云化原生分布式架构,支持秒级扩容 | --- ## 二、系统架构 ### 集中式系统角色 | 组件 | 功能 | | ---- | ------------------------------ | | OM | 运维管理模块(Operation Manager) | | CM | 集群管理模块(Cluster Manager),主备切换控制 | | DN | 数据节点(Data Node),存储数据、执行查询 | | ETCD | 一致性组件,用于共享配置和服务发现 | ### 分布式系统角色 | 组件 | 功能 | | ------- | ----------------------------------- | | CN | 协调节点(Coordinator Node),接收SQL、调度任务 | | DN | 数据节点(Data Node),执行数据操作 | | GTM | 全局事务管理器(Global Transaction Manager) | | ETCD | 分布式键值存储,服务注册和发现 | | CM / OM | 集群管理、监控与主备切换 | --- ## 三、数据分布方式 | 类型 | 描述 | | ----------- | ----------- | | Replication | 每个DN保存全量表数据 | | Hash | 按哈希分布到不同DN | | List | 按指定值分布 | | Range | 按区间范围分布 | ### SQL 示例 ```sql CREATE TABLE sales_fact( region_id INTEGER, depart_id INTEGER, product_id INTEGER, sale_amt NUMERIC(9,2), sale_qty INTEGER ) DISTRIBUTE BY HASH(region_id, depart_id, product_id); ``` --- ## 四、部署形态 | 部署形态 | 场景 | 核心指标 | | ------- | ------------ | ---------------- | | 单机 | 测试或低可靠环境 | 低成本 | | 主备 | 1+1 或 1+2 热备 | RPO=0,RTO<60s | | 分布式 | 大规模业务扩展 | 准线性扩展 | | 两地三中心 | 同城双活 + 异地容灾 | RPO≤10s,RTO≤120s | | 同城三AZ多活 | 三活部署 | RPO=0,RTO<60s | --- ## 五、SQL 引擎 ### SQL 执行流程 1. **词法分析(Lexical)**:识别关键字、标识符 2. **语法分析(Syntax)**:生成 Parse Tree 3. **语义分析(Semantic)**:生成 Query Tree ### 查询优化 * 目标:以最低代价获得最优执行计划 * 关键步骤: * 收集统计信息(n_distinct、MCV、直方图) * 行数估算(Row Estimation) * 代价估算(Cost Estimation) * 路径搜索(动态规划 / 遗传算法) * 执行计划生成(PlanTree) ### 分布式执行流 * CN 生成并下发执行计划 * 三种数据流: * Broadcast 流 * Aggregation 流 * Redistribution 流 --- ## 六、执行引擎 ### 执行算子类型 | 类别 | 功能 | 示例 | | ---- | ----- | --------------------------- | | 扫描算子 | 读取数据 | SeqScan、IndexScan | | 控制算子 | 控制流程 | Limit、Union | | 物化算子 | 缓存结果 | Sort、Agg | | 连接算子 | 实现表关联 | HashJoin、MergeJoin、NestLoop | --- ## 七、存储引擎 ### 架构与特性 * 由日志系统、事务系统、索引系统、主备复制系统组成 * 行存引擎类型: * **Astore**:Append Update * **Ustore**:In-place Update(原地更新) ### 对象层级 Database → Schema → Tablespace → Table ### 索引类型 * 单列索引、多列索引 * 全文索引、函数索引 * 分区索引、全局二级索引 --- ## 八、日志与复制机制 ### WAL(Write Ahead Log) * **no-force-at-commit** 策略 * 保证宕机可恢复 * 主备同步与PITR关键组件 ### 主备复制流程 1. 主机:WAL → flush → WalSender 发送 2. 备机:WalReceiver → 写盘 → replay 3. 支持同步 / 异步模式 ### 逻辑复制 * 支持 DML / DDL * 解析 XLOG 生成逻辑日志 * 支持跨数据库与异构同步 --- ## 九、事务与一致性 ### GTM-Lite 全局事务 * 提供全局一致性事务 * 核心机制:**CSN(Commit Sequence Number)** * 特点: * 无锁并发 * 分布式强一致 * 无中心节点瓶颈 --- ## 十、运维与安全 ### 在线扩容(Scale-out) * 支持 1000+ 节点线性扩展 * 阶段: 1. 加节点 2. 数据重分布(在线不中断) ### 备份与恢复 * 支持全量 + 增量备份、PITR * 介质:NAS、OBS、第三方存储 * 支持闪回查询 / 表 / Drop / Truncate #### 参数示例 * 全量备份:每周一次 * 增量备份:每15分钟一次 * 保留时间:3个月 ### 在线升级类型 | 类型 | 中断时间 | 用途 | | ---- | ---- | ----- | | 就地升级 | 30分钟 | 大版本更新 | | 灰度升级 | <10秒 | 小版本更新 | | 滚动升级 | <10秒 | 分区级升级 | | 热补丁 | 无 | 紧急修复 | ### 全密态数据库 * 密钥仅在用户侧保存 * 数据全程密文传输、存储、查询 --- ## 十一、智能运维平台 ### 核心功能 * 统一管理:实例、参数、备份、容灾 * 智能运维:慢SQL诊断、索引推荐、趋势预测、SQL限流 * 全链路监控与多指标分析 ### 监控与告警 * 监控项:CPU、IO、锁、事务、会话 * 告警类型: * 实例告警(RPO异常、备份失败) * 系统告警(CPU高、服务异常) * 支持协议:Syslog、SNMP ### WDR报告(Workload Diagnosis Report) * 提供性能体检报告 * 关键内容: * 事务统计、读写IO、等待事件Top10 * CPU/内存占比、WAL写入次数 --- ## 十二、考试题示例 **题目:** 在GaussDB的分布式架构中,哪个组件用于共享配置和服务发现? **答案:** ETCD --- ## 十三、常见缩略语 | 缩写 | 含义 | | ---- | -------------------------- | | SQL | Structured Query Language | | DBMS | Database Management System | | OBS | Object Storage Service | | RTO | Recovery Time Objective | | RPO | Recovery Point Objective | | ODBC | Open Database Connectivity | | JDBC | Java Database Connectivity | --- # GaussDB 易错与高频考点速记表 | 分类 | 高频考点 | 易错点提示 | | ----- | ----------------- | --------------------------------- | | 架构 | CN、DN、GTM、ETCD 功能 | 混淆 CN 与 DN 职责 | | 存储 | Astore vs Ustore | Astore 追加更新、Ustore 原地更新 | | 日志 | WAL机制 | 记住 no-force-at-commit 策略 | | 主备 | WAL复制机制 | 主:flush + send,备:receive + replay | | 分布 | Hash/List/Range | Hash最常用;Replication保存全量数据 | | SQL引擎 | 优化流程 | “统计→估算→代价→搜索→计划” 顺序 | | 事务 | GTM-Lite | 关键字:CSN、无锁、多版本 | | 安全 | 全密态数据库 | 密钥仅用户持有,服务端不可见 | | 运维 | 在线升级 | 热补丁无中断,滚动升级<10s | | 运维 | 备份策略 | 增量15分钟,全量每周,保留3个月 | | WDR报告 | 报告内容 | 事务数、等待事件Top10、IO、CPU占比 | --- ## 记忆口诀(建议考试背诵) * **组件职责口诀:** CN调度,DN存储,GTM事务,ETCD发现,CM切换,OM运维。 * **优化步骤口诀:** 统信(统计信息) → 估行(行数估算) → 算价(代价估算) → 搜路(路径搜索) → 出计(生成计划)。 * **备份策略口诀:** 周全量、15分增、三月留、灾可复。 * **安全重点口诀:** 密钥用户持,服务端不知,全程密文行。
上一篇:
1、GaussDB 常用管理操作整理
下一篇:
1、NBU证书过期处理
0
赞
25 人读过
新浪微博
微信
腾讯微博
QQ空间
人人网