3、元数据服务对接

# 元数据打通——从湖仓两层架构走向湖仓一体，统一元数据共享数据

![元数据打通图1](/api/file/getImage?fileId=682d8d872cbdfd19ee000703)

---

# 元数据打通——统一元数据，简化数据共享

![元数据打通图2](/api/file/getImage?fileId=682d8dad2cbdfd19ee000705)

---

# 什么是 HiveMetaStore

HiveMetaStore 是 Apache Hive 的一个关键组件，是一个元数据存储库，用于管理 Hive/Spark 表的元数据信息。HiveMetaStore 存储了 Hive 表的结构信息，包括表名、列名、数据类型、分区信息等。它还存储了表的位置信息，即表数据存储何处。HiveMetaStore 的主要作用是提供元数据服务，使得 Hive/Spark 可以对数据进行查询和分析。它还提供了一些 API，可以让开发人员通过编程方式访问表的元数据。总之，HiveMetaStore 是 Hive 的一个重要组件，它提供了元数据管理和查询服务。

---

# External Schema

External Schema 即外部模式，GaussDB(DWS) 通过创建 External Schema 来对接 HiveMetaStore 服务，每次查询主动获取 Hive/Spark 表对象的元数据，无需 GaussDB(DWS) 内核通过 create foreign table 获取 Hive/Spark 表的元数据。

### External Schema 与 Schema 的区别

1. **连接**：External Schema 主要用于与 HiveMetaStore 建立连接，获取表对象元数据；在创建 External Schema 时需要指定连接所需的各个属性值。
2. **记录存储**：普通 Schema 在创建后会将 schema的信息记录在 `pg_namespace` 中，External Schema 创建后和普通 Schema 一样也会记录在 `pg_namespace`，可以通过 `pg_namespace` 中的 `nsptype` 字段区分是 External Schema 还是普通 Schema。除了存储在 `pg_namespace` 中的相关信息外，External Schema 连接相关的配置信息都会记录在 `pg_external_namespace` 中。
3. **对象创建**：External Schema 下不支持创建表对象。对象的创建是在 Hive 或者 Spark 中进行的，External Schema 仅用于执行 DML 操作。

![External Schema 图](/api/file/getImage?fileId=682d8df22cbdfd19ee000707)

---

# 元数据访问流程

1. 创建 Server，External Schema，执行 SQL 查询。
2. 语法解析：语法解析层主要负责进行解析。
3. 连接 HMS 进行元数据查询。
4. 从 HMS 查询元数据信息。
5. 从 HMS 读取数据，主要包括列信息、分区信息、分区键信息、分隔符信息等。
6. 数据查询（针对 SELECT）：从 DFS 存储中获取统计信息文件个数和文件大小，为计划生成提供依据。
7. 查询重写、查询优化、查询执行。
8. 查询下发：将元数据随计划下发给 DN，DN 收到计划后，会将元数据进行解码并插入到 SysCache 中。
9. 查询执行：DN 访问 OBS 对应文件，执行查询。

![元数据访问流程图](/api/file/getImage?fileId=682d8e102cbdfd19ee000708)

---

# 元数据打通——(1) Lakeformation 使用指导

### 创建 Lakeformation 数据源

**前提条件**：
1. 有可用的 LakeFormation 实例且已对接 MRS/DLI 服务；
2. 创建包含 LakeFormation 权限的委托（需包含最小权限）。

**步骤**：
1. 在 GaussDB(DWS) 管理控制台，单击“集群管理”。
2. 在集群列表中，单击指定集群的名称，然后选择“数据源->Lakeformation 数据源”。

![Lakeformation 使用指导图1](/api/file/getImage?fileId=682d8e2a2cbdfd19ee00070a)

---

# 元数据打通——(2) Lakeformation 使用指导

![Lakeformation 使用指导图2](/api/file/getImage?fileId=682d8e4e2cbdfd19ee00070d)

---

# 元数据打通——(3) Lakeformation 使用指导

### 创建 External Schema

通过创建 External Schema 来访问存储在 Lakeformation 服务中 MRS 服务表的元数据，进而访问存储在 OBS 上的表数据。

![Lakeformation 使用指导图3](/api/file/getImage?fileId=682d8e722cbdfd19ee00070e)

### 查询示例

```sql
SELECT ex_lf.test;
```

其中 `ex_lf` 为前面创建的 External Schema 的名称，`test` 为想要访问的 Lakeformation 服务的表。该表已经在角色授权中对当前用户授予此表对应的 SELECT 权限。

DBLOG

导航1234

最近发表

友情链接