Oracle Golden Gate – 概念和机制 (OGG)

Linux网站管理员

3 年前

Golden Gate（简称OGG）提供异构环境下交易数据的实时捕捉、变换、投递。

OGG支持的异构环境有：

OGG的特性：

对生产系统影响小：实时读取交易日志，以低资源占用实现大交易量数据实时复制
以交易为单位复制，保证交易一致性：只同步已提交的数据
高性能
- 智能的交易重组和操作合并
- 使用数据库本地接口访问
- 并行处理体系
灵活的拓扑结构：支持一对一、一对多、多对一、多对多和双向复制等
支持数据过滤和转换
- 可以自定义基于表和行的过滤规则.
- 可以对实时数据执行灵活影射和变换.
提供数据压缩和加密：降低传输所需带宽，提高传输安全性.

OGG的工作原理：

OGG的进程：

Manager进程是GoldenGate的控制进程，运行在源端和目标端上。它主要作用有以下几个方面：启动、监控、重启Goldengate的其他进程，报告错误及事件，分配数据存储空间，发布阀值报告等。在目标端和源端有且只有一个manager进程
Extract运行在数据库源端，负责从源端数据表或者日志中捕获数据。Extract的作用可以按照阶段来划分为：
- 初始时间装载阶段：在初始数据装载阶段，Extract进程直接从源端的数据表中抽取数据
- 同步变化捕获阶段：初始数据同步完成以后，Extract进程负责捕获源端数据的变化(DML和DDL)
Data Pump进程运行在数据库源端，其作用是将源端产生的本地trail文件，把trail以数据块的形式通过TCP/IP 协议发送到目标端，这通常也是推荐的方式。pump进程本质是extract进程的一种特殊形式，如果不使用trail文件，那么extract进程在抽取完数据以后，直接投递到目标端，生成远程trail文件。
Collector进程与Data Pump进程对应的叫Server Collector进程，这个进程不需要引起我的关注，因为在实际操作过程中，无需我们对其进行任何配置，所以对我们来说它是透明的。它运行在目标端，其任务就是把Extract/Pump投递过来的数据重新组装成远程ttrail文件。
Replicat进程，通常我们也把它叫做应用进程。运行在目标端，是数据传递的最后一站，负责读取目标端trail文件中的内容，并将其解析为DML或 DDL语句，然后应用到目标数据库中。

关于OGG的Trail文件：

- 为了更有效、更安全的把数据库事务信息从源端投递到目标端。GoldenGate引进trail文件的概念。前面提到extract抽取完数据以后 Goldengate会将抽取的事务信息转化为一种GoldenGate专有格式的文件。然后pump负责把源端的trail文件投递到目标端，所以源、目标两端都会存在这种文件。
- trail文件存在的目的旨在防止单点故障，将事务信息持久化，并且使用checkpoint机制来记录其读写位置，如果故障发生，则数据可以根据checkpoint记录的位置来重传。

案例 1：Oracle Exadata 数据库一体机的容灾加固

项目背景

某三级甲等综合医院为了有效地支撑核心业务系统 HIS 应用的运行，采用 Oracle Exadata 数据库一体机作为 HIS 系统的核心数据库平台，支撑医院 HIS 业务系统的安全、稳定、可靠运行。

同时，根据行业规定，需要构建 HIS 数据库容灾加固系统，保证业务连续性。

用户需求

在进行容灾加固建设的时候，用户期望：

容灾合规：建设完整的容灾系统，提升业务连续性，支撑业务发展，满足行业评级规定。
高利用率：容灾资源池内的各种资源，包括 CPU 、内存、网络、存储都能得到合理的使用，避免闲置浪费。
降低成本：建设成本低，性价比高。

项目挑战

本次容灾加固建设要确保数据库高可用性，在灾难发生时可以快速切换，具备业务快速恢复能力，同时又要低成本、高资源利用率。

如果按照数据库厂家推荐的方案，需要使用另外一台 Oracle Exadata 数据库一体机或者是一台 Oracle ODA 数据库机作为容灾加固系统，建设成本高、使用率低。

方案目标

在充分考虑成本、性能、资源利用等因素后，用户确定了采用与核心 HIS 系统数据库不同架构、相同 CPU 服务器平台的容灾加固技术。基于超融合系统，利用虚拟化和 Oracle DG 技术实现数据同步，构建具备容灾能力、更简单、总拥有成本低、资源利用率高的容灾资源池。

方案建设

在进行了深入的技术沟通后，用户最终确定了采用 SmartX 超融合（基于原生的 ELF 虚拟化）来建设 Oracle 数据库容灾资源池，基于本地机房实现整体容灾加固。

用户在 SmartX 超融合架构上新建容灾 Oracle 数据库，通过 Oracle DG 实现 HIS 数据库实时业务数据同步。当生产环境 Oracle 数据库发生故障时，可以快速切换业务应用到容灾环境 Oracle 数据库，实现秒级 RPO 和分钟级 RTO，达到容灾加固、实现业务连续性的建设目标。

同时，采用 SmartX ELF 虚拟化和 Oracle DG 技术，不需要额外的虚拟化许可、Oracle DG 许可和 Oracle 数据库许可费用，降低了总体建设成本。

而且，在容灾系统 SmartX 超融合集群上，用户还部署了 HIS 系统 Redis 只读库、中间件，用于只读的查询业务处理，性能高、响应快，解决了业务痛点问题，提升了容灾资源池的利用率。

采集失败，请手动处理

https://www.smartx.com/media-blog/Oracle/%E6%96%B0%E5%9E%8B%20Oracle%201.jpg

方案优势

实现秒级 RPO 和分钟级 RTO，确保业务连续性，满足行业评级规定。
低建设成本：采用 SmartX ELF 虚拟化，不需要额外许可费用；采用 Oracle DG 数据库容灾技术，不需要 DG 软件许可费用和 Oracle 数据库许可费用；不需要额外采购 Oracle Exadata 数据库一体机或 ODA 数据库机。
支持 HIS 系统只读查询业务系统运行，提升容灾资源池利用率。

案例 2：高性能 x86 裸金属服务器和高端全闪存储的 Oracle RAC 容灾加固

项目背景

某三甲妇幼保健院采用高性能 x86 裸金属服务器和高端全闪存储的方式运行 Oracle RAC，用于核心业务系统 HIS、EMR、集成平台等应用数据库的运行。为满足相应的法规要求，需要建立核心数据库系统的容灾加固环境，提升业务连续性。当前架构

用户需求

在进行数据库容灾加固建设的时候，用户期望：

容灾合规：建设完整的容灾系统，提升业务连续性，支撑业务发展，满足行业评级要求。
降低成本：降低建设成本，节省投资费用。
合理使用容灾资源：容灾资源池得到有效利用，避免资源闲置。

项目挑战

本次容灾加固建设是确保数据库的高可用性，在灾难发生时可以快速切换，具备业务快速恢复能力，同时降低采购和建设成本、提高资源利用率。如果按照通常方式建设，将面临如下挑战：

采用传统存储厂家推荐的基于存储复制的容灾方案，需要采购一台同样的高端全闪存储阵列部署在容灾中心。
需要采购部署多台高性能 x86 服务器，建设成本高，资源利用率低。
基于存储的双活复制方案，不是数据库层面的解决方案，部署架构复杂，资源消耗巨大。根据相关的统计资料，基于存储的双活复制技术的网络传输量是 Oracle DG 的 7 倍，而且磁盘 I/O 次数是 Oracle DG 的 27 倍（数据来自 Oracle DG 材料）。

方案目标

在充分考虑成本、性能、资源利用等因素后，用户确定了采用与核心系统数据库不同架构、相同 CPU 服务器平台的容灾加固技术。基于超融合架构，利用虚拟化和 Oracle DG 技术实现数据同步，构建具备容灾能力、更简单、总拥有成本低、资源利用高的容灾资源池。

方案建设

通过技术评估，用户最终采用了 SmartX 超融合来建设 Oracle 数据库容灾资源池，基于本地机房实现整体容灾加固。

用户在 SmartX 超融合上对应建设容灾 Oracle 数据库，将业务数据库通过 Oracle DG 实时同步。当生产环境 Oracle 数据库发生故障时，可以快速切换业务应用到容灾环境 Oracle 数据库，实现秒级 RPO 和分钟级 RTO，达到容灾加固、确保业务持续性的建设目标。

同时，采用 Oracle DG 技术，不需要 Oracle DG 许可和 Oracle 数据库许可费用，不用额外采购高性能全闪存储和高性能 x86 服务器，总体建设成本低。

同时，在容灾资源池中，用户采用 SmartX 超融合快照技术构建 HIS、EMR 等业务系统的开发测试数据库，能快速交付给开发测试人员使用，满足了应用系统开发测试的需要；同时还部署了产前诊断系统、超声造影系统、胚胎 BI 系统等生产业务应用，充分利用容灾资源池所具有的资源加速业务处理。

方案优势

实现秒级 RPO 和分钟级 RTO，确保业务连续性，满足行业评级规定。
低建设成本：采用 Oracle DG 数据库容灾技术，不需要 DG 软件许可费用和 Oracle 数据库许可费用；不需要额外采购高端全闪存储和高性能 x86 服务器。
通过快照技术构建 HIS、EMR 系统开发测试数据库，快速交付，满足应用开发测试需要。
部署多种生产业务应用系统，提升容灾资源池的利用率。点击了解数据库云化基础设施解决方案相关内容。