【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(中)
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(下)
文章目录
博主所在单位目前使用Oracle GoldenGate将各个业务生产库汇聚到一起做数仓实时ODS平台,源端库可能涉及Oracle、Mysql、达梦、Guassdb库。
之前写过一系列关于GoldenGate异构同步Mysql、Kafka、Kylin、Flink做实时计算的场景文章。但是突然发现,卧槽最最最应该第一个做的Oracle->Oracle的实时异构同步文档竟然没写!
来弥补一下这个空白!!!
好了,扯远了,回归技术!
下面是我给大家的生产环境下,如何部署GoldenGate12C及异构实时同步数据的解决方案。本文主要介绍如何实现实时异构的进行Oracle->Oracle的数据同步,这种数据同步适用于灾备、升级、实时ODS等场景使用。我这里给大家了三个GoldenGate部署方式,看大家喜欢用哪种吧!!
注意:本部署方案分为三章节,三章节的重点分别是:
下面给出三种安装方式:
源端
如果是通过GUI方式安装,先切换到root用户,执行xhost+命令,然后切回Oracle用户先进入下面目录:
[oracle@ogg ~]$ cd /u01/fbo_ggs_Linux_x64_shiphome/Disk1/
[oracle@ogg Disk1]$ ls
install response runInstaller stage
然后执行./runInstaller,按下面步骤执行即可:


然后一直向下点然后安装,安装到99时候需要在root下执行一个权限脚本就可。
如果不在本机的linux安装,还想要通过GUI方式安装,可以通过xmanager的xshell搭配Xagent来配置远程GUI安装,因为我用的vmware,如下配置:

这个网卡我在本地配置的ip是:

然后我们在xshell配置的链接主库的信息如下:

接下来选择ssh,然后选择如下:

接下来在xshell中还是用root用户执行xhost+,会发现xagent一闪即过:
[root@source ~]# xhost +
access control disabled, clients can connect from any host
[root@source ~]# su - oracle
然后执行下面命令:
export DISPLAY=192.168.1.161:0.0
然后开始调用GUI界面安装:
[oracle@source ~]$ cd /u01/fbo_ggs_Linux_x64_shiphome/Disk1/
[oracle@source Disk1]$ ./runInstaller
调用出来的结果如下:

剩下的安装步骤就一样了和前面。
安装完成后,进入到ogg安装目录看一下:
[oracle@source ~]$ cd $GGHOME

发现相关的文件夹都存在了。不需要再手动create subdirs
接下来进入到OGG12,不过进入之前应该先用ldd命令检查一下ggsci需要的库文件都存在不?
[oracle@source ogg12]$ ldd ggsci
linux-vdso.so.1 => (0x00007ffcad7b6000)
librt.so.1 => /lib64/librt.so.1 (0x0000003e3c400000)
libdl.so.2 => /lib64/libdl.so.2 (0x0000003e3b400000)
libgglog.so => /u01/app/oracle/ogg12/./libgglog.so (0x00007f1b2739a000)
libggrepo.so => /u01/app/oracle/ogg12/./libggrepo.so (0x00007f1b27124000)
libdb-6.1.so => /u01/app/oracle/ogg12/./libdb-6.1.so (0x00007f1b26d3f000)
libggperf.so => /u01/app/oracle/ogg12/./libggperf.so (0x00007f1b26b0f000)
libggparam.so => /u01/app/oracle/ogg12/./libggparam.so (0x00007f1b25983000)
libicui18n.so.56 => /u01/app/oracle/ogg12/./libicui18n.so.56 (0x00007f1b254e3000)
libicuuc.so.56 => /u01/app/oracle/ogg12/./libicuuc.so.56 (0x00007f1b25113000)
libicudata.so.56 => /u01/app/oracle/ogg12/./libicudata.so.56 (0x00007f1b232b0000)
libpthread.so.0 => /lib64/libpthread.so.0 (0x0000003e3bc00000)
libxerces-c-3.1.so => /u01/app/oracle/ogg12/./libxerces-c-3.1.so (0x00007f1b22c2f000)
libantlr3c.so => /u01/app/oracle/ogg12/./libantlr3c.so (0x00007f1b22a16000)
libnnz11.so => /u01/app/oracle/product/11.2.0/db_1/lib/libnnz11.so (0x00007f1b22648000)
libclntsh.so.11.1 => /u01/app/oracle/product/11.2.0/db_1/lib/libclntsh.so.11.1 (0x00007f1b1fbde000)
libggnnzitp.so => /u01/app/oracle/ogg12/./libggnnzitp.so (0x00007f1b1f496000)
libm.so.6 => /lib64/libm.so.6 (0x0000003e3c000000)
libc.so.6 => /lib64/libc.so.6 (0x0000003e3b800000)
/lib64/ld-linux-x86-64.so.2 (0x0000560b6653d000)
libnsl.so.1 => /lib64/libnsl.so.1 (0x0000003e4be00000)
libstdc++.so.6 => /usr/lib64/libstdc++.so.6 (0x0000003e42000000)
libaio.so.1 => /lib64/libaio.so.1 (0x00007f1b1f293000)
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x0000003e41c00000)
发现都存在,如果之前环境变量export LD_LIBRARY_PATH=$ORACLE_HOME/lib不设置。检查的结果会有一部分为notfound,而且执行./ggsci命令会报
缺少库文件的错。
上面的安装方式都是通过gui方式,还有可以通过静默方式安装,使用静默方式安装的方式如下:
[oracle@source ~]$ cd /u01/fbo_ggs_Linux_x64_shiphome/Disk1/response
[oracle@source response]$ vim oggcore.rsp
####################################################################
## Copyright(c) Oracle Corporation 2017. All rights reserved. ##
## ##
## Specify values for the variables listed below to customize ##
## your installation. ##
## ##
## Each variable is associated with a comment. The comment ##
## can help to populate the variables with the appropriate ##
## values. ##
## ##
## IMPORTANT NOTE: This file should be secured to have read ##
## permission only by the oracle user or an administrator who ##
## own this installation to protect any sensitive input values. ##
## ##
####################################################################
#-------------------------------------------------------------------------------
# Do not change the following system generated value.
#-------------------------------------------------------------------------------
oracle.install.responseFileVersion=/oracle/install/rspfmt_ogginstall_response_schema_v12_1_2
################################################################################
## ##
## Oracle GoldenGate installation option and details ##
## ##
################################################################################
#-------------------------------------------------------------------------------
# Specify the installation option.
# Specify ORA12c for installing Oracle GoldenGate for Oracle Database 12c and
# ORA11g for installing Oracle GoldenGate for Oracle Database 11g
#-------------------------------------------------------------------------------
INSTALL_OPTION=ORA11g
---根据自己的数据库版本来选择,我是11g所以写ORA11g
#-------------------------------------------------------------------------------
# Specify a location to install Oracle GoldenGate
#-------------------------------------------------------------------------------
SOFTWARE_LOCATION=/u01/app/oracle/ogg12
---OGG软件安装目录,我的是/u01/app/oracle/ogg12
#-------------------------------------------------------------------------------
# Specify true to start the manager after installation.
#-------------------------------------------------------------------------------
START_MANAGER=true
---是否在配置完成后自动启动mgr进程,是就选true,否就选false
#-------------------------------------------------------------------------------
# Specify a free port within the valid range for the manager process.
# Required only if START_MANAGER is true.
#-------------------------------------------------------------------------------
MANAGER_PORT=7809
---在start_manager为true时添加,选择mgr启动端口号
#-------------------------------------------------------------------------------
# Specify the location of the Oracle Database.
# Required only if START_MANAGER is true.
#-------------------------------------------------------------------------------
DATABASE_LOCATION=/u01/app/oracle/product/11.2.0/db_1
---在start_manager为true时添加,写上$ORACLE_HOME的值
################################################################################
## ##
## Specify details to Create inventory for Oracle installs ##
## Required only for the first Oracle product install on a system. ##
## ##
################################################################################
---如果在安装goldengate前没有安装过其他Oracle产品再填写以下两个参数
#-------------------------------------------------------------------------------
# Specify the location which holds the install inventory files.
# This is an optional parameter if installing on
# Windows based Operating System.
#-------------------------------------------------------------------------------
INVENTORY_LOCATION=
---指定inventory目录的位置,在使用windows操作系统时是一个可选参数。
#-------------------------------------------------------------------------------
# Unix group to be set for the inventory directory.
# This parameter is not applicable if installing on
# Windows based Operating System.
#-------------------------------------------------------------------------------
UNIX_GROUP_NAME=
---指定一个组,windows系统时不需要写
./runInstaller -silent -responseFile /u01/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp
之后就会安装了,安装完成会提示有一个安装过程日志,可以通过tail -f命令来看
[oracle@source ~]$ cd $GGHOME
[oracle@source ogg12]$ ./ggsci
Oracle GoldenGate Command Interpreter for Oracle
Version 12.2.0.2.2 OGGCORE_12.2.0.2.0_PLATFORMS_170630.0419_FBO
Linux, x64, 64bit (optimized), Oracle 11g on Jun 30 2017 14:42:26
Operating system character set identified as UTF-8.
Copyright (C) 1995, 2017, Oracle and/or its affiliates. All rights reserved.
GGSCI (source) 1> create subdirs
然后标红的文件夹就都创建出来了,如果是通过GUI方式安装,这些文件夹是自动创建好的不需要再创建。

好了,上面是我给大家介绍的三种安装方式,并且通过其中一种方式给大家介绍了如何远程调用桌面安装。
我已经在Sinatra上创建了应用程序,它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择,是开发还是生产,一些方法的逻辑应该改变,这取决于部署类型。是否有任何想法,如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现? 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm
我是Google云的新手,我正在尝试对其进行首次部署。我的第一个部署是RubyonRails项目。我基本上是在关注thisguideinthegoogleclouddocumentation.唯一的区别是我使用的是我自己的项目,而不是他们提供的“helloworld”项目。这是我的app.yaml文件runtime:customvm:trueentrypoint:bundleexecrackup-p8080-Eproductionconfig.ruresources:cpu:0.5memory_gb:1.3disk_size_gb:10当我转到我的项目目录并运行gcloudprevie
我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器,但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型,并且只返回text/plain,如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain
您如何在Rails中的实时服务器上进行有效调试,无论是在测试版/生产服务器上?我试过直接在服务器上修改文件,然后重启应用,但是修改好像没有生效,或者需要很长时间(缓存?)我也试过在本地做“脚本/服务器生产”,但是那很慢另一种选择是编码和部署,但效率很低。有人对他们如何有效地做到这一点有任何见解吗? 最佳答案 我会回答你的问题,即使我不同意这种热修补服务器代码的方式:)首先,你真的确定你已经重启了服务器吗?您可以通过跟踪日志文件来检查它。您更改的代码显示的View可能会被缓存。缓存页面位于tmp/cache文件夹下。您可以尝试手动删除
我可以在Azure网站上部署RubyonRails吗? 最佳答案 还没有。目前仅支持.NET和PHP。 关于ruby-on-rails-RubyonRails可以部署在Azure网站上吗?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/12964010/
之前在培训新生的时候,windows环境下配置opencv环境一直教的都是网上主流的vsstudio配置属性表,但是这个似乎对新生来说难度略高(虽然个人觉得完全是他们自己的问题),加之暑假之后对cmake实在是爱不释手,且这样配置确实十分简单(其实都不需要配置),故斗胆妄言vscode下配置CV之法。其实极为简单,图比较多所以很长。如果你看此文还配不好,你应该思考一下是不是自己的问题。闲话少说,直接开始。0.CMkae简介有的人到大二了都不知道cmake是什么,我不说是谁。CMake是一个开源免费并且跨平台的构建工具,可以用简单的语句来描述所有平台的编译过程。它能够根据当前所在平台输出对应的m
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co
前置步骤我们都操作完了,这篇开始介绍jenkins的集成。话不多说,看操作1、登录进入jenkins后会让你选择安装插件,选择第一个默认的就行。安装完成后设置账号密码,重新登录。2、配置JDK和Git都需要执行路径,所以需要先把执行路径找到,先进入服务器的docker容器,2.1JDK的路径root@69eef9ee86cf:/usr/bin#echo$JAVA_HOME/usr/local/openjdk-82.2Git的路径root@69eef9ee86cf:/#whichgit/usr/bin/git3、先配置JDK和Git。点击:ManageJenkins>>GlobalToolCon
深度学习部署:Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯:公主号AiCharm本系列是作者在跑一些深度学习实例时,遇到的各种各样的问题及解决办法,希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal
在VMware16.2.4安装Ubuntu一、安装VMware1.打开VMwareWorkstationPro官网,点击即可进入。2.进入后向下滑动找到Workstation16ProforWindows,点击立即下载。3.下载完成,文件大小615MB,如下图:4.鼠标右击,以管理员身份运行。5.点击下一步6.勾选条款,点击下一步7.先勾选,再点击下一步8.去掉勾选,点击下一步9.点击下一步10.点击安装11.点击许可证12.在百度上搜索VM16许可证,复制填入,然后点击输入即可,亲测有效。13.点击完成14.重启系统,点击是15.双击VMwareWorkstationPro图标,进入虚拟机主