度量快速开发平台-专业、快速的软件定制快开平台

标题: 愚公oracle数据库同步工具 [打印本页]

作者: fteair    时间: 2020-5-28 14:13
标题: 愚公oracle数据库同步工具
1.yugong实时同步原理
   使用了oracle的物化视图日志功能,类似于一个内部的触发器,原表的数据库需要对用户授权具有物化视图日志的创建和删除权限,关于物化视图日志的详细描述,可以参考下面的文章:
   http://blog.csdn.net/tianlesoftware/article/details/7720580
2.性能测试
   a.在测试环境1的原表(TEST_SOURCE)新生成300万数据
   b.为不影响开发环境的数据,修改yugong代码,将目标表改为TEST_SOURCE_BAK
   c.启动yugong服务,开始同步数据
   d.经过1.5小时,同步完所有增量数据
3.数据延时测试
  a.分别手动对原表数据进行了增改删操作,10秒钟内可以实现数据同步
  b.在目标库中新增一列,类型为时间类型,默认值为当前时间
  c.使用脚本反复在原库中生成一批数据(50条为一批)
  d.所有数据的延迟时间都在30秒以内
4.数据完整性测试
  a.手工随机抽查数据,对比同一条记录的各个列值,数据都是一致的
  b.使用jdbc抽出特定的记录集合,使用md5函数,md5结果一致
5.其它测试用例
  a.原表增加字段,而目标表不增加,数据正常同步
  b.目标表先增加字段,原表不增加字段,数据正常同步
  c.原表和目标表同时增加字段,服务需要重新启动后才可以进行数据同步
  d.无主键测试,yugong不支持无主键同步
  e.主键为多列测试,可以正常同步
  f.yugong服务连续运行72个小时,中间出现过一次同步中断,原因不明
  g.物化视图日志在事务中rollback时,会同步rollback
  h.目标表将某条记录删除,原表将此记录更新,此记录会重新同步到目标表
6.yugong分析
  a.代码简洁,分为extractor(提取)、translator(翻译)、applier(更新到目标库)三个部分
  b.只有一个服务,无其它第三方依赖
  c.原理简单,可以按照我们的意图来更改代码


作者: fteair    时间: 2020-5-28 14:17

作者: 张兴康    时间: 2020-5-28 17:39

作者: caixuqad    时间: 2020-5-28 18:13

作者: fteair    时间: 2020-5-29 14:48
张兴康 发表于 2017-6-28 17:39


作者: fteair    时间: 2020-5-29 14:49
caixuqad 发表于 2017-6-28 18:13


作者: 张兴康    时间: 2020-5-30 14:52
fteair 发表于 2017-6-29 14:48






欢迎光临 度量快速开发平台-专业、快速的软件定制快开平台 (http://bbs.delit.cn/) Powered by Discuz! X3.2