博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
数据交换平台的双内存设计
阅读量:6958 次
发布时间:2019-06-27

本文共 277 字,大约阅读时间需要 1 分钟。

一、数据交换平台

数据交换平台的项目目的,就是为了解决异构数据库之间的数据交换问题。

这个平台的设计。參考了淘宝开源的DataX、大众点评的Wormhole。等,受到的启示非常大。

项目由小到大,逐步形成平台化发展,差点儿汇总了公司后台db之间的全部数据同步,任务个数有近500个。每天数据量达3亿。

眼下,平台执行稳定。推广部署到其它分公司。

趁这个机会。整理了一些文档,拿出来分享。也算是回馈感恩吧。

上一篇文档,说了一些需求和初步设计。

这一篇重点说下。两块共享内存的设计细节,直接上图。

二、任务实时数据:Shmrt

三、任务具体參数:Shmtd

你可能感兴趣的文章
深入剖析ASP.NET的编译原理之二:预编译(Precompilation)
查看>>
阿里云前端周刊 - 第 31 期
查看>>
游戏安全资讯精选 2017年第十三期 Typecho前台无限制Getshell漏洞预警,勒索软件市场正在呈爆炸式增长...
查看>>
字符串编码解压缩算法
查看>>
电子化的阅读:学习时代的新行为
查看>>
硅谷·北京 云世界2012思想再激荡
查看>>
中国人工智能学会通讯——意识科学研究进展 1.1 意识问题的科学陈述及其当代研究目标的设定...
查看>>
颠覆传统的中兴微模块数据中心 开启中小企业的大数据梦
查看>>
Gartner:人工智能将把部分专业工作变成公用事业
查看>>
西数企业级市场大救星:充氦硬盘
查看>>
中国人工智能学会通讯——人工智能在各医学亚专科的发展现状及趋势 1.5 人工智能在各医学亚专科应用的局限性...
查看>>
《VMware Virtual SAN权威指南》一1.4 Virtual SAN简介
查看>>
ClassFlow推出全新课堂活动轨迹功能
查看>>
高性能计算在电网技术中的应用
查看>>
亿级下ApsaraDB HBase Phoenix秒级内RT在大搜车实践
查看>>
EMC高管:戴尔Nutanix一体机与EMC超融合产品之间不存在竞争
查看>>
十分钟看懂时序数据库II——预处理
查看>>
O2O探秘:实体店背后的科学
查看>>
《构建实时机器学习系统》一3.2 Pandas 的安装
查看>>
创新驱动转型发展 江波龙科技携手IBM构建物联网云数据服务系统
查看>>