您当前所在位置: > 爆料站 > 有深度

商业银行如何进行分布式数据库选型思考

时间:2020-03-24 13:50:02  来源:  作者:网络

原标题:商业银行如何进行分布式数据库选型思考

行业背景

1、 银行业为什么需要采用分布式数据库?

背景及现状:

在传统数据大集中的环境下,银行核心系统很容易发生故障,而且一旦发生故障,影响面将特别广,带来很大的舆论压力和监管压力,历史上大型商业银行核心系统故障的例子不在少数。而且传统的集中式架构不易扩展,各模块间高度耦合,最终造成核心系统体量太过庞大、业务太过繁重。

分布式数据库优势:

企业采用分布式数据库,我觉得有多方面原因:

① 传统的数据库是否已经难以承受当前的负载

② 是否需要规避全局风险

分布式数据库天然可扩展的架构正好解决了上述问题。分布式数据库项目既可以避免将鸡蛋放在一个篮子里,又可以水平扩展,提高吞吐量。但是目前分布式数据库总体还不是很成熟,因此需要全面的评估测试后才能决定。

2、如何评估银行分布式数据库项目的整体成本?

成本可以分为开发测试成本、数据库的软硬件成本、运营维护成本等。开发测试成本主要是开发该项目的人力成本,这个因项目而异。分布式数据库的硬件成本主要包括PC 服务器加本地SSD盘 ,软件成本因厂商而异。大致如下:

3、银行行业中用分布式数据库的多吗?现在是什么形势?

目前银行业对分布式数据的使用还是持一个比较谨慎的态度,但是各大银行都在进行分布式数据库的探索,包括选型测试等。目前有些银行已经在核心系统上线了开源的分布式数据库,其他还有些银行在和一些企业进行联合创新研发,我行目前也在积极探索中。

4、在银行业中,分布式数据库的供应商有哪些?

目前市面上分布式数据库产品很多,比较流行的主要有pingcap的tidb,巨杉的sequoiaDB,阿里的OceanBase、polardb,腾讯的Tbase、tdsql,华为的gaussdb,亚信的antdb等。 各个产品大致特点如下:

方案设计

5、在分布式数据库项目中,如何进行技术路线的选择?

分布式一般分为三条技术路线:分布式访问客户端、分布式中间件模式、分布式数据库模式。其中分布式访问客户端对应用侵入性大,改造难度很高;分布式中间件则类似mycat等产品,在数据库和应用间架一层proxy,这种方案无法支持分布式事务、也无法支持跨库关联,分布式数据库方案 则将分库分表等中间件实现的功能下推到数据库层面来做,对应用透明,应用就像使用单机数据库来使用分布式数据库,同时天然地支持分布式事务。

6、如何进行分布式数据库项目的系统方案设计?有哪些具体的设计内容?

系统方案主要包括:

①如何进行服务器选型 :

一般分布式数据库都会采用廉价x86 pc服务器,搭配本地ssd固态盘、万兆网卡,硬件成本较低。

②软件规划和部署方案:

分布式数据库组件众多,而且每个组件都有高可用备份,所以在有限数量的服务器下进行组件的分配要尽量考虑达到各个服务器负载的均衡,gtm作为分布式数据库的瓶颈尽量和他们组件分开部署。

③监控方案 :

监控一般可以采用开源的zabbix进行定制化开发,当然也可以基于grafana+prometheus的方案做监控。

④如何进行调优 :

因为不同厂商研发的数据库sql优化器及执行计划都有所不同,所以要根据不同产品进行学习。

⑤备份方案 :

分布式数据库如何做一致性备份也是研发难点,要做到真正意义上的pitr就需要做到分布式环境下每个全局事务的“barrier”操作。

⑥应急方案 :

因为分布式数据库还处于发展阶段,还不成熟,技术比较复杂,所以生产环境下要制定详细的应急方案,让不了解分布式数据库的同事也能够在出现问题时按照手册操作。

7、在分布式数据库项目中,为进行系统规格设计,如何进行定量需求分析?需要收集哪些需求数据信息?

主要考虑以下几个方面:

①系统的最大并发数 :

为了节省成本,多套小系统可以共用一套数据库,但是负载很大的高并发场景还是独立搭建。

②系统的最大数据量 :

多租户系统下需要考虑各个系统的数据量之和。

③系统最大可容忍的业务中断时间 :

分布式数据库节点宕机并不是对业务没有任何影响,主节点宕机都涉及到一个切换的问题,切换就是影响业务的时间,要充分评估业务能否忍受这么长时间的中断。

④系统的迁移成本 :

分布式数据库不可能做到oracle、db2、mysql所有数据库的百分之百兼容,所以不同类型的数据库在迁移上都会或多或少的涉及到应用的改造。

8、如何解决分布式数据库项目中的某个难点问题?

我觉得分布式数据库主要有以下几个难点:

①分布式事务:分布式事务的实时一致性是分布式数据库研发的难点,cap理论中分区容错性是一定要保证的,那么在c和a中我相信对于银行用户应该会牺牲可用性来保证一致性。

②性能:为了保证事务全局一致,分布式数据库都需要一个全局事务管理器gtm,用于分配全局事务id,任何一个事务开启都需要先去gtm申请事务号,这样gtm就会成为分布式数据库的性能瓶颈,厂商所宣称的性能和机器数量成正比就要打个问号了。

③备份恢复:如何进行全局一致性备份,如何支持全局 的前滚恢复。

④高可用:分布式数据库宕掉节点或多或少的都会造成数据库hang一段时间,对标成熟的互联网主备架构的切换时间,这个还需要优化。

9、在分布式数据库项目中,什么模块如何进行设计?

分布式数据库一般包括如下几个重要模块:

① 访问层:也叫SQL 转发层。这一层定位在SQL 执行计划的生成和下发,多个访问层节点理想情况下要进行无状态设计,使用负载均衡技术统一对外提供服务;负责数据的排序、归并等集合操作;负责分布式事务的控制。

② 数据层:数据经过分片后存储在不同的数据节点上,数据节点根据协调节点的请求进行读写数据文件,对数据进行节点内的预处理,同时通常具有一主多从的多副本数据复制能力。

③ 全局事务管理器:处理全局事务,为各协调节点生成唯一的全局事务编号和全局序列号。因为是分布式数据库的瓶颈,为了减小gtm的网络交互,可以设计为事务id批量分配,一次分配一段事务号。同时也可以将事务号存储在分布式存储中,比如etcd,这样能避免一些性能和高可用问题。

10 、分布式数据库上线后,如何对运维工作进行管理安排?

分布式数据库类的运维工作主要包括如下几类:

① 准备常用运维脚本、应急手册、运维手册等。

② 做好监控,通常要与监控工具进行对接和整合。

③ 做好相关技术手册培训。

④ 做好生产演练,如定期的重启、切换等。游戏网

相关下载

玩家评论

沈阳:商业街有序恢复营业

原标题:沈阳:商业街有序恢复营业 新华社照片,沈阳,2020年3月22日 沈阳:商业街有序恢复营业 3月22日,市民在沈阳中街逛街。 近期,辽宁沈阳在做好新冠肺炎详情>>

阅读: 1
日期: 2020-03-22
释放电竞商业价值,跨界营销创无限可能_品牌

原标题:释放电竞商业价值,跨界营销创无限可能 电子竞技游戏和赛事在不同平台上扩展,这就为品牌创造了通过同一媒介在多个地方接触消费者的机会。 详情>>

阅读: 6
日期: 2020-03-21
商业?

详情>>

阅读: 1
日期: 2020-03-21
办商业贷款需要准备哪些资料?

身份证,户口本,结婚证,征信,银行流水,收入证明。,身份证户口本结婚证近六个月的银行流水收入证明,限购需要准备房查,征信,身份证,户口本,结婚证,收入证明,银行流水详情>>

阅读: 7
日期: 2020-03-16
松湖碧桂园天钻

咨询售楼部详情>>

阅读: 2
日期: 2020-03-15
办理商业贷款一般需要什么资料?

身份证户口本结婚证征信报告维修资金收入证明近半年银行流水,需要:征信流水 收入证明等等,身份证,户口本,征信,流水,夫妻双方身份证、户口本、结婚证,收入证明,近半年银行流水,征详情>>

阅读: 4
日期: 2020-03-03
【中房萨尔斯堡】400亩商业区位置在哪?

城北区,萨尔斯堡总占地406亩,售楼部周围规划40多亩的配套区,不知道,哈哈详情>>

阅读: 6
日期: 2020-03-01
星际扩散商业区通关攻略大全商业区通关技巧汇总

星际扩散中商业区难道了很多玩家,商业区如何通关呢?商业区通关技巧有哪些呢?今天小编就带来一篇星际扩散商业区通关攻略大全 商业区通关技巧汇总,一起来看看吧:商业区通关攻略本详情>>

阅读: 9
日期: 2020-02-03
红岛急需配套服务,是否有新的商业、教育等配套?

经落实,目前高新区已引入清华附中、康复大学等教学资源项目,地铁8号线即将通车,世贸52+购物中心预计2020年5月份投入使用。 更多相关信息将及时对外公布。,红岛属于高新区,配套详情>>

阅读: 8
日期: 2020-01-20
下一个商业十年,怎么让用户不抛弃你?

原标题:下一个商业十年,怎么让用户不抛弃你? 这是一个最好的时代,也是一个最坏的时代。这是一个充满机遇的大变革时代,也是一个充满风险的大颠覆时代详情>>

阅读: 19
日期: 2019-12-27
阿里商业操作系统“野心”不小:想成为商业中的“Windows”?

原标题:阿里商业操作系统“野心”不小:想成为商业中的“Windows”? 作者:夏天 编辑:周鹤翔 来源:GPLP犀牛财经(ID:gplpcn) 在新消费时代,企业服务消费者的详情>>

阅读: 5
日期: 2019-12-20
阿里张勇谈商业世界“没有线上线下之分”商业操作系统交出“数智化”年末成绩单

原标题:阿里张勇谈商业世界“没有线上线下之分” 商业操作系统交出“数智化”年末成绩单 经济观察网 记者 钱玉娟 12月18日,阿里巴巴集团董事局主详情>>

阅读: 8
日期: 2019-12-19
微智博图Visbit荣获FBEC2019年度XR商业价值潜力奖

原标题:微智博图Visbit荣获FBEC2019年度XR商业价值潜力奖 第四届金陀螺奖颁奖典礼 2019年12月5日,2019未来商业生态链接大会暨第四届金陀螺奖颁奖典详情>>

阅读: 7
日期: 2019-12-10
【视频】邝子平:商业模式或可讨巧,技术壁垒必须够高

原标题:【视频】邝子平:商业模式或可讨巧,技术壁垒必须够高 11 月 12 日,在 TechCrunch 国际创新峰会 2019 深圳站,启明创投创始主管合伙人邝子平分享详情>>

阅读: 6
日期: 2019-12-10
共生经济:消费时代商业模式创新和突破的必然选择

原标题:共生经济:消费时代商业模式创新和突破的必然选择 作者:弈诚 01 故事的启示 网络上广泛流传着这样一个故事 流转的1000元 一个炎热的小镇,一天详情>>

阅读: 8
日期: 2019-12-03
即信云通信出席第二届商业银行数字化转型战略大会

原标题:即信云通信出席第二届商业银行数字化转型战略大会 第二届商业银行数字化转型战略大会于2019年6月27-28日在京顺利召开,即信云通信受邀参会,与详情>>

阅读: 6
日期: 2019-11-19
盘点:中国电商物流的4大商业模式

原标题:盘点:中国电商物流的4大商业模式 目前,各类物流新模式很多,电商物流服务模式如何分类一直缺乏清晰的界定,但卖家需要了解电商物流模式,才可进一详情>>

阅读: 6
日期: 2019-11-16
明日之后莱文市旧商业街拍照位置介绍-明日之后莱文市旧商业街拍照位置在哪里

莱文市拍照任务是《明日之后》中的最新任务,需要玩家们在莱文市的指定位置拍照打卡,莱文市旧商业街就是其中一个位置,想要了解莱文市旧商业街拍照位置的小伙伴们千万别错过下详情>>

阅读: 16
日期: 2019-11-13
三季末商业银行不良率上升官方称信贷质量总体稳定

原标题:三季末商业银行不良率上升 官方称信贷质量总体稳定 三季末中国商业银行不良率上升 官方称信贷质量总体稳定 中新社北京11月12日电 (记者 王详情>>

阅读: 8
日期: 2019-11-12
兆日科技“银企通”亮相2019中国国际金融展金融科技赋能商业银行数字化转型

原标题:兆日科技“银企通”亮相2019中国国际金融展 金融科技赋能商业银行数字化转型 面对微信支付宝冲击,尚未对互联网金融企业开放的对公业务,成为详情>>

阅读: 5
日期: 2019-11-05
超市食物浪费:内置于商业模式,根植于消费文化

前不久,一则描述某生鲜超市丢弃临期食品的微博在网上引发热议,博主在微博中写到自己的母亲在看到超市丢弃大量食物的场面后,“受到了近年来最大的心灵震撼”。这则微博引起了许详情>>

阅读: 4
日期: 2019-11-01
工信部官员:持续提升绿色计算的商业价值和市场竞争力

原标题:工信部官员:持续提升绿色计算的商业价值和市场竞争力 上证报中国证券网讯 据工业和信息化部10月31日消息,10月28日至29日,GCC/ARM服务器技术标详情>>

阅读: 7
日期: 2019-10-31
双11“二选一”又被恶炒,京东碰瓷可耻,请让商业的回归商业!

原标题:双11“二选一”又被恶炒,京东碰瓷可耻,请让商业的回归商业! 如果你去肯德基点可口可乐,服务员会礼貌不失尴尬地回复:您可以点百事可乐。 如果你详情>>

阅读: 8
日期: 2019-10-23
中国银联联合商业银行推出“刷脸付”打造新支付、新服务、新生态

原标题:中国银联联合商业银行推出“刷脸付”打造新支付、新服务、新生态 2019年10月20日,中国银联携手工商银行、农业银行、中国银行、建设银行、交详情>>

阅读: 5
日期: 2019-10-23
商业银行数字化转型调研报告发布,网商银行联手OceanBase打造未来金融业典范

原标题:商业银行数字化转型调研报告发布,网商银行联手OceanBase打造未来金融业典范 2019年10月18日,商业银行数字化转型与发展研讨会暨《中国商业银详情>>

阅读: 6
日期: 2019-10-23
[直播]值得买隋国栋:帮助电商和品牌面向用户做传播带来商业价值

原标题:[直播]值得买隋国栋:帮助电商和品牌面向用户做传播带来商业价值 全景网10月22日讯 2019世界互联网大会--第二届数字经济与资本市场融合发展详情>>

阅读: 5
日期: 2019-10-22
微信上线银行存款,商业银行的互联网救星来了吗

原标题:微信上线银行存款,商业银行的互联网救星来了吗 相信银行存钱对于大多数人来说都不是一个陌生事情,在过去很多人都会习惯在发完工资之后去银行详情>>

阅读: 9
日期: 2019-10-22
银保监会:进一步规范商业银行结构性存款业务

原标题:银保监会:进一步规范商业银行结构性存款业务 中新网10月18日电 10月18日,中国银保监会在官网发布《关于进一步规范商业银行结构性存款业务的详情>>

阅读: 12
日期: 2019-10-18
中国互金协会正研究建立商业银行数字化转型整体框架

原标题:中国互金协会正研究建立商业银行数字化转型整体框架 10月18日,由中国互联网金融协会金融科技发展与研究专委会、新华社瞭望智库联合撰写的《详情>>

阅读: 8
日期: 2019-10-18
特朗普私人律师的又一名商业伙伴被捕涉非法捐款

原标题:特朗普私人律师的又一名商业伙伴被捕 涉非法捐款 中新网10月17日电 据美国中文网报道,美国总统特朗普的私人律师朱利安尼的3名商业伙伴于上详情>>

阅读: 9
日期: 2019-10-17
本来生活能激活顺丰屡败屡战的生鲜电商业务吗?

原标题:本来生活能激活顺丰屡败屡战的生鲜电商业务吗? 作者:杨远 审校:一条辉 来源:GPLP犀牛财经(ID:gplpcn) 10月8日,生鲜零售电商本来集团宣布已经完成详情>>

阅读: 10
日期: 2019-10-11
小程序的商业价值有哪些

原标题:小程序的商业价值有哪些 微信小程序,一个基于微信运行的手机应用。自2017年小程序诞生以来,各行各业都有不少企业和商家开发了小程序。那么,小详情>>

阅读: 5
日期: 2019-10-11
【天下头条】贸易情绪乐观美股收获两连涨美联储放松对商业银行限制措施

原标题:【天下头条】贸易情绪乐观美股收获两连涨 美联储放松对商业银行限制措施 IC Photo --路透社-- 【土耳其对库尔德军事行动第二天令数万人详情>>

阅读: 7
日期: 2019-10-11
5000台,新石器无人车收获全球最大自动驾驶商业订单

原标题:5000台,新石器无人车收获全球最大自动驾驶商业订单 2019年9月26日,新石器慧通(北京)科技有限公司与中东电商黑马,阿拉伯地区首个B2C电商平台详情>>

阅读: 8
日期: 2019-10-10
重庆金地自在城有商业嘛?

焦点网友156625204">焦点网友1566252043分钟前有的,自身总共规划约7万方商业详情>>

阅读: 11
日期: 2019-10-10
乔家大院整改迎国庆:拆除旧商业街,投用新商城承接商业需求

原标题:乔家大院整改迎国庆:拆除旧商业街,投用新商城承接商业需求 继被“摘牌5A”、实施整改后,山西晋中乔家大院迎来第一个国庆节黄金周。10月3日、4详情>>

阅读: 16
日期: 2019-10-06
精彩推荐