认识达内从这里开始

认真做教育专心促就业

Java架构师分享微服务架构之高并发高可用扩容分布式数据库

发布：潍坊IT培训
来源：互联网
时间：2017-10-20 10:02

分布式数据库（终极方案）：TDSQL架构采用自动扩容机制、分表逻辑、扩容流程、容灾机制、强同步方案解决分布式数据库扩容方案

高并发-扩容分布式数据库

    系统由三个模块组成：Scheduler、Agent、网关，三个模块的交互都是通过ZooKeeper完成，极大简化了各个节点之间的通信机制，相对于第二代HOLD的开发简单了很多。

    Scheduler作为集群的管理调度中心，主要功能包括：

    1、管理set,提供创建、删除set、set内节点替换等工作；2、所有的DDL操作统一下发和调度；3、监控set内各个节点的存活状态，当set内主节点故障，发起高一致性主备切换流程；4、监控各个set的CPU、磁盘容量、各个表的资源消耗情况，必要的时候自动发起扩容流程；5、Scheduler自身的容灾通过ZooKeqzer的选举机制完成，保证中心控制节点无单点。

    Agent模块负责监控本机MySQL实例的运行情况，主要功能包括：

    1、用短连接的方式周期性访问本机的MySQL实例，检测是否可读、可写，若发生异常，会将异常信息上报到ZooKeeper,最终会由上面描述的Scheduler模块检测到这个异常情况，从而发起容灾切换；

    2、检测主备复制的执行情况，会定期上报主备复制的延时和延迟的事务数，若发生了主备切换，自动向新主机重建主备，因此MySQL的主备不需要DBA干预，对于新增的实例会自动采用xtrabackup通过主机自动重建数据；

    高并发-扩容

    检测MySQL实例的CPU利用率和各个表的请求量、数据量、CPU利用率，上报到ZooKeeper,ZooKeeper通过全局的资源情况抉择如何扩容、缩容；

    监控是否有下发到自身的扩容任务，如有则会执行扩容流程（下面会有描述）；

    监控是否要发生容灾切换，并按计划执行主备切换流程。

    网关基于MySQL Proxy开发，在网络层、连接管理、SQL解析、路由等方面做了大量优化，主要特点和功能如下：

    1、解析SQL,将识别出的DDL语句直接存到ZooKeeper,让Keeper来统一调度；

    2、Watch ZooKeeper的路由信息，拉取最新的路由表保存到本地文件和内存；

    3、将SQL请求路由到对应的set,支持读写分离；

    4、对接入的IP、用户名、密码进行鉴权；

    5、记录完整的SQL执行信息，与秒级监控平台对接完成实时的SQL请求的时耗，成功率等指标监控分析；

    6、对count、distinct、sum、avg、max、min、order by、group by等聚合类SQL一般需要访问后端的多个set,网关会分析结果并做合并再返回，暂不支持跨set join和分布式事务；

    7、网关无状态，既支持与业务部署到一起，也可以独立部署（可通过TGW或者LVS做容灾）。

    高并发-队列应用场景

    1、异步处理：使用队列的一个主要原因是进行异步处理，比如用户注册完成后，需要发送注册成功邮件/新用户积分/优惠卷等；缓存过期时，先返回过期数据，然后异步更新缓存、异步写日志等。

    2、系统解耦：比如用户支付完成订单后，需要通知生产配货系统、发票系统、库存系统、推荐系统、搜索系统等进行业务处理。

    3、数据同步：比如想把mysql变更的数据同步到Redis,或者将mysql数据同步到mongodb,或者让机房之间的数据同步，或者主从数据同步等，有相关软件：databus、canal、otter等。使用数据总线队列进行数据同步的好处是可以保证数据修改的有序。

    4、进行排队和限流，从而保护下单服务，通过队列暂存或者队列限流进行流量削峰、流量削峰：系统的瓶颈一般在数据库上，比如扣减库存、下单等，此时可以考虑使用队列将变更请求暂时放入队列，通过缓存+队列暂存的方式将数据库流量削峰。同样，对于秒杀系统，下单服务会是该系统的瓶颈，此时可以使用队列

    高并发-队列（ Canal ）

Canal 下发任务给消息队列

    高可用

    什么是高可用性

    高可用性（HA）系统是目前企业防止核心计算机系统因故障停机的最有效手段。

    潍坊IT培训：高可用性（HA）的功能

    1、软件故障监测与排除

    2、备份和数据保护

    3、管理站能够监视各站点的运行情况，能随时或定时报告系统运行状况，故障能及时报告和告警，并有必要的控制手段

    4、实现错误隔离以及主、备份服务器间的服务切换

    HA的工作方式：HA有主从方式和双工方式两种工作模式

    高可用性方案则利用更少的冗余部件同时由软件检测故障，一旦故障发生立即隔离损坏部件，通过提供故障恢复实现最大化系统和应用的可用性。

    容错技术随着处理器速度的加快和价格的下跌而越来越多地转移到软件中。未来容错技术将完全在软件环境下完成，那时它和高可用性技术之间的差别也就随之消失了。

    一：负载均衡与反向代理

    二：隔离

    三：限流

    四：降级

    五：超时与重试

    六：回滚

七：压力测试与应急预案

更多潍坊IT培训相关资讯，请扫描下方二维码

潍坊IT培训