博客年龄:17年6个月
访问:?
文章:291篇

个人描述

姓名:丹臣 职业:DBA 公司:TAOBAO Mail:zhaolinjnu(at)163.com MSN:echo_lin@hotmail.com 微博http://twitter.com/zhaolinjnu

一套核心大型读写分离分布式数据库系统上线

2009-07-28 16:41 阅读(?)评论(0)

     其实在6月底,这套大型读写分离分布式数据库系统已上线,当时数据复制程序已开始在生产环境正式运行,经过一段时间的观察,数据复制的效率相当高,数据延迟在1秒以内。这套系统因为将承载的是我们的核心页面,所以我们利用这一个月的时间,做了很多的Beta测试,以进一步验证其可靠性。

     数据复制的技术是利用我们自己的技术,而非数据库的技术或者是类似商业复制软件shareplex的技术。项目于上周,正式将页面流量全部切换到分布式数据库上,经过这几天的观察,各分库负载,IO压力,CPU消耗,qps等指标都处于预期以内,性能表现优秀。

     此数据库架构的思想是,将高端机器与低端机器进行结合,各司其职,让高端去保证写入的可靠性,让低端去承载大量的读,结合业务,合理的sharding方式,利用数据库技术管理单个数据结点,每个数据结点放少量数据,以达到数据的全cache,并且是可持久化的,这样可以很容易的解决类似于这种读多写少的应用所带来的主库IOPS压力问题,其它例如主库CPU,连接数等问题也可迎刃而解. 此架构图可以用如下的图来表示:


分布式数据层来统一管理这些读和写,以减少上层应用的复杂度。另外核心数据库的数据并不是全都需要复制到分库,找到最主要的性能影响点在哪里?因为自己掌握了复制技术,主库与分库的数据库类型可以是不同的,比如说主库是ORACLE,分库是mysql等。

     

   阅读(?)评论(0)
上一篇: 变化 下一篇:知识推荐第一期
 
表  情:
加载中...
 

请各位遵纪守法并注意语言文明