博客年龄:17年6个月
访问:?
文章:291篇

个人描述

姓名:丹臣 职业:DBA 公司:TAOBAO Mail:zhaolinjnu(at)163.com MSN:echo_lin@hotmail.com 微博http://twitter.com/zhaolinjnu

MySQL服务器raid卡充放电导致的问题

分类:My SQL | 标签: raid   write   back   danchen   zhaolinjnu  
2010-09-27 11:08 阅读(?)评论(0)

    这是昨天一台mysql库出现的问题,load比平时高了几倍,show processlist也有大量active的会话,数据库响应应用端请求较慢。

     

查看innodb status row operations部份:

 

因为mysql数据库服务器raid卡充放电,由write back模式变成write through,写IO性能下降,由于innodb内部采用共享线程的模式,写将innodb内部允许的最大并发线程数撑满,导致前端大量的select查询也无法进行,上图中看到有902个查询进入队列。

与上图中的16 queries inside InnoDB刚好稳合。

淘宝大多数应用场景都是读多写少,当时通过top看到iowait并不多,刚开始想到的一个解决办法:

     我们是否能也将innodb内部的线程进行分组,独立的写线程组,独立的读线程组?

 

后来跟同事的讨论中,发现了更多的细节,当raid卡由write back模式,变成write though模式时,写已经将磁盘IO能力耗尽,把读线程独立出来,也不能解决这个问题,读也会很慢。请看下面的监控图示:

磁盘利用率:

 在OS层面监控到的io响应时间:

如果真要独立,那得把写线程控制在一个比较低的水平,分得越细,应对波动时,可共享的资源少了,也是一种坏处。对于底层存储系统,好像没有太大的必要这样做。

 

但随着SSD,Fusion-io硬件的引入或使用,innodb io线程增加,innodb_thread_concurrency等参数的调整是一个必然。

 

对于使用了raid卡的服务器,大家是怎么解决这个问题呢?

 

 
表  情:
加载中...
 

请各位遵纪守法并注意语言文明