mysql延迟复制工具pt-slave-delay

2012年5月10日 没有评论
pt-slave-delay
mysql同步在快速的网络中是毫秒级的,如果有误操作,从库也很快变更了,对于一些频繁进行,不是经过严格测试的升级,可能带来风险.
可考虑配置一个延迟复制的副本,以改善故障情况下的可恢复性.
mysql 5.6版本已经支持延迟复制,如果5.1版本,可以用percona工具出品的一个工具pt-slave-delay
pt-slave-delay – Make a MySQL slave server lag behind its master.
下载:  wget percona.com/get/pt-slave-delay
安装: 略
语法: pt-sl[......]

继续阅读

分类: computer 标签: ,

ssd测试指引

2012年5月6日 没有评论

最近测试了几款SSD设备,写一些指引,以后大家测试ssd的时候可以参考下:

1. 测试要尽可能避免cache的影响.    任何磁盘产品,在碰到io瓶颈的时候,都不可能快,这个时候才是真正的磁盘的性能. 如果我们在测试一些nosql产品的时候,发现有非常高的吞吐率,那么就要思考,是什么其他因素影响了测试结果,网上的许多测评就是陷入了这么一个误区,注意内存数据库和磁盘数据库的本质区别,即使是磁盘数据库实现了一定的缓存功能;
2. 随着时间增长,SSD盘可能有碎片,空间占用上升,这个时候性能会下降,所以需要较长时间的测试(我每种测试模型会测试>1小时) ,因为可能有GC的影响,需要考虑进[......]

继续阅读

分类: computer 标签: ,

运维架构的一些思考(2)

2012年5月6日 没有评论
关于代理,负载均衡软硬件的稳定和服务隔离的重要性
由于技术限制和数据安全的考虑,一般数据库是单点的. 而之上的负载均衡设备, 代理, web服务器一般是能冗余故障处理的.
现实生产中,往往为了充分利用资源,会不断在一台主机上堆叠服务,之后为了提高可维护性,保障服务稳定,又会开始不断隔离,分离部署或者利用虚拟机技术.  许多中型公司都有几百甚至上千台服务器, 怎么避免服务之间的资源争用影响到服务的稳定呢? 不仅需要软件架构的松耦合,硬件部署也需要尽量隔离.   web服务如果不是很稳定,由于前面有F5负载均衡设备或者其他负载均衡软件,出现性能问题导致宕机的情况可以得到缓解,但如果web服务器[......]

继续阅读

运维架构的一些思考(1)

2012年5月4日 没有评论

关于多集群部署,跨IDC同步数据.

多IDC部署主要是为了改善用户体验, 容灾,最主要的目的我想还是为了用户体验,   也有部分由于历史原因,应用的分布导致了跨IDC的访问.
可以理解为一种CDN加速方案.
首先,我想任何架构的部署,设计,都是要基于已经存在的一些历史访问性能数据或者监控数据. 而这些数据往往是可以通过各种方式收集也一般易于从应用程序侧收集的. 所以如果有需要改善用户体验,最好基于已经存在的用户访问的响应时间数据,以衡量是否采取就近部署节点加速用户响应的方案;
其次, 我们需要明确加速的是什么内容?往往数据库的流量只占据流量的很少一部分,那么我们是否有必要在许多集群都部署[......]

继续阅读

SSD名词解释

2012年4月29日 没有评论
SSD

(Solid State Disk、Solid State Drive,简称SSD,俗称固态驱动器)是一种基于永久性存储器,如闪存,或非永久性存储器同步动态随机存取存储器(SDRAM)的计算机外部存储设备。固态硬盘用来在便携式计算机中代替常规硬盘。虽然在固态硬盘中已经没有可以旋转的盘状结构,但是依照人们的命名习惯,这类存储器仍然被称为“硬盘”。

由于固态硬盘技术与传统硬盘技术不同,所以产生了不少新兴的存储器厂商。厂商只需购买NAND内存,再配合适当的控制芯片,就可以制造固态硬盘了。新一代的固态硬盘普遍采用SATA-3接口。

SSD的核心技术分为2块,一块是控制器,一块是Nand。[......]

继续阅读

分类: computer 标签:

数据库大会感想(五)

2012年4月24日 没有评论

数据库领域, 技术可以正常得到,但是架构的意识,成本的意识, 把握趋势的能力却是很难练就的.  当然,很多情况,技术人员可能也决策不了, 所以在错误的道路上一错再错.

 

#以后补.

分类: computer 标签:

数据库大会感想(四)

2012年4月22日 没有评论

说说Nosql

——————

我对 腾讯的一个分布式key-value内存系统(带持久化) 做了一些摘要 . 腾讯的哥们演讲比较朴实,和百度的同学风格不一样,讲得也很到位.

~~~~~~

—————–

目前在腾讯 snsgame和开放平台中使用

4千台机器  ,2个人运维,2000+业务 ,50T数据, 50+集群

09年底开始做分布式的key-value系统 . 是一个分布式内存系统, 有持久化机制.

有一个强大的管理平台. 很强的统计分析,监控报警[......]

继续阅读

分类: computer 标签: , , ,

数据库大会感想(三)

2012年4月21日 没有评论

由于传统数据库已经发展了很多年,各种技术,解决方案已经很成熟了,如果基于目前的单个产品谈优化,管理,其实不会有太值得交流的必要.所以我们在海量数据,海量应用的情况下,更多的是应该考虑分布式数据库,中间层,托管平台,云存储各种技术方案,从架构的高度上解决问题,使用不同的产品存储不同的数据, 如果公司有海量的数据和应用,那么有必要在这方面做一些技术储备.

需要说明的是,关于海量,目前几亿已经远称不上海量了,至少也得几十亿数据才算海量.

以现在的ssd阵列, 支撑个万次/秒的写,1T多的数据很正常了.

对于绝大部分应用都是可以满足需求的,如果有海量高性能的应用,可能需要考虑下中间件的方案.或者其他的[......]

继续阅读

分类: computer 标签:

数据库大会感想(二)

2012年4月20日 没有评论

摘录部分 给公司同事分享的.

————————————–

这次去数据库大会还是比较Happy的,不过对于大部分演讲都没有什么深刻的印象 ,广告成分比较多,商业赞助的演讲也有一些,还好在容忍的范围内.

主要的收获是了解了互联网大公司如何做Mysql数据库的中间层,以及了解腾讯的托管平台,CMEM(云存储),有些关键的技术细节演讲的同学也没怎么说,可能涉及到商业机密吧.

百度数据库中间层听得人很多,这个涉及到开发高性能网络服务器的技术,如果以后[......]

继续阅读

分类: computer 标签:

数据库大会感想(一)

2012年4月18日 没有评论

这次数据库大会有一些收获, 主要是对于数据库中间层的认识更深刻了,看来百度,腾讯,淘宝都走在了前列.  相对来说,从百度同学的演讲,可以看出百度的运维水平,技术人员的素质还是高于腾讯和淘宝的. 淘宝可能出于互相竞争的目的,dba都开始直接参与监控系统设计,这样并不太好,很容易重复造轮子,没有太好的分工协作,我想淘宝内部可能存在很多的监控系统和各种类似的产品.

百度都是主从的架构, 而淘宝拥有很多主主的架构, Mysql本来就不是一个分布式的数据库,主主的架构其实伸缩性有限, 更稳健的方式其实是主从的架构, 然后用中间层和单点切换系统搞定主从切换,主从数据一致.  就这点来说,百度也比淘宝要稳健[......]

继续阅读

分类: computer 标签: , , ,