存档

文章标签 ‘数据库大会’

数据库大会感想(五)

2012年4月24日 1,876 views 没有评论

数据库领域, 技术可以正常得到,但是架构的意识,成本的意识, 把握趋势的能力却是很难练就的.  当然,很多情况,技术人员可能也决策不了, 所以在错误的道路上一错再错.

 

#以后补.

数据库大会感想(四)

2012年4月22日 2,052 views 没有评论

说说Nosql

——————

我对 腾讯的一个分布式key-value内存系统(带持久化) 做了一些摘要 . 腾讯的哥们演讲比较朴实,和百度的同学风格不一样,讲得也很到位.

~~~~~~

—————–

目前在腾讯 snsgame和开放平台中使用

4千台机器  ,2个人运维,2000+业务 ,50T数据, 50+集群

09年底开始做分布式的key-value系统 . 是一个分布式内存系统, 有持久化机制.

有一个强大的管理平台. 很强的统计分析,监控报警功能.

目前许多操作:资源扩容,资源使用不均的调度, 还需要运维人员手动操作.

未来cmem是希望能根据信息报警,资源利用情况 自动调度资源

 

要注意的是:

全内存操作

— 带宽可能成为瓶颈

— 成本高 ,  如果不是很高并发,高性能的应用,接入进来是有些浪费资源的.

 

 

一些关注的特点: 平滑扩容 ,定点回档.

平滑扩容的意思是: 随着业务[……]

Read more

数据库大会感想(三)

2012年4月21日 1,655 views 没有评论

由于传统数据库已经发展了很多年,各种技术,解决方案已经很成熟了,如果基于目前的单个产品谈优化,管理,其实不会有太值得交流的必要.所以我们在海量数据,海量应用的情况下,更多的是应该考虑分布式数据库,中间层,托管平台,云存储各种技术方案,从架构的高度上解决问题,使用不同的产品存储不同的数据, 如果公司有海量的数据和应用,那么有必要在这方面做一些技术储备.

需要说明的是,关于海量,目前几亿已经远称不上海量了,至少也得几十亿数据才算海量.

以现在的ssd阵列, 支撑个万次/秒的写,1T多的数据很正常了.

对于绝大部分应用都是可以满足需求的,如果有海量高性能的应用,可能需要考虑下中间件的方案.或者其他的sharding方案. 总体上,sharding的技术还是很成熟的,而中间层的方案思路是好的,但开发过程中会碰到不少难题需要解决,但一旦解决了,对于大规模的集群,还是可以大大节省成本的.

百度有说他们更改过Mysql的引擎,可以支持高达几万的Qps,其本质上把对磁盘的随机写变成了顺序写,不过目前他们并不打算开源.这样的效率对于大规模的集群还是可以大大节省成本的,

这是[……]

Read more

数据库大会感想(二)

2012年4月20日 1,751 views 没有评论

摘录部分 给公司同事分享的.

————————————–

这次去数据库大会还是比较Happy的,不过对于大部分演讲都没有什么深刻的印象 ,广告成分比较多,商业赞助的演讲也有一些,还好在容忍的范围内.

主要的收获是了解了互联网大公司如何做Mysql数据库的中间层,以及了解腾讯的托管平台,CMEM(云存储),有些关键的技术细节演讲的同学也没怎么说,可能涉及到商业机密吧.

百度数据库中间层听得人很多,这个涉及到开发高性能网络服务器的技术,如果以后有类似的演讲,研究数据库中间件的同学值得去听下.

Oracle,DB2一般用于企业级解决方案,和互联网其实没有什么交集,没什么可比性吧,从技术上来说,都不存在什么问题,都可以实现任何方案,只是成本考虑决定了互联网公司会使用Mysql,postgresql,hbase等开源免费的产品.这次参会的互联网行业人士居多,所以Mysql,大数据专场经常爆满,而DB2门槛太高,没什么人,Oracle人还是很多的,毕竟市场占有率在那.Sqlserver我严重不看好国内的应用,据说人也比[……]

Read more

数据库大会感想(一)

2012年4月18日 1,941 views 没有评论

这次数据库大会有一些收获, 主要是对于数据库中间层的认识更深刻了,看来百度,腾讯,淘宝都走在了前列.  相对来说,从百度同学的演讲,可以看出百度的运维水平,技术人员的素质还是高于腾讯和淘宝的. 淘宝可能出于互相竞争的目的,dba都开始直接参与监控系统设计,这样并不太好,很容易重复造轮子,没有太好的分工协作,我想淘宝内部可能存在很多的监控系统和各种类似的产品.

百度都是主从的架构, 而淘宝拥有很多主主的架构, Mysql本来就不是一个分布式的数据库,主主的架构其实伸缩性有限, 更稳健的方式其实是主从的架构, 然后用中间层和单点切换系统搞定主从切换,主从数据一致.  就这点来说,百度也比淘宝要稳健和更符合工程学一些.

为什么没有公司讲述mongodb,即使是新浪微博唐福林 说的大数据,也只是对redis遇到的问题进行了一些介绍,很中肯指出一些问题.  这里面我想主要的原因还是一个成本原因.  新浪微博的redis集群都是96G的主机,>100台主机(记得不是很清楚) , 把数据不分冷热放到内存中,本来就是一个成本高昂的方案,信价比很差,唐福林说在一定规模下,使用redis[……]

Read more