存档

文章标签 ‘测试’

性能测试报告

2014年6月21日 2,952 views 没有评论

    性能测试报告

网上的许多测试报告/包括厂商的产品报告往往具有误导性。如果说普通的用户做测试,往往是因为对于软硬件知识的欠缺,情有可原,但厂商特别是夸大其词的公司,则应该被鄙视,比如Tokyo Cabinet这些产品 ,市场的考验是无情的,只靠营销或者吹捧,往往没有生命力。

那么我们应该如何看待一份正常的测试报告呢 ?

我想,

至少需要说明测试的场景,服务器的软硬件配置,物理部署和数据流。

 

对于自己的测试结果,要尽可能的加以详细的说明,可能不得不接受一个现实,解析测试结果已经超过了测试人员的知识范围里,特别是被一些额外的外来因素影响。

如果测试出现了一些性能/容量上的差异,那么应该简明扼要的说明是哪些因素导致的?

如果同时调整了太多参数,然后得出一个结论,往往不具备说服力,应该尽可能地少调整参数,然后加以对比,除非你对参数调整的效果非常有经验。

如果对比许多类不同的产品,往往准确性不够,可信度不高,网上的各种一下子列举出5,6,7,8种NOSQL产品,然后加以对比的测试报告,建议持有一定的怀疑。

对一些数据库/[……]

Read more

运维规则浅谈-1

2014年1月20日 1,589 views 评论已被关闭

大一些的公司,可能有完善的性能模型,尽可能的进行容量/性能 预测。 而小公司,可能更多信任第三方的监控机制,并没有做到很好的性能规划。随着公司不断发展,容量模型是需要逐步建立的, 至于起到的效果几何,也需要有明晰的认识。切记,不要在容量/性能的高度压力下考虑优化,先扩容,把症状降低下来,然后考虑优化,往往是更靠谱的。

确保网络可用,网络在应用层软件和数据库软件的下一层,网络的不可靠,将直接影响到数据库/应用服务器的稳定和性能, 由于网络的复杂性,也必将导致应用软件的复杂,对此应该有清晰的认识。

不要因为解决问题,而在你的架构中引入“新的我问题“ 。对于核心架构/算法 的调整,往往导致异常,”回归测试“可以发现一些问题,但更多依赖于研发同学对于风险的认识,尽可能的解耦,否则调整的代价太大,引入的问题较多。

ssd测试指引

2012年5月6日 2,168 views 没有评论

ssd测试指引

最近测试了几款SSD设备,写一些指引,以后大家测试ssd的时候可以参考下:

1. 测试要尽可能避免cache的影响.    任何磁盘产品,在碰到io瓶颈的时候,都不可能快,这个时候才是真正的磁盘的性能. 如果我们在测试一些nosql产品的时候,发现有非常高的吞吐率,那么就要思考,是什么其他因素影响了测试结果,网上的许多测评就是陷入了这么一个误区,注意内存数据库和磁盘数据库的本质区别,即使是磁盘数据库实现了一定的缓存功能;
2. 随着时间增长,SSD盘可能有碎片,空间占用上升,这个时候性能会下降,所以需要较长时间的测试(我每种测试模型会测试>1小时) ,因为可能有GC的影响,需要考虑进去. 且需要测试不同空间占用比下的性能.  现实中,由于数据库一般在90%以上就必须考虑扩容,所以对于企业级应用,可以测试下几乎写满(>90%)情况下的性能, 此时的性能更参考价值.
3. 由于Raid卡,IO控制器,缓存等因素也会影响到SSD盘的性能. 需要留意此点. 老外有时使用一些高端的Raid卡,而国内估计一般是中低端;
4.  一般可测试raid5和rai[……]

Read more

分类: 数据库, 硬件 标签: ,

关于性能测试/压力测试

2012年5月3日 923 views 评论已被关闭

叙述下性能/压力测试的一些注意事项:

1. 需要明白,干扰是必然存在的。 性能测试所处的环境可能不是干净的,即使较为干净了,但仍然可能有你所不知道的因素影响你的测试结果。干扰的来源可能不那么清晰,如果你需要仔细研究系统性能,你就需要确定它。对于一些云上的环境,由于你和其他用户共享资源,其他用户的活动可能影响到你,而你在一个客户环境内,很难知道物理系统的资源竞争。

2. 现在的应用环境,往往包含多个组件,如负载均衡软硬件设备、WEB服务器、数据库服务器、存储系统。有一够真实的模拟环境,可以及早发现干扰的源头。各个组件对照物理环境独立部署,不互相影响,可以更好确保测试结果的可靠。

3. 性能/压力测试,往往需要时间,见过许多测试报告,可能为了速度(大家时间都很紧张),往往没有测试足够多的时间。实际上,我们是需要足够的时间的,有足够的时间,数据才可能更符合生产情况,比如有”碎片“,N多性能测试,就是load数据,然后开始开测,但实际上,你应该尽量采取一些操作,让数据变得不那么“整齐”,比如在insert/update/delete数据的时候按随机的key顺序操作。 有“碎片[……]

Read more

web测试工具

2009年1月5日 1,478 views 没有评论

web测试工具

记录一些简单,比较轻量级的测试工具,

apache自带的测试web服务器的工具ab

./ab -n 1000 -c 10  url

 

还有一款更强的http_load

http_load -p 并发访问进程数 -s 访问时间 需要访问的URL文件
http_load -parallel 10 -rate 30 -seconds 3600 /root/test/urllist.txt

参考

Web服务器性能/压力测试工具http_load、webbench、ab、Siege使用教程

 

JMeter

JMeter is a Java application that can load another application and measure its performance.

It was designed for testing web applications, but you can also use it to test FTP servers and issue querie[……]

Read more