存档

‘测试技术’ 分类的存档

性能测试报告

2014年6月21日 2,952 views 没有评论

    性能测试报告

网上的许多测试报告/包括厂商的产品报告往往具有误导性。如果说普通的用户做测试,往往是因为对于软硬件知识的欠缺,情有可原,但厂商特别是夸大其词的公司,则应该被鄙视,比如Tokyo Cabinet这些产品 ,市场的考验是无情的,只靠营销或者吹捧,往往没有生命力。

那么我们应该如何看待一份正常的测试报告呢 ?

我想,

至少需要说明测试的场景,服务器的软硬件配置,物理部署和数据流。

 

对于自己的测试结果,要尽可能的加以详细的说明,可能不得不接受一个现实,解析测试结果已经超过了测试人员的知识范围里,特别是被一些额外的外来因素影响。

如果测试出现了一些性能/容量上的差异,那么应该简明扼要的说明是哪些因素导致的?

如果同时调整了太多参数,然后得出一个结论,往往不具备说服力,应该尽可能地少调整参数,然后加以对比,除非你对参数调整的效果非常有经验。

如果对比许多类不同的产品,往往准确性不够,可信度不高,网上的各种一下子列举出5,6,7,8种NOSQL产品,然后加以对比的测试报告,建议持有一定的怀疑。

对一些数据库/[……]

Read more

数据库性能测试的目的

2014年5月30日 2,543 views 没有评论

数据库性能测试的目的

最近打算做一个数据库开源产品的对比。由于时间有限,所以迟迟没有下手,这里将思考的一些内容放上博客,希望对感兴趣的同学有帮助。

 

性能指标一般是响应时间和吞吐率,这点不再赘述。

我们可能出于不同的目的进行数据库主机的性能测试,比如,

* 采购服务器,我们可能需要测试不同组合配置下的数据库性能,选取一个性价比更好的方案.

* 对比不同系统参数/数据库参数 配置下的数据库性能

* 对比不同的数据库产品

* 对比数据库不同版本的差异

* 一些新特性的试用,验证

* 一些patch的验证

* 对不不同的OS/文件系统/库的差异。

如果都是成熟的数据库产品,我们很难证明在所有指标上,一个产品完胜另外一个产品,产品的设计哲学往往决定了它的优势和劣势,或者说安全、效率、价格、稳定这些因素往往不可兼得。所以我们测试的目的不是要证明存在一个完美的产品,而是在可以接受一定损失/妥协之下可以接受的一个软硬件配置。

比如,insert的速度慢一些往往无关紧要,如果可以有更高的压缩率,更高好的存储效率的话。[……]

Read more

关于性能测试/压力测试

2012年5月3日 923 views 评论已被关闭

叙述下性能/压力测试的一些注意事项:

1. 需要明白,干扰是必然存在的。 性能测试所处的环境可能不是干净的,即使较为干净了,但仍然可能有你所不知道的因素影响你的测试结果。干扰的来源可能不那么清晰,如果你需要仔细研究系统性能,你就需要确定它。对于一些云上的环境,由于你和其他用户共享资源,其他用户的活动可能影响到你,而你在一个客户环境内,很难知道物理系统的资源竞争。

2. 现在的应用环境,往往包含多个组件,如负载均衡软硬件设备、WEB服务器、数据库服务器、存储系统。有一够真实的模拟环境,可以及早发现干扰的源头。各个组件对照物理环境独立部署,不互相影响,可以更好确保测试结果的可靠。

3. 性能/压力测试,往往需要时间,见过许多测试报告,可能为了速度(大家时间都很紧张),往往没有测试足够多的时间。实际上,我们是需要足够的时间的,有足够的时间,数据才可能更符合生产情况,比如有”碎片“,N多性能测试,就是load数据,然后开始开测,但实际上,你应该尽量采取一些操作,让数据变得不那么“整齐”,比如在insert/update/delete数据的时候按随机的key顺序操作。 有“碎片[……]

Read more

性能测试报告模板

2010年5月28日 1,367 views 没有评论

性能测试报告模板

结论:xxxxxxxxxxxxxxxx

1.1 测试结果分析

xxxxxxxxxxxxxx

详细的记录文件,请查阅相关附件 xxxxxxxxxxxxx

过程问题:

1. xxxxxxxxxxxxxx

2.xxxxxxxxxxxxxxxxx

1.2 测试数据

测试点
并发数
平均响应时间(单位:秒)
每秒处理数(tps)
资源利用率
备注

(注意测试时间不能太短,数据量不能太少,最好尽量反应真实生产环境的数据)

1.3  测试模型

访问模型(DS)

* 通过http访问xxxxxx

* 并发数从10~100,每1分钟增加10个用户,在100用户时运行5分钟,总运行15分钟

* 无思考时间

 

数据模型


容量
备注

xxxxx
100,000

 

 

1.4  测试环境

服务器
IP
硬件
软件
备注