设计科学的测试方法 基准测试是指通过设计科学的测试方法、测试工具和测试系统，实现对一类测试对象的某项性能指标进行定量的和可对比的测试。 中文名 基准测试 外文名 Benchmark Test 别 名 BMT 特 点 设计科学的测试方法 目录
基准测试是 [1] 指通过设计科学的测试方法、测试工具和测试系统，实现对一类测试对象的某项性能指标进行定量的和可对比的测试。例如，对计算机CPU进行浮点运算、数据访问的带宽和延迟等指标的基准测试，可以使用户清楚地了解每一款CPU的运算性能及作业吞吐能力是否满足应用程序的要求； 再如对 [2] 数据库管理系统的ACID（Atomicity, Consistency, Isolation, Durability, 原子性、一致性、独立性和持久性）、查询时间和联机事务处理能力等方面的性能指标进行基准测试，也有助于使用者挑选最符合自己需求的数据库系统。 从以上两个例子我们可以看出，可测量、可重复、可对比是基准测试的三大原则，其中可测量是指测试的输入和输出之间是可达的，也就是测试过程是可以实现的，并且测试的结果可以量化表现；可重复是指按照测试过程实现的结果是相同的或处于可接受的置信区间之内，而不受测试的时间、地点和执行者的影响；可对比是指一类测试对象的测试结果具有线性关系，测试结果的大小直接决定性能的高低。 对于可 [3] 再现性，基准测试是最好的方法。 在开发阶段前期，应该使用基准测试来确定应用程序中是否出现性能倒退。基准测试可以在一个相对短的时间内收集可重复的结果。进行基准测试的最好方法是，每次测试改变一个且只改变一个参数。例如，如果想知道增加JVM内存是否会影响应用程序的性能，就逐次递增JVM内存（例如，从1024 MB增至1224 MB，然后是1524 MB，最后是2024 MB），在每个阶段收集结果和环境数据，记录信息，然后转到下一阶段。这样在分析测试结果时就有迹可循。 基准测试的关键是要获得一致的、可再现的结果。可再现的结果有两个好处：减少重新运行测试的次数；对测试的产品和产生的数字更为确信。使用的性能测试工具可能会对测试结果产生很大影响。假定测试的两个指标是服务器的响应时间和吞吐量，它们会受到服务器上的负载的影响。服务器上的负载受两个因素影响：同时与服务器通信的连接（或虚拟用户）的数目，以及每个虚拟用户请求之间的考虑时间的长短。很明显，与服务器通信的用户越多，负载就越大。同样，请求之间的考虑时间越短，负载也越大。这两个因素的不同组合会产生不同的服务器负载等级。记住，随着服务器上负载的增加，吞吐量会不断攀升，直到到达一个点。 当软件系统中增加了1个新模块，此时需要做基准测试，以判断新的模块对整个软件系统的性能影响。 基准测试观察我们假设系统管理员购买了一台服务器，现在看看它的最佳性能。第一步是确定服务器预期任务。其将作为一个虚拟平台还是运行一个专门的应用程序?确定这些问题之后，就可以开始基准测试了。切记，测量标准和基准测试将根据测试内容和使用的设备而有所变化。例如，如果作为数据库系统可能会强调处理器测试，而用于网络服务系统的话可能会突出网络性能。 基准测试假设在这个步骤，工程师设定一个基准目标。假设什么或者测试需要完成什么?简单地进行一个度量测试将得出一些试验结果，但是没有方向或明确的目标的话，这些结果可能是无用的。为测试创建一个基本的目标，并且所有的测试方法都围绕这个目标。例如，工程师可能会设法测试其占用的内存以让应用程序处于最佳运行状态。他或她可能因此推测，给定“X”内存大小可以达到最佳工作负载。这可以立足于以前的研究，供应商提供的基准或其他的来源。确保你的假设是可测试的。也就是说，不要提出一个只是基于数据的而基准测试却无法证实的假设。 基准测试预测接下来，对服务器基准测试做一个大体预测。假设该设备将被作为一个专门的应用服务器。系统管理员能够预测，为工作负载增加额外的核心，设备性能将提升，同样，应用程序的性能也将会改善。在某些情况下，工程师甚至可以预测改善的比例，并希望通过基准测试进行验证。 基准测试环境控制变量设置。例如，可能要给服务器分配一些核心。此时，管理员每次应只更改一个设置，直到他或她能够接受在此基础上的性能变化。工程师可能需要给服务器设置为6GB的内存，并测试其与其他设备相互配合的情况(CPU、影像、硬盘以及相关联的设备)。设置不同的变量，包括修改处理器设置，但其他设置都处于最初状态。 基准测试测试变量都设置好之后，现在开始进行测试。从基准线开始进行测试(已知的起点)，并有系统地调整服务器设置。每个测试序列都会有一个结果，记录结果以便以后引用。在这种情况下，一个测试序列可看做是一次硬件设置更改。每应用一次新的设置，都必须重新进行测试并记录结果。一旦有足够的运行周期，工程师应该有一份完整的数据以完成他们的推论。 基准测试推论和结论进行测试并确认应用程序的实际性能以及给定预计资源或设置后的性能。例如，在只有一半数量的预期核心后，确定应用程序的最佳运行效果。从这点起，确定核心与其他当前变量(所需的内存大小、当前运行的应用程序数量、软件升级/服务包等)结合给服务器提供的最佳性能。注意，任何变量的改变都需要进一步实验。 基准测试不能替代好的设计，不管是混合存储还是全闪阵列，只要能正确补充存储，终端用户都会获得足够高的IOPS尽管后端磁盘性能可能不够而造成缓存不中等。因此，需要充分发挥每个存储层级的性能以补偿缺陷。 特别是遇到混合存储的时候，需要考虑的一点即是性能上的短板效应。正因为如此，无需快速访问的数据应该放在相对稳定一些的后端磁盘上。比如说在一些时候，后端如果使用了15000转速的磁盘，即便前端缓存大小适中也妨碍不大。 如果这样的话全闪存阵列则更为容易去衡量及评估因为不再需要考虑多级存储之间的关系。在这种情况下，需要了解SLC及MLC两种闪存之间的区别。虽然MLC较SLC慢，需要知道的是即便如此，其比传统硬盘还是会快很多。在许多场景下，MLC也许就足以满足加速的需求。 参考资料
 不要等着别人去做。雇佣你自己，开始发号施令。 开始免费 基准测试是什么?标杆管理是一个过程，在这个过程中，你将自己公司的成功与其他类似公司进行对比，以发现在绩效方面是否存在差距，可以通过提高自己的绩效来弥补。学习其他公司可以突出如何提高你的公司的效率，并在你的行业中成为更大的参与者。 标杆管理的好处
通过确定您希望在业务中改进的领域，并将您的现有表现与竞争对手进行比较，您的业务可以努力提高您的执行力十倍。通过这种方法，企业可以获得相对于竞争对手的战略优势，并提高行业平均水平。
基准测试包括从数据中观察当前趋势，并根据你的目标预测未来趋势。为了知道你是否成功，基准测试需要是一个持续的过程。监控性能是它的固有特性。
除了监视性能，持续改进也是基准测试的一个基本属性。这是因为基准测试的目的是改善企业的某一要素．这种改进不应该只是一次改进然后被遗忘，而是随着时间的推移而不断改进。
一旦进行了基准测试，目标和性能指标就会确定，以提高性能。这些目标对公司来说是新的、更有竞争力的目标，但它们必须是可以实现的。如果目标实现不现实，团队就会失去动力，目标注定无法实现。
当公司着眼于他们的流程和指标时，他们需要问一些困难的问题来获得他们需要的所有答案。这包括与业务中的每个人交谈，了解他们的角色。通过提出这些问题并更好地理解每个人的角色，可以鼓励对过程和性能的所有权。这意味着员工会为他们的工作和他们所做的工作感到自豪．这种自豪感会带来更好的性能和更高质量的最终结果。
标杆管理可以确定你的公司现在的状况和你希望它发展的方向。如果你正在考虑改进你的业务中的任何流程，基准测试是一种方法，通过列出实现目标所需的步骤，看看你如何能够超越并变得更成功。 基准测试程序
基准测试的第一阶段是最重要的是．计划包括突出你想要提高的地方，你将以谁为基准，以及你对成功的设想。只有完成了这个步骤，你才能进入下一个步骤，因为计划的结果将集中在你需要收集的信息和成功是什么样子的。
在制定计划之后，基准测试就是收集关于您的流程以及竞争对手如何执行这些流程的信息。如果你想提高你的客户服务满意度，你应该了解部门的流程，如何处理电话和沟通，以及它与你的竞争对手有何不同。也许你可以和另一个呼叫中心的人交谈，或者直接给该中心打电话，以获得他们流程的第一手知识。在这一点上，重要的是收集尽可能多的信息。
一旦你觉得你已经收集了所有的信息，你就可以开始策划它，并开始了解你可能存在的缺点。在这个过程中，重要的是要记住，没有什么业务是完美的，你必须有一个开放的心态，以便能够客观地分析信息。一旦发现了问题，你就可以起草一份报告，并开始讨论接下来的步骤，以便在这个领域取得更好的表现。
向一个部门提出调查结果从来都不是一件容易的事，尤其是当你提出改变的时候。只有当您能够实现更改并在过程中使公司变得更好时，收集和分析信息才有价值。要想从一个部门获得支持，就需要做出让步所以要确保你提出的MVP是被接受的，并且可能等同于在计划阶段强调的成功。
没有监控结果以确定计划是否成功的计划是不完整的。实施阶段将突出指标和目标的成功在一个时间框架内，所以监控这些是唯一的方法知道这些变化的效果．根据预期的结果，监测可以是短期的，也可以是长期的。 基准测试的例子过程基准:这种基准测试可以帮助您更好地了解您的流程与业内其他流程的比较情况。通过查看该行业的其他公司，您可以改进您的流程，使其更高效和更具成本效益。 战略标杆管理:战略标杆管理，类似于过程标杆管理通过观察他人来改善公司的某些方面在这个行业。战略基准与战略以及如何创建一个战略，使你在自己的领域更有竞争力有关。 性能基准测试:性能基准测试是最难改进的过程，因为它涉及到学习竞争对手的绩效指标和程序，并在较低层次上对业务中的流程进行更改。在任何业务中，引入新的流程都是一项具有挑战性的行动，因为它需要来自公司许多不同层次的支持。性能基准测试可以发现如果不创建长期的变更计划可能无法在业务中实现的发现。这些也是公司最有效、最成功的改变。 想了解更多吗?
|
基准测试是什么意思？
版權 © 2024 berikutyang Inc.
