采用基准测试转型业务 (采用基准测试的原因)

文章编号：36231 / 分类：行业资讯 / 更新时间：2024-12-13 02:50:56 / 浏览：次

采用基准测试的原因

基准测试是企业衡量其绩效并确定改进领域的宝贵工具。通过将当前绩效与行业标准或最佳实践进行比较，企业可以识别差距并制定改进计划。

采用基准测试转型业务的主要原因包括：

确定绩效差距：基准测试有助于企业识别当前绩效与其目标或行业标准之间的差距。这使企业能够明确需要重点改进的领域。
制定改进计划：通过确定绩效差距，企业可以制定针对性的改进计划。这些计划应明确改进目标、措施和时间表。
监视进展：基准测试是一个持续的过程。

施乐公司的知识管理对我国企业有何借鉴意义?

在国外，很多企业利用知识管理的思想来提升信息管理，实现了对传统信息管理体制的革新。控全局认为施乐公司的案例就很值得我们借鉴：早在20世纪五六十年代，施乐公司就已经是世界上著名的办公设备的生产者，它生产的各种复印机名闻天下。后来，施乐公司的统治地位受到了日本复印机的威胁，为了巩固自己在复印设备领域的领先地位，施乐公司在上个世纪80年代就最先建立起基准测试（benchmarking）制度，向其它行业的优秀公司学习，提高了企业的竞争力。进人90年代后，施乐公司又以战略性的眼光，不惜投入，率先建立起较为完善的知识管理体系，展示了企业为迎接知识经济的到来而采取的发展战略，从而为企业的竞争和发展注入了新的活力与动力。首先需要强调指出的是，施乐公司是在探索知识管理时引发的对信息管理体制的改革，可以说其成功更具有代表性，更能说明知识管理思想对传统信息管理体制的推动作用。在这个过程中，施乐公司上下首先统一思想，认识到知识管理可以有效实现企业知识的共享，使企业能够对外部需求做出快速反应，并利用所掌握的知识资源预测外部市场的发展方向及其变化。这就必然对传统的信息管理体制提出了更高的要求，传统的以实体管理为主的方式必须得以改变。他们的成功经验主要有：（一）密切注意和深入研究知识管理的发展趋势，重新审视原有的信息管理体制施乐公司对知识经济和知识管理的密切关注和深入研究，积极主动地投入研究资金，在世界范围内探讨知识管理的作用。为此，施乐公司启动了名为“知识创新”的研究工作，通过大量细致深入的研究，在他们认为的十个最重要的知识管理领域中，大部分都与企业的文档信息资源有关，诸如“对知识和最佳业务经验的共享”以及“建立和挖掘客户的知识库”等等。而要想更好地实现知识挖掘与利用，就必然要以现有的知识资源为基础，就必然要对企业原有文档信息资源进行整合，而从根本上讲，这样的举措必须要对传统信息管理模式进行改革，才能更好地适应企业发展战略需要。在这一认识的基础上，施乐公司开始按照实施知识管理战略的要求重新审视传统信息管理体制。（二）大胆实现信息管理向知识管理的转变，设立知识主管施乐公司的知识管理战略中，企业信息部门的改造完全服务于这个战略。这样一来，公司的信息管理就由原来的单纯以实体管理为主的模式向以内容管理的模式转变，信息管理的体制也实现了突破，公司的信息管理部门不再是脱离于业务工作以外的部门。同时施乐公司设置了知识主管，其主要任务是将公司的知识变成公司的效益，他的主要职责为：1．了解公司的环境和公司本身，理解公司内的信息需求；2．建立和造就一个能够促进学习、积累知识和信息共享的环境，使每个人都认识到知识共享的好处，并为公司的知识库做贡献；3．监督保证知识库内容的质量、深度、风格，并与公司的发展一致，其中包括信息的更新等；4．保证知识库设施的正常运行；5．加强知识集成，产生新的知识，促进知识共享的过程。在这样的要求下，由于知识涉及的范围大于信息，知识主管必须加强与信息管理部门的沟通，更加重视信息部门的作用。同时，信息管理部门不再是简单地对文档信息的收集、整理、保管，而是更多地体现在对于业务流程的信息支持和对决策的支持上。所以在知识管理战略实施的初期，信息管理部门就成为一个突破口，其原有的丰富的知识资源为知识资源库的建立奠定了基础。而知识主管的建立，增强了对信息管理部门的要求，使其可以整合到业务流程的改造中，对促进知识共享，保证知识库建设起到了积极作用。（三）建立企业内部网络，信息管理产生根本性变化施乐公司专门建立了名为“知识地平线”的内部网络。这个网络在1997年11月首次登亮相，实况转播了施乐和永安公司联合举办的“知识超越”会议，有近2000名职工访问了这个网络。将这个网络取名为“知识地平线”的原因是因为这个产业刚刚兴起，社会对知识管理的理解和行动刚刚开始。 “知识地平线”主要包括以下6方面内容：1．工作空间：这是员工可以分享文献和思想的虚拟空间，这部分内容是可以自我组织和自我维护的。 2．知识管理新闻：包括有关知识管理的新闻、事件、报告、演讲和各种活动通知。这项内容每周更新一次，在事情较多时更新更为频繁。施乐公司聘请两名信息监测人员从一千多种信息资源中抽取知识管理信息。 3．事件：存储有关知识管理的会议、研讨、演讲等信息。 4．知识的搜集：这个知识库保存知识管理研究资料、发展趋势和最佳实践案例，其中也包括施乐职员已经做的工作和有关施乐公司的文章。除此之外，还有有大量施乐的知识管理案例研究。 5．产品、技术和服务：该部分目前尚未开放。它将保存施乐公司及相关公司的知识产品、技术和服务信息。 6．相关网点：连接了与知识管理有关的15—20个站点，包括知识工作和知识管理站点、知识公司的站点等。这一网络平台的建立，为信息管理部门发挥自身优势，提供了良好的契机，使信息管理部门彻底改变了原有的工作模式，其对文档信息资源的管理提升到对企业内外部知识的管理，并且由注重保管向以知识共享为主。（四）建立企业内部知识库，实现利用基础之上的知识沉淀施乐公司还建立了企业内部的知识库，用来实现企业内部知识的共享。知识库建立在企业的内部网络上，该系统由安装在服务器上的一组软件构成，它能提供所需要的服务以及一些基本的安全措施和网络权限控制功能。员工可以利用该系统阅读公报和查找历史事件，并彼此在虚拟的公告板上相会。该系统解决了公司内部知识共享问题。知识库里的内容包括：1．公司的人力资源状况；2．公司内每个职位需要的技能和评价方法：3．公司内各部门、各地分公司的内部资料；4．公司历史上发生的重大事件等历史资料；5．公司客户的所有信息；6．公司的主要竞争对手及合作伙伴的详细资料；7．公司内部研究人员的研究文献和研究报告。对这样的知识库的管理，完全实现了按照内容进行分类，以知识资源的类型为分类存储。同时，在充分共享、有效利用的基础上实现了知识沉淀。这样就避免了传统信息管理中以实体管理为主带来的种种弊端，实现了知识资源的整合。总之，施乐公司按照知识管理的战略要求，改变了传统信息管理的模式，带来了许多可喜的变化，取得了业务上的成功。例如：过去，施乐公司的销售人员一般为一个客户工作一年，然后转为其他客户。由于工作时间短，信息部门来不及收集这些客户资料，以这种方法运作，公司损失了大量的知识。下次业务人员对新客户都是陌生的，因此需要从头开始了解这个客户，这不仅浪费时间而且客户也不希望这种行为发生，客户希望按以前约定好的计划进行。现在施乐将传统信息管理纳入到知识管理战略框架下，以内容管理为主，而且积极参与到业务流程的改造中，这样再有类似情况时，销售人员就可以将所了解到的客户的所有信息存入内部网的系统，如此一来，不仅为公司积累了传统信息管理时期无法积累的资料，也为知识库沉淀了知识，有利于企业业务的进一步发展。

tpc是哪个？tpc是哪个？tpc是哪个？tpc是哪个？tpc是哪个？

TPC网络百科上的词条是这样说的：

天的用户在选用平台时面对的是一个缤纷繁杂的世界。用户希望有一种度量标准,能够量化计算机系统的性能，以此作为选型的依据。作者曾在美国从事过数年计算机性能评价工作，深深体会到，计算机的性能很难用一两种度量来评价，而且，任何度量都有其优缺点，尤其是当使用者对性能度量了解不深时，很容易被引入一些误区，甚至推演出错误的结论。本文以TPC基准程序为例，给出一些实际建议，以帮助用户避免进入这些误区。

一、什么是TPC和tpmC?

tpmC值在国内外被广泛用于衡量计算机系统的事务处理能力。但究竟什么是tpmC值呢?作者曾向一些用户、推销人员乃至某些国外大公司的技术人员问过这个问题，但回答的精确度与tpmC值的流行程度远非相称。 tpmC这一度量也常被误写为TPM或TPMC。

TPC(TransactionProcessingPerformanceCouncil，事务处理性能委员会)是由数10家会员公司创建的非盈利组织，总部设在美国。该组织对全世界开放，但迄今为止，绝大多数会员都是美、日、西欧的大公司。 TPC的成员主要是计算机软硬件厂家，而非计算机用户，它的功能是制定商务应用基准程序(Benchmark)的标准规范、性能和价格度量，并管理测试结果的发布。

TPC的出版物是开放的，可以通过网络获取(。 TPC不给出基准程序的代码，而只给出基准程序的标准规范(standardSpecification)。任何厂家或其它测试者都可以根据规范，最优地构造出自己的系统(测试平台和测试程序)。为保证测试结果的客观性，被测试者(通常是厂家)必须提交给TPC一套完整的报告(FullDisclosureReport)，包括被测系统的详细配置、分类价格和包含五年维护费用在内的总价格。该报告必须由TPC授权的审核员核实(TPC本身并不做审计)。现在全球只有几个审核员，全部在美国。

TPC已经推出了四套基准程序，被称为TPC－A、TPC－B、TPC－C和TPC－D。其中A和B已经过时，不再使用了。 TPC－C是在线事务处理(OLTP)的基准程序，TPC－D是决策支持(DecisionSupport)的基准程序。 TPC即将推TPC－E，作为大型企业(Enterprise)信息服务的基准程序。

TPC-C模拟一个批发商的货物管理环境。该批发公司有N个仓库，每个仓库供应10个地区，其中每个地区为3000名顾客服务。在每个仓库中有10个终端，每一个终端用于一个地区。在运行时，10×N个终端操作员向公司的数据库发出5类请求。由于一个仓库中不可能存储公司所有的货物，有一些请求必须发往其它仓库，因此，数据库在逻辑上是分布的。 N是一个可变参数，测试者可以随意改变N，以获得最佳测试效果。

TPC-C使用三种性能和价格度量，其中性能由TPC-C吞吐率衡量，单位是tpmC。 tpm是transactionsperminute的简称；C指TPC中的C基准程序。它的定义是每分钟内系统处理的新订单个数。要注意的是，在处理新订单的同时，系统还要按表1的要求处理其它4类事务请求。从表1可以看出，新订单请求不可能超出全部事务请求的45％，因此，当一个系统的性能为1000tpmC时，它每分钟实际处理的请求数是2000多个。价格是指系统的总价格，单位是美元，而价格性能比则定义为总价格÷性能，单位是＄/tpmC。

二、如何衡量计算机系统的性能和价格

在系统选型时，我们一定不要忘记我们是为特定用户环境中的特定应用选择系统。切忌为了“与国际接轨”而盲目套用“国际通用”的东西。在性能评价领域，越是通用的度量常常越是不准确的。据我所知，美国的一些大用户从不相信任何“国际通用”的度量，而是花相当精力，比如预算的5％，使用自己的应用来测试系统，决定选型。在使用任何一种性能和价格度量时，一定要弄明白该度量的定义，以及它是在什么系统配置和运行环境下得到的，如何解释它的意义等。下面我们由好到差讨论三种方式。

1、在真实环境中运行实际应用

最理想的方式是搞一个试点，要求制造商或系统集成商配合将系统(含平台、软件和操作流程)在一个实际用户点真正试运行一段时间。这样，用户不仅能看到实际性能，也能观察到系统是否稳定可靠、使用是否方便、服务是否周到、配置是否足够、全部价格是否合理。如果一个部门需要购买一批同类的系统，这种方式应列为首选，因为它不仅最精确、稳妥，也常常最有效率，用户还可先租一套系统作为试点。用这种方式得到的度量值常常具有很明确和实际的含义。

2、使用用户定义的基准程序

如果由于某种原因第一种方式不可行，用户可以定义一组含有自己实际应用环境特征的应用基准程序。我举两个例子：近年来，由于R/3软件是应用层软件，SAP公司的基准程序获得了越来越多国外企业的认可；中国税务总局最近也开发了自己的基准程序，以帮助税务系统进行计算机选型。这种方式在中国尤其重要，因为中国的信息系统有其特殊性。

3、使用通用基准程序

如果第1种和第2种方式都不行，则使用如TPC-C之类的通用基准程序，这是不得已的一种近似方法。因此，tpmC值只能用作参考。我们应当注意以下几点：

(1)实际应用是否与基准程序相符

绝大多数基准程序都是在美国制订的，而中国的企事业单位与美国的运作方式常常不一样(恐怕也不应该或不可能一样)。在使用TPC－C时，我们应该清楚地知道：我的应用是否符合批发商模式?事务请求是否与表1近似?对响应时间的要求是否满足表1?如果都不是，则tpmC值的参考价值就不太大了。

(2)TPC度量的解释

TPC基准程序是用来测系统而不是测主机的，厂家肯定要充分优化他们的被测系统。此处的“系统”包括主机、外设(如硬盘或RAID)、主机端操作系统、数据库软件、客户端计算机及其操作系统、数据库软件和网络连接等。在很多厂家的TPC测试系统中，主机的价格只是系统总价格的1/4或更小，而硬盘的价格有可能占到总价格的1/3以上，因为TPC－C要求被测系统必须保存180天的事务记录。如果同样的主机被用到用户的环境中，厂家报的tpmC值就意义不大，因为用户的实际系统与厂家原来用于TPC测试的系统大不一样。当同样的主机用在不同的系统中时，tpmC值可能有相当大的变化，现在很多用户还没有意识到这一点。

我举一个例子。假设用户希望购买一批同类系统，每一系统至少需要1GB的内存和50GB的硬盘。厂家A、B、C各报了三个价格相当的系统，tpmC值分别为3000、2800、2600。用户是否应该选厂家A的产品呢?答案是：不一定。厂家用于测试tpmC值的系统与实际提供给用户的系统配置大不一样。 tpmC最低的厂家C提供给用户的系统反而有可能性能最好，不论是以实际系统的tpmC值还是以用户的实际应用性能来衡量。

(3)TPC测试的成本

TPC－C和TPC－D都是很复杂的基准程序，做一个严格的测试是很消耗资源的，厂家当然不会说出他们花费了多少钱和时间。但据国外知情人士透露，一个厂家做第一个TPC－C测试需要几十万到上百万美元的资金和半年左右的时间投入。因此，很多TPC的度量值都是估计的。由于计算机系统换代频繁，如果用户一定要用通过审核的度量值，就必须多等待半年时间，因此而不能用最先进的系统。中国的厂家通过审核的时间则更长。

综上所述，我们对中国用户(尤其是大用户)在计算机系统的选型方面有如下建议：

最好建立一个真实的试点，因为实际应用环境是检验计算机系统的最好标准。

中国的行业应该建立符合自己实际应用的基准程序和测试标准。中国税务总局的做法值得提倡。国家有关部门应该建立独立的测试中心，制定跨行业、符合中国企事业运作模式的性能测试标准。

“国际通用”的度量可以作为参考值，而不应作为必要条件。尤其是一定要弄清这些流行度量有什么含义，是在什么样的系统环境中测得的，以及基准程序是否符合企业真实的业务流程和运作模式。

作为一家非盈利性机构，事务处理性能委员会（TPC）负责定义诸如TPC-C、TPC-H和TPC-W基准测试之类的事务处理与数据库性能基准测试，并依据这些基准测试项目发布客观性能数据。 TPC基准测试采用极为严格的运行环境，并且必须在独立审计机构监督下进行。委员会成员包括大多数主要数据库产品厂商以及服务器硬件系统供应商。

相关企业参与TPC基准测试以期在规定运行环境中获得客观性能验证，并通过应用测试过程中所使用的技术开发出更加强健且更具伸缩性的软件产品及硬件设备。

TPC-C是一种旨在衡量联机事务处理（OLTP）系统性能与可伸缩性的行业标准基准测试项目。这种基准测试项目将对包括查询、更新及队列式小批量事务在内的广泛数据库功能进行测试。许多IT专业人员将TPC-C视为衡量“真实”OLTP系统性能的有效指示器。

TPC-C基准测试针对一种模拟订单录入与销售环境测量每分钟商业事务（tpmC）吞吐量。特别值得一提的是，它将专门测量系统在同时执行其它四种事务类型（如支付、订单状态更新、交付及证券级变更）时每分钟所生成的新增订单事务数量。独立审计机构将负责对基准测试结果进行公证，同时，TPC将出据一份全面彻底的测试报告。这份测试报告可以从TPCWeb站点(上获得。

tpmC定义:TPC-C的吞吐量，按有效TPC-C配置期间每分钟处理的平均交易次数测量，至少要运行12分钟。

1．TPC-C规范概要

TPC-C是专门针对联机交易处理系统（OLTP系统）的，一般情况下我们也把这类系统称为业务处理系统。

TPC-C测试规范中模拟了一个比较复杂并具有代表意义的OLTP应用环境:假设有一个大型商品批发商，它拥有若干个分布在不同区域的商品库；每个仓库负责为10个销售点供货；每个销售点为3000个客户提供服务；每个客户平均一个订单有10项产品;所有订单中约1%的产品在其直接所属的仓库中没有存货，需要由其他区域的仓库来供货。

该系统需要处理的交易为以下几种：

New-Order：客户输入一笔新的订货交易；

Payment:更新客户账户余额以反映其支付状况;

Delivery:发货(模拟批处理交易);

Order-Status:查询客户最近交易的状态；

Stock-Level:查询仓库库存状况，以便能够及时补货。

对于前四种类型的交易，要求响应时间在5秒以内；对于库存状况查询交易，要求响应时间在20秒以内。

2．评测指标

TPC-C测试规范经过两年的研制，于1992年7月发布。几乎所有在OLTP市场提供软硬件平台的厂商都发布了相应的TPC-C测试结果，随着计算机技术的不断发展，这些测试结果也在不断刷新。

TPC-C的测试结果主要有两个指标：

●流量指标(Throughput，简称tpmC)

按照TPC的定义，流量指标描述了系统在执行Payment、Order-status、Delivery、Stock-Level这四种交易的同时，每分钟可以处理多少个New-Order交易。所有交易的响应时间必须满足TPC-C测试规范的要求。

流量指标值越大越好！

●性价比(Price/Performance，简称Price/tpmC)

即测试系统价格（指在美国的报价）与流量指标的比值。

性价比越小越好！

3．结果发布

各厂商的TPC-C测试结果都按TPC组织规定的两种形式发布：测试结果概要(ExecutiveSummary)和详细测试报告(FullDisclosureReport)。测试结果概要中描述了主要的测试指标、测试环境示意图以及完整的系统配置与报价，而详细测试报告中除了包含上述内容外，还详细说明了整个测试环境的设置与测试过程。

P690tpmC测试值：76,389,839.00

$/tpmC：831.00

美国美金报价：6,349,223.0

CPU数：32

数据库：IBMDB2UDB8.1

操作系统：AIX5LV5.2

中间件：TUXEDO8.0

P690TPC-C测试的配置：

1．后台：1xeServerpSeries690with32x1.7GHzPOWER4+processorswith128MBL3cacheperMCM(totaloffourMCMs),512GBmemory

2．前端：30xeServerpSeries630Model6E4eachwith4x1.0GHzPOWER4CPUswith32MBL3cache,16GBmemory

SPECweb96:在SPECweb96基准测试程序上实现的每秒钟超文本传输协议（HTTP）操作最多次数，响应时间无明显退化。

SPECweb99:接入数，网络服务器可用预先确定的工作量支持的同时接入数。 SPECweb99检测设备模拟客户通过慢Internet联接，向网络服务器发送HTTP工作量请求。

SPECweb99测试Web服务器运行状况

SPECweb99是由标准性能评估组织（SPEC）开发的Web服务器基准测试。它测量满足特定吞吐量和客户请求响应速率要求的WEB服务器的最大并发连接数量。并发连接的合计波特率在320Kbps到400Kbps范围内，则满足相应规范。

SPECweb99在一台称为主客户端的机器上运行，这台机器上包含有允许用户加载特定负载请求的配置文件。主客户端也要处理在客户端和服务器或测试中的系统（SUT）之间的传输协调问题。客户端通过许多子进程／线程生成独立HTTP请求流，仿真足够的负载发送给SUT。

在这个测试中，客户端向测试中的服务器发送请求数据。测试规范要求客户端和服务器之间的连接不能使用片段大小大于1460比特的TCP协议。因此，每一个客户端读取1460比特或更少数据块的响应。

测试中使用两种类型的负载量：

静态负载.静态负载具有四种类型的文件。最小的文件的增幅为0.1KB，第二种文件类型的增幅为1KB，最后两种类型的文件的增幅为10KB和100KB。每一个目录包含每种类型9个文件共36个文件。

目标请求的文件类型在各类型中分散使用。在每一类中的9个文件中又进行二次分布。最终目标文件混合为：

35％的请求文件小于1KB

50％的请求文件小于10KB

14％的请求文件小于100KB，但是大于或等于10KB

1％的请求文件小于1000KB，但是大于或等于100KB

动态负载.动态负载是基于广告和用户注册。共有四种在SPECweb99中使用的请求内容类型，分别是标准动态取操作、动态随机取操作、动态发送操作和客户图形接口动态取操作。标准动态取操作和客户图形接口动态取操作表现web服务器的简单广告轮转特性。带有广告轮转的动态取操作追踪用户和用户选择，所以广告可以由不同的方式来定制。最终，动态发布实施一个用户注册在相应的网站上。

P690SPECweb99测试值：21,000

Web服务器：Zeus4.0

操作系统：AIX5LV5.1(64-bit)

CPU数：16

测试配置：16x1.3GHzPOWER-4Processorsw/1440KBunifiedonchipL2cache,192GBmemory,32x32IBMGigabitEthernet-SXPCIcontrollers,32xGigabitEthernetnetwork(1Gigabit/sec),96xClients(4x375MHzPOWER3-II,RS/P-270),RequestedConnections=,MaxFilesetSize=.6MB

P650SPECweb99测试值：12,400

Web服务器：Zeus4.1r3

操作系统：AIX5LV5.2(64-bit)

CPU数：8

测试配置：8x1.45GHzPOWER4+processorsw/1.5MB(I+D)unifiedonchipL2cache,32MBunifiedoffchip/SCML3cache,64GBmemory,8xGigabitEthernet-SXPCI-Xcontrollers,8xGigabitEthernetnetwork(1Gigabit/sec),48xClients(6x668MHzRS64-IV,pSeries620Model6F1),RequestedConnections=,MaxFilesetSize=.28MB

p630SPECweb99测试值：6,895

Web服务器：Zeus4.2r1

操作系统：AIX5LV5.2(64-bit)

CPU数：4

测试配置：4x1450MHzPOWER4+Processorsw/1536KB(I+D)unifiedonchipL2cache,8MBunified(offchip)/SCML3cache,32GBmemory,4xGigabitEthernet-SXPCI-Xcontrollers,4xGigabitEthernetnetworks(1Gigabit/sec),24xClients(4x375MHzPOWER3-II,pSeries640ModelB80),RequestedConnections=6900,MaxFilesetSize=.12MB

NotesBench:

NotesBench是测试各种不同LotusNotes方面的驱动程序。目的是执行自定义工作量教本中的命令，模拟客户机的操作。 NotesBench测试“仅测试邮件”和“测试邮件和数据库”。所有已经公布的IBM结果均为“仅测试邮件工作量”。

p680NotesBench测试值：150,197

用户数：108,000

平均反应时间：0.584秒

Domino服务器版本：5.06a

操作系统：AIX4.3.3

CPU数：4

测试配置：IBMeServerpSeries680(24*RS64IV/600MHz;96GBRAM,30Partitions)