QPS、TPS、RT、并發(fā)數(shù)、吞吐量的概念

• 一、QPS，每秒查詢(xún)
• 二、TPS，每秒事務(wù)
• 三、RT，響應(yīng)時(shí)間
• 四、并發(fā)數(shù)
• 五、吞吐量
• 六、實(shí)際舉例
• 七、最佳線(xiàn)程數(shù)、QPS、RT

一、QPS，每秒查詢(xún)

QPS：Queries Per Second意思是“每秒查詢(xún)率”，是一臺(tái)服務(wù)器每秒能夠相應(yīng)的查詢(xún)次數(shù)，是對(duì)一個(gè)特定的查詢(xún)服務(wù)器在規(guī)定時(shí)間內(nèi)所處理流量多少的衡量標(biāo)準(zhǔn)?；ヂ?lián)網(wǎng)中，作為域名系統(tǒng)服務(wù)器的機(jī)器的性能經(jīng)常用每秒查詢(xún)率來(lái)衡量。

基于 Spring Boot + MyBatis Plus + Vue & Element 實(shí)現(xiàn)的后臺(tái)管理系統(tǒng) + 用戶(hù)小程序，支持 RBAC 動(dòng)態(tài)權(quán)限、多租戶(hù)、數(shù)據(jù)權(quán)限、工作流、三方登錄、支付、短信、商城等功能

• 項(xiàng)目地址：https://gitee.com/zhijiantianya/ruoyi-vue-pro
• 視頻教程：https://doc.iocoder.cn/video/

二、TPS，每秒事務(wù)

TPS：是TransactionsPerSecond的縮寫(xiě)，也就是事務(wù)數(shù)/秒。它是軟件測(cè)試結(jié)果的測(cè)量單位。一個(gè)事務(wù)是指一個(gè)客戶(hù)機(jī)向服務(wù)器發(fā)送請(qǐng)求然后服務(wù)器做出反應(yīng)的過(guò)程?？蛻?hù)機(jī)在發(fā)送請(qǐng)求時(shí)開(kāi)始計(jì)時(shí)，收到服務(wù)器響應(yīng)后結(jié)束計(jì)時(shí)，以此來(lái)計(jì)算使用的時(shí)間和完成的事務(wù)個(gè)數(shù)。

QPS vs TPS：QPS基本類(lèi)似于TPS，但是不同的是，對(duì)于一個(gè)頁(yè)面的一次訪問(wèn)，形成一個(gè)TPS；但一次頁(yè)面請(qǐng)求，可能產(chǎn)生多次對(duì)服務(wù)器的請(qǐng)求，服務(wù)器對(duì)這些請(qǐng)求，就可計(jì)入“QPS”之中。如，訪問(wèn)一個(gè)頁(yè)面會(huì)請(qǐng)求服務(wù)器2次，一次訪問(wèn)，產(chǎn)生一個(gè)“T”，產(chǎn)生2個(gè)“Q”。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實(shí)現(xiàn)的后臺(tái)管理系統(tǒng) + 用戶(hù)小程序，支持 RBAC 動(dòng)態(tài)權(quán)限、多租戶(hù)、數(shù)據(jù)權(quán)限、工作流、三方登錄、支付、短信、商城等功能

• 項(xiàng)目地址：https://gitee.com/zhijiantianya/yudao-cloud
• 視頻教程：https://doc.iocoder.cn/video/

三、RT，響應(yīng)時(shí)間

響應(yīng)時(shí)間：執(zhí)行一個(gè)請(qǐng)求從開(kāi)始到最后收到響應(yīng)數(shù)據(jù)所花費(fèi)的總體時(shí)間,即從客戶(hù)端發(fā)起請(qǐng)求到收到服務(wù)器響應(yīng)結(jié)果的時(shí)間。響應(yīng)時(shí)間RT(Response-time)，是一個(gè)系統(tǒng)最重要的指標(biāo)之一，它的數(shù)值大小直接反應(yīng)了系統(tǒng)的快慢。

四、并發(fā)數(shù)

并發(fā)數(shù)是指系統(tǒng)同時(shí)能處理的請(qǐng)求數(shù)量，這個(gè)也是反應(yīng)了系統(tǒng)的負(fù)載能力。

五、吞吐量

系統(tǒng)的吞吐量（承壓能力）與request對(duì)CPU的消耗、外部接口、IO等等緊密關(guān)聯(lián)。單個(gè)request 對(duì)CPU消耗越高，外部系統(tǒng)接口、IO速度越慢，系統(tǒng)吞吐能力越低，反之越高。系統(tǒng)吞吐量幾個(gè)重要參數(shù)：QPS（TPS）、并發(fā)數(shù)、響應(yīng)時(shí)間。

• QPS（TPS） ：（Query Per Second）每秒鐘request/事務(wù) 數(shù)量
• 并發(fā)數(shù) ：系統(tǒng)同時(shí)處理的request/事務(wù)數(shù)
• 響應(yīng)時(shí)間 ：一般取平均響應(yīng)時(shí)間

理解了上面三個(gè)要素的意義之后，就能推算出它們之間的關(guān)系：

• QPS（TPS）= 并發(fā)數(shù)/平均響應(yīng)時(shí)間
• 并發(fā)數(shù) = QPS*平均響應(yīng)時(shí)間

六、實(shí)際舉例

我們通過(guò)一個(gè)實(shí)例來(lái)把上面幾個(gè)概念串起來(lái)理解。按二八定律來(lái)看，如果每天 80% 的訪問(wèn)集中在 20% 的時(shí)間里，這 20% 時(shí)間就叫做峰值時(shí)間。

• 公式：( 總PV數(shù) * 80% ) / ( 每天秒數(shù) * 20% ) = 峰值時(shí)間每秒請(qǐng)求數(shù)(QPS)
• 機(jī)器：峰值時(shí)間每秒QPS / 單臺(tái)機(jī)器的QPS = 需要的機(jī)器

1、每天300w PV 的在單臺(tái)機(jī)器上，這臺(tái)機(jī)器需要多少Q(mào)PS？

(3000000*0.8)/(86400*0.2)=139(QPS)

2、如果一臺(tái)機(jī)器的QPS是58，需要幾臺(tái)機(jī)器來(lái)支持？

139/58=3

七、最佳線(xiàn)程數(shù)、QPS、RT

1、單線(xiàn)程QPS公式：QPS=1000ms/RT

對(duì)同一個(gè)系統(tǒng)而言，支持的線(xiàn)程數(shù)越多，QPS越高。假設(shè)一個(gè)RT是80ms,則可以很容易的計(jì)算出QPS,QPS = 1000/80 = 12.5

多線(xiàn)程場(chǎng)景，如果把服務(wù)端的線(xiàn)程數(shù)提升到2，那么整個(gè)系統(tǒng)的QPS則為 2*（1000/80） = 25, 可見(jiàn)QPS隨著線(xiàn)程的增加而線(xiàn)性增長(zhǎng)，那QPS上不去就加線(xiàn)程唄，聽(tīng)起來(lái)很有道理，公司也說(shuō)的通，但是往往現(xiàn)實(shí)并非如此。

2、QPS和RT的真實(shí)關(guān)系

我們想象的QPS、RT關(guān)系如下

實(shí)際的QPS、RT關(guān)系如下

3、最佳線(xiàn)程數(shù)量

剛好消耗完服務(wù)器的瓶頸資源的臨界線(xiàn)程數(shù)，公式如下

最佳線(xiàn)程數(shù)量=（（線(xiàn)程等待時(shí)間+線(xiàn)程cpu時(shí)間）/線(xiàn)程cpu時(shí)間）*cpu數(shù)量

特性：

• 在達(dá)到最佳線(xiàn)程數(shù)的時(shí)候，線(xiàn)程數(shù)量繼續(xù)遞增，則QPS不變，而響應(yīng)時(shí)間變長(zhǎng)，持續(xù)遞增線(xiàn)程數(shù)量，則QPS開(kāi)始下降。
• 每個(gè)系統(tǒng)都有其最佳線(xiàn)程數(shù)量，但是不同狀態(tài)下，最佳線(xiàn)程數(shù)量是會(huì)變化的。
• 瓶頸資源可以是CPU,可以是內(nèi)存，可以是鎖資源，IO資源：超過(guò)最佳線(xiàn)程數(shù)-導(dǎo)致資源的競(jìng)爭(zhēng)，超過(guò)最佳線(xiàn)程數(shù)-響應(yīng)時(shí)間遞增。

審核編輯：湯梓紅