作者：京東零售 張強(qiáng)

導(dǎo)讀

本文主要講解了Forcebot壓測平臺之中“并發(fā)模式”與“RPS模式”兩種模式對于服務(wù)端性能指標(biāo)的影響。通過“商品查詢標(biāo)簽”的壓測作為具體實(shí)踐案例，簡要闡述了“并發(fā)模式”與“RPS模式”兩種模式壓測過程中TPS、TP99以及TP999差異性。希望通過本文，讀者可以對“并發(fā)模式”與“RPS模式”兩種模式相關(guān)概念有更清晰的認(rèn)識，并且能夠?qū)⑺鼈儜?yīng)用到具體的業(yè)務(wù)場景之中，幫助大家在實(shí)際代碼研發(fā)、壓測的時(shí)候，提供一些參考思路。

1、背景

互聯(lián)網(wǎng)的頭部公司，對于接口服務(wù)性能要求非常高，各個(gè)應(yīng)用鏈路之間接口要求TP99響應(yīng)時(shí)間在100ms以下，甚至還有要求TP999。為了達(dá)到此目標(biāo)需要不斷的優(yōu)化接口邏輯性能和服務(wù)器性能?；诖饲疤嶂?，最近開發(fā)了一個(gè)“商品查詢標(biāo)簽”杰夫接口（RPC），外部門要求單機(jī)200QPS、TP999響應(yīng)時(shí)間要小于40ms。我們在整個(gè)壓測過程中采用了“并發(fā)模式”與“RPS模式”兩種模式，但是它們給出的展現(xiàn)效果有一定差異性。其中“并發(fā)模式”適用于摸底業(yè)務(wù)系統(tǒng)各節(jié)點(diǎn)能同時(shí)承載的在線用戶數(shù)，“RPC模式”適用于衡量系統(tǒng)的吞吐能力。

2、并發(fā)模式（虛擬用戶模式）

“并發(fā)”是指虛擬并發(fā)用戶數(shù)，從業(yè)務(wù)角度，也可以理解為同時(shí)在線的用戶數(shù)。 適用場景：如果需要從客戶端的角度出發(fā)，摸底業(yè)務(wù)系統(tǒng)各節(jié)點(diǎn)能同時(shí)承載的在線用戶數(shù)，可以使用該模式設(shè)置目標(biāo)并發(fā)。以下是通過并發(fā)模式（虛擬用戶模式）簡單的請求流程圖：

綜上所述：

1）發(fā)壓機(jī)按照設(shè)置的并發(fā)數(shù)，持續(xù)向目標(biāo)服務(wù)端發(fā)起請求，經(jīng)過網(wǎng)絡(luò)傳輸和杰夫線程池后，到達(dá)具體的方法內(nèi)部執(zhí)行邏輯。

2）壓力機(jī)監(jiān)控的性能指標(biāo)（TP99、TP999）的總時(shí)長為網(wǎng)絡(luò)傳輸耗時(shí)、杰夫線程等待耗時(shí)和方法耗時(shí)三者相加。

3）壓力機(jī)監(jiān)控的TPS指標(biāo)為單位時(shí)間內(nèi)持續(xù)發(fā)出的請求總和。

實(shí)踐案例：

?forcebot監(jiān)控（并發(fā)用戶數(shù):1；TPS平均:330；TP99:4ms；TP999:5ms）

?umpkey監(jiān)控（QPS:300；TP99:1ms；TP999:1ms）

3、RPS模式

RPS（Requests Per Second）是指每秒請求數(shù)。 適用場景：RPS模式即“吞吐量模式”，通過設(shè)置每秒發(fā)出的請求數(shù)，從服務(wù)端的角度出發(fā)，直接衡量系統(tǒng)的吞吐能力，免去并發(fā)到RPS的繁瑣轉(zhuǎn)化一步到位。以下是通過RPS簡單的請求流程圖：

?綜上所述：

1）發(fā)壓機(jī)按照設(shè)置的并發(fā)數(shù)，同時(shí)向目標(biāo)服務(wù)端發(fā)起請求，經(jīng)過網(wǎng)絡(luò)傳輸和杰夫線程池后，到達(dá)具體的方法內(nèi)部執(zhí)行邏輯。

2）壓力機(jī)監(jiān)控的性能指標(biāo)（TP99、TP999）的總時(shí)長為網(wǎng)絡(luò)傳輸耗時(shí)、杰夫線程等待耗時(shí)和方法耗時(shí)三者相加。

3）壓力機(jī)監(jiān)控的TPS指標(biāo)為單位內(nèi)一次性發(fā)出的請求數(shù)量。

?實(shí)踐案例：

?forcebot監(jiān)控（并發(fā)用戶數(shù):50；TPS平均:47；TP99:6ms；TP999:60ms）

?umpkey監(jiān)控（QPS:50；TP99:1ms；TP999:1ms）

4、總結(jié)

經(jīng)過“并發(fā)模式”與“RPS模式”兩種模式實(shí)踐應(yīng)用數(shù)據(jù)的對比，總結(jié)出以下經(jīng)驗(yàn)可以供大家參考。希望此文對大家后續(xù)做服務(wù)接口性能壓測有一定的幫助和啟發(fā)。

1）“并發(fā)模式”并發(fā)用戶數(shù)少于“RPS模式”并發(fā)用戶數(shù)，但是forcebot壓測事務(wù)對應(yīng)TPS(最大/平均)的數(shù)量前者大于后者以及服務(wù)端UMP監(jiān)控到QPS也是前者大于后者。

具體原因：“并發(fā)模式”是按照預(yù)先設(shè)置并發(fā)用戶數(shù)持續(xù)不斷的發(fā)送請求，所以在秒級收到的請求數(shù)量總和為QPS。然而“RPS模式”是按照預(yù)先設(shè)置并發(fā)用戶數(shù)同時(shí)一次性將請求發(fā)出，并且秒級時(shí)間范圍內(nèi)不持續(xù)。所以它的秒級QPS只是這一次發(fā)出請求數(shù)量。

2）“并發(fā)模式”的并發(fā)用戶數(shù)少于“RPS模式”的并發(fā)用戶數(shù)并且服務(wù)端收到QPS前者大于后者的前提之下，forcebot壓測事務(wù)對應(yīng)TP99/TP999的性能指標(biāo)前者優(yōu)于后者。

具體原因：“并發(fā)模式”的并發(fā)用戶數(shù)少于“RPS模式”的并發(fā)用戶數(shù)，同時(shí)能夠到達(dá)杰夫線程池的任務(wù)數(shù)前者少于后者，所以杰夫線程池任務(wù)緩沖區(qū)處于等待的任務(wù)就相對較少、等待時(shí)間較短。最終計(jì)算TP99/TP999性能的時(shí)候，“并發(fā)模式”的性能更優(yōu)于“RPS模式”的性能。

3）“并發(fā)模式”和“RPS模式”方法內(nèi)部UMP監(jiān)控的時(shí)候，可用率、TP99和TP999等性能指標(biāo)都遠(yuǎn)遠(yuǎn)優(yōu)于forcebot壓測事務(wù)監(jiān)控指標(biāo)。

具體原因：壓測請求傳輸過程中，會經(jīng)過跨網(wǎng)絡(luò)傳輸、杰夫線程池等重要節(jié)點(diǎn)，這兩個(gè)節(jié)點(diǎn)的耗時(shí)對于forcebot壓測事務(wù)監(jiān)控指標(biāo)也有非常大的影響。例如：服務(wù)端的young gc或full gc等都會影響到杰夫線程的暫停，導(dǎo)致最終forcebot壓測事務(wù)監(jiān)控指標(biāo)遠(yuǎn)遠(yuǎn)高于實(shí)際方法內(nèi)部UMP監(jiān)控到的值。

審核編輯 黃宇