JD-hotkey是京東APP 臺熱數(shù)據(jù)探測框架

JD-hotkey 是京東 APP 后臺熱數(shù)據(jù)探測框架，歷經(jīng)多次高壓壓測和 2020 年京東 618 大促考驗。

在上線運行的這段時間內(nèi)，每天探測的key數(shù)量數(shù)十億計，精準捕獲了大量爬蟲、刷子用戶，另準確探測大量熱門商品并毫秒級推送到各個服務端內(nèi)存，大幅降低了熱數(shù)據(jù)對數(shù)據(jù)層的查詢壓力，提升了應用性能。

該框架歷經(jīng)多次壓測，性能指標主要有兩個

1 探測性能：

8核單機worker端每秒可接收處理16萬個key探測任務，16核單機至少每秒平穩(wěn)處理30萬以上，實際壓測達到37萬，CPU平穩(wěn)支撐，框架無異常。

2 推送性能：

在高并發(fā)寫入的同時，對外推送目前性能約平穩(wěn)推送每秒10-12萬次，譬如有1千臺server，一臺worker上每秒產(chǎn)生了100個熱key，那么這1秒會平穩(wěn)推送100 * 1000 = 10萬次，10萬次推送會明確在1s內(nèi)全部送達。如果是寫入少，推送多，以純推送來計數(shù)的話，該框架每秒可穩(wěn)定對外推送40-60萬次平穩(wěn)，80萬次極限可撐幾秒。

每秒單機吞吐量（寫入+對外推送）目前在70萬左右穩(wěn)定。

在真實業(yè)務場景中，可用1：1000的比例，即1臺worker支撐1000臺業(yè)務服務端的key探測任務，即可帶來極大的數(shù)據(jù)存儲資源節(jié)?。ㄈ鐚edis集群的擴充）。

基于 Spring Boot + MyBatis Plus + Vue & Element 實現(xiàn)的后臺管理系統(tǒng) + 用戶小程序，支持 RBAC 動態(tài)權限、多租戶、數(shù)據(jù)權限、工作流、三方登錄、支付、短信、商城等功能

項目地址：https://gitee.com/zhijiantianya/ruoyi-vue-pro

視頻教程：https://doc.iocoder.cn/video/

介紹

對任意突發(fā)性的無法預先感知的熱點請求，包括并不限于熱點數(shù)據(jù)（如突發(fā)大量請求同一個商品）、熱用戶（如爬蟲、刷子）、熱接口（突發(fā)海量請求同一個接口）等，進行毫秒級精準探測到。

然后對這些熱數(shù)據(jù)、熱用戶等，推送到該應用部署的所有機器JVM內(nèi)存中，以大幅減輕對后端數(shù)據(jù)存儲層的沖擊，并可以由客戶端決定如何使用這些熱key（譬如對熱商品做本地緩存、對熱用戶進行拒絕訪問、對熱接口進行熔斷或返回默認值）。這些熱key在整個應用集群內(nèi)保持一致性。

核心功能：

熱數(shù)據(jù)探測并推送至集群各個服務器。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現(xiàn)的后臺管理系統(tǒng) + 用戶小程序，支持 RBAC 動態(tài)權限、多租戶、數(shù)據(jù)權限、工作流、三方登錄、支付、短信、商城等功能

項目地址：https://gitee.com/zhijiantianya/yudao-cloud

視頻教程：https://doc.iocoder.cn/video/

適用場景

mysql熱數(shù)據(jù)本地緩存

redis熱數(shù)據(jù)本地緩存

黑名單用戶本地緩存

爬蟲用戶限流

接口、用戶維度限流

單機接口、用戶維度限流限流

集群用戶維度限流

集群接口維度限流

worker 端強悍的性能表現(xiàn)

每10秒打印一行，totalDealCount代表處理過的key總量，可以看到每10秒處理量在270萬-310萬之間，對應每秒30萬左右QPS。

僅需要很少的機器，即可完成海量key的實時探測計算推送任務。比擴容redis集群規(guī)模成本低太多。

界面效果

審核編輯 ：李倩