0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

分析解決冪等(性)的方法

OSC開(kāi)源社區(qū) ? 來(lái)源:京東技術(shù) ? 作者:京東物流-廖宗雄 ? 2022-10-14 10:08 ? 次閱讀

本文主要從研發(fā)人員的角度,結(jié)合研發(fā)人員日常常見(jiàn)的各類業(yè)務(wù)場(chǎng)景,從經(jīng)典系統(tǒng)框架的每一層入手分析冪等處理的時(shí)機(jī)。希望通過(guò)這篇文章的分析,讓開(kāi)發(fā)者在日常開(kāi)發(fā)中對(duì)冪等的處理不再陌生。抓住導(dǎo)致請(qǐng)求、接口不冪等的本質(zhì),在工作中避免再陷入這個(gè)陷阱中。

冪等、冪等性這詞,作為一個(gè)研發(fā)人員是再熟悉不過(guò)的,那是否有深入思考過(guò)冪等產(chǎn)生的背景、為什么需要冪等,如何做才是冪等的?今天將結(jié)合業(yè)務(wù)場(chǎng)景及請(qǐng)求的過(guò)程來(lái)分析解決冪等(性)的方法。

01 概念

冪等這個(gè)概念,是一個(gè)數(shù)學(xué)上的概念,即:f……(f(f(x))) = f(x)。用在計(jì)算機(jī)領(lǐng)域,指的是系統(tǒng)里的接口或方法對(duì)外的一種承諾,使用相同參數(shù)對(duì)同一資源重復(fù)調(diào)用某個(gè)接口或方法的結(jié)果與調(diào)用一次的結(jié)果相同。

02 業(yè)務(wù)場(chǎng)景

從業(yè)務(wù)場(chǎng)景上來(lái)說(shuō),如:現(xiàn)在互聯(lián)網(wǎng)電商的下單服務(wù),同一個(gè)用戶在短時(shí)間內(nèi)調(diào)用某一個(gè)下單服務(wù),只能下單成功一次;銀行賬戶之間的轉(zhuǎn)賬,A賬戶給B賬戶轉(zhuǎn)賬,無(wú)論系統(tǒng)出現(xiàn)什么問(wèn)題或故障,也只能轉(zhuǎn)賬成功一次;前端頁(yè)面對(duì)相同表單的內(nèi)容多次向后端發(fā)起提交請(qǐng)求,后端只能給出一個(gè)相同的結(jié)果等都屬于冪等的范疇。

試想一下,如果提供的這些服務(wù)不是冪等的,客戶在下單時(shí)由于網(wǎng)絡(luò)不穩(wěn)定或是連續(xù)點(diǎn)了幾次下單按鈕,實(shí)際客戶只下了一單,結(jié)果系統(tǒng)里給客戶生成了多單,那平臺(tái)/商家將是無(wú)法承受的,如果被“羊毛黨”盯上,損失是無(wú)可估量的;銀行之間的轉(zhuǎn)賬,A賬戶本來(lái)實(shí)際給B賬戶只轉(zhuǎn)了一百萬(wàn),結(jié)果B賬戶收到了幾百萬(wàn),這在業(yè)務(wù)上是不可接受的。分析這些業(yè)務(wù)場(chǎng)景,開(kāi)發(fā)者發(fā)現(xiàn),無(wú)論是下單服務(wù)、轉(zhuǎn)賬服務(wù)還是表單提交都是一個(gè)個(gè)業(yè)務(wù)請(qǐng)求,提供這些業(yè)務(wù)服務(wù)的接口或方法都應(yīng)該保證無(wú)論服務(wù)是超時(shí)、重試或有故障等異常情況,都要滿足業(yè)務(wù)上的處理結(jié)果是正確的。業(yè)務(wù)上的一次或多次請(qǐng)求,最終的處理結(jié)果是一致的,即:在一定時(shí)間內(nèi),服務(wù)的冪等其實(shí)就是請(qǐng)求的冪等。

03 架構(gòu)分析

從系統(tǒng)架構(gòu)上進(jìn)行分析,冪等該在哪一層去做,怎么做?

59ab2bcc-4af6-11ed-a3b6-dac502259ad0.png

圖1 經(jīng)典系統(tǒng)框架圖

上圖為一個(gè)最常見(jiàn)的經(jīng)典系統(tǒng)框架圖,Web端發(fā)起一個(gè)請(qǐng)求到后端,冪等該在哪一層來(lái)處理呢?不妨一層一層的分析。

Nginx是否需要做冪等,Nginx的主要功能是做Web服務(wù)器、反向代理、負(fù)載均衡等,把請(qǐng)求轉(zhuǎn)發(fā)到后端的服務(wù)器上,本身不參與具體的業(yè)務(wù),所以Nginx是不需要做冪等處理的;Gateway是負(fù)責(zé)權(quán)限校驗(yàn)、安全防御、認(rèn)證鑒權(quán)、流量控制、協(xié)議轉(zhuǎn)換、日志審計(jì)、監(jiān)控等,本身也不含對(duì)任何業(yè)務(wù)的處理,所以其也不需要做冪等處理;Service層通常是對(duì)業(yè)務(wù)邏輯進(jìn)行處理、編排,可能會(huì)改變數(shù)據(jù),但對(duì)于數(shù)據(jù)的改變結(jié)果,最終也還是需要通過(guò)數(shù)據(jù)訪問(wèn)層,寫(xiě)入到數(shù)據(jù)庫(kù),所以Service層也不需要做數(shù)據(jù)冪等;DAO層主要是和數(shù)據(jù)庫(kù)交互,把Service層的結(jié)果寫(xiě)入數(shù)據(jù)庫(kù),對(duì)Service層提供讀取、寫(xiě)入數(shù)據(jù)庫(kù)的功能。

在寫(xiě)入數(shù)據(jù)庫(kù)的時(shí)候,針對(duì)每一次的寫(xiě)入,可能返回不同的結(jié)果,此時(shí)就需要按場(chǎng)景進(jìn)行具體的分析對(duì)待;DataBase層,主要提供數(shù)據(jù)的存儲(chǔ),并不參與具體的業(yè)務(wù)邏輯計(jì)算。所以,通過(guò)對(duì)該架構(gòu)的每一層的功能分析,得出對(duì)于請(qǐng)求的冪等處理,需要在DAO層做處理,以便保證多次請(qǐng)求和一次請(qǐng)求的結(jié)果是一致的。

04 數(shù)據(jù)庫(kù)操作分析

通過(guò)上面的分析,得出冪等需要在DAO層來(lái)處理,再進(jìn)一步分析,得出DAO層的操作主要就是CRUD。下面逐一對(duì)每一種操作分析是否需要做冪等,以及怎么做。

R(read):對(duì)應(yīng)的操作SQL語(yǔ)句為select。只要查詢條件不變,在一定的時(shí)間內(nèi),執(zhí)行一次和執(zhí)行多次返回的結(jié)果肯定是相同的,所以其本身是冪等的,不需要再做處理。

select * from user where id = 1;
查詢一次或多次結(jié)果是一致的,所以是冪等的。

C(create):對(duì)應(yīng)的操作SQL語(yǔ)句為insert。此時(shí),需要分情況,如果用到的數(shù)據(jù)庫(kù)主鍵為數(shù)據(jù)庫(kù)自增,不考慮業(yè)務(wù)主鍵防重的情況下,每一次寫(xiě)入數(shù)據(jù)庫(kù)就不是冪等的,所以為了保證冪等,需要在數(shù)據(jù)insert前做業(yè)務(wù)防重或是在數(shù)據(jù)庫(kù)表上對(duì)業(yè)務(wù)主鍵加唯一索引。

如果數(shù)據(jù)庫(kù)主鍵不是自增,是由業(yè)務(wù)系統(tǒng)寫(xiě)入的,需要在業(yè)務(wù)系統(tǒng)里把數(shù)據(jù)庫(kù)主鍵和業(yè)務(wù)主鍵做一對(duì)一映射,或是由獨(dú)立服務(wù)提供數(shù)據(jù)庫(kù)主鍵和業(yè)務(wù)主鍵的映射關(guān)系,保證多次請(qǐng)求獲取到的數(shù)據(jù)庫(kù)主鍵和業(yè)務(wù)主鍵是一致的,確保寫(xiě)入數(shù)據(jù)庫(kù)操作是冪等的。綜合來(lái)說(shuō),就是相同的數(shù)據(jù)多次寫(xiě)入數(shù)據(jù)庫(kù)后,能否保證只有一條數(shù)據(jù)。

insert into user (id,age,sex,ts) values(1,10,‘male’,2021-07-20 10:22:23);

U(update):對(duì)應(yīng)的操作SQL語(yǔ)句為update。更新操作時(shí),一定是要用絕對(duì)值進(jìn)行更新操作,而不要用相對(duì)值進(jìn)行更新,相對(duì)值更新可能導(dǎo)致更新操作不冪等。

冪等:

update user set age = 10 where id = 1;

非冪等:

update user set age++ where id = 1;

D(delete):對(duì)應(yīng)的操作SQL語(yǔ)句為delete。刪除操作時(shí),如果刪除的是一個(gè)范圍,生產(chǎn)上最好是禁止該類操作;比較推薦的做法是把按范圍操作刪除轉(zhuǎn)換為先按范圍查詢,再按查詢的主鍵進(jìn)行刪除。而且按范圍刪除的操作不是冪等的。

冪等:

delete from user where id = 1;

非冪等:該類操作要禁止。

deletefromuserwhereidin(selectidfromuserorderbyiddesclimit10);

05 常見(jiàn)業(yè)務(wù)場(chǎng)景

保證冪等的實(shí)現(xiàn)方式有多種,此處例舉幾類常見(jiàn)的業(yè)務(wù)場(chǎng)景,在實(shí)際應(yīng)用中,根據(jù)業(yè)務(wù)場(chǎng)景進(jìn)行選用。

1. 前端頁(yè)面提交時(shí),頁(yè)面token機(jī)制。

進(jìn)入頁(yè)面時(shí),從服務(wù)器獲取token,在服務(wù)器端把token進(jìn)行存儲(chǔ),提交時(shí)把token帶到服務(wù)器端進(jìn)行驗(yàn)證;常見(jiàn)的處理流程如下:

59c59c00-4af6-11ed-a3b6-dac502259ad0.png


圖2 頁(yè)面token機(jī)制處理流程

樂(lè)觀鎖機(jī)制,使用數(shù)據(jù)庫(kù)的版本號(hào)實(shí)現(xiàn)樂(lè)觀鎖,數(shù)據(jù)庫(kù)更新時(shí),判斷版本號(hào)是否與查詢時(shí)保持一致,一致更新成功,否則更新失??;

select+insert,數(shù)據(jù)寫(xiě)入前,先查詢數(shù)據(jù)是否存在,存在直接返回,不存在則寫(xiě)入數(shù)據(jù),保證寫(xiě)入數(shù)據(jù)庫(kù)的數(shù)據(jù)正確性;常用于并發(fā)不高的一些后臺(tái)系統(tǒng)或是防止任務(wù)的重復(fù)執(zhí)行;

悲觀鎖機(jī)制,一般id為主鍵或唯一索引,僅鎖定當(dāng)前記錄;

select*fromtablewhere id='1234'forupdate;

去重表,每一次寫(xiě)入或更新業(yè)務(wù)表時(shí),先查詢?nèi)ブ乇硎欠褚呀?jīng)存在記錄,再操作業(yè)務(wù)表。

數(shù)據(jù)庫(kù)唯一索引,為業(yè)務(wù)表建立唯一索引,避免業(yè)務(wù)數(shù)據(jù)多次寫(xiě)入;

狀態(tài)機(jī),業(yè)務(wù)狀態(tài)在變更之前是有條件的,必須按設(shè)定的狀態(tài)條件進(jìn)行更新;

在實(shí)際開(kāi)發(fā)中,保證提供的接口或服務(wù)的冪等(性),是一個(gè)最基本的技術(shù)要求,希望通過(guò)該分析,能對(duì)還未理解冪等(性)的研發(fā)人員有所幫助。





審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • SQL
    SQL
    +關(guān)注

    關(guān)注

    1

    文章

    753

    瀏覽量

    44032
  • 數(shù)據(jù)庫(kù)
    +關(guān)注

    關(guān)注

    7

    文章

    3752

    瀏覽量

    64233
  • Web服務(wù)器
    +關(guān)注

    關(guān)注

    0

    文章

    137

    瀏覽量

    24356
  • 狀態(tài)機(jī)
    +關(guān)注

    關(guān)注

    2

    文章

    491

    瀏覽量

    27457

原文標(biāo)題:冪等設(shè)計(jì)詳解

文章出處:【微信號(hào):OSC開(kāi)源社區(qū),微信公眾號(hào):OSC開(kāi)源社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    基于信號(hào)完整分析的高速數(shù)字PCB的設(shè)計(jì)方法

      本文介紹了一種基于信號(hào)完整計(jì)算機(jī)分析的高速數(shù)字信號(hào)PCB板的設(shè)計(jì)方法。在這種設(shè)計(jì)方法中,首先將對(duì)所有的高速數(shù)字信號(hào)建立起PCB板級(jí)的信號(hào)傳輸模型,然后通過(guò)對(duì)信號(hào)完整
    發(fā)表于 06-14 09:14

    穩(wěn)態(tài)熱暈非暈效應(yīng)的數(shù)值分析

    【作者】:孫運(yùn)強(qiáng);許曉軍;習(xí)鋒杰;陸啟生;吳武明;郭少鋒;【來(lái)源】:《強(qiáng)激光與粒子束》2010年02期【摘要】:運(yùn)用高斯光束展開(kāi)的方法,分析圓對(duì)稱平頂光束在大氣傳輸中的熱暈及其非暈效應(yīng)。通過(guò)對(duì)熱暈
    發(fā)表于 04-22 11:37

    電磁兼容分析方法

    電磁兼容要求給出最佳工程設(shè)計(jì)的方法。系統(tǒng)法從設(shè)計(jì)開(kāi)始就預(yù)測(cè)和分析電磁兼,并在系統(tǒng)設(shè)計(jì)、制造、組裝和試驗(yàn)過(guò)程中不斷對(duì)其電磁兼容性能進(jìn)行預(yù)測(cè)和分析,由于系統(tǒng)中相互關(guān)系很多,因此用系統(tǒng)法進(jìn)
    發(fā)表于 08-25 08:45

    離線計(jì)算中的和DataWorks中的相關(guān)事項(xiàng)

    考慮到,導(dǎo)致對(duì)應(yīng)的單據(jù)有兩條確認(rèn)記錄。點(diǎn)此查看原文:http://click.aliyun.com/m/42758/概念這個(gè)詞在軟
    發(fā)表于 02-27 13:24

    一種在分布式環(huán)境下實(shí)現(xiàn)迭代聚類的方法

    為解決迭代聚類算法并行實(shí)現(xiàn)中存在的編程繁瑣、效率低下等問(wèn)題,基于Spark大規(guī)模數(shù)據(jù)通用計(jì)算引擎及其GraphX組件,提出了一種在分布式環(huán)境下實(shí)現(xiàn)迭代聚類的方法。首先,利用某種相似
    發(fā)表于 12-11 15:29 ?0次下載
    一種在分布式環(huán)境下實(shí)現(xiàn)<b class='flag-5'>冪</b>迭代聚類的<b class='flag-5'>方法</b>

    基于迭代的電力系統(tǒng)模態(tài)諧振快速求解方法

    在諧波諧振分析方法中,模態(tài)分析方法可以揭示諧振頻率、諧振幅度、諧振關(guān)鍵節(jié)點(diǎn)或位置信息,得到了較快的推廣和應(yīng)用,但其計(jì)算效率尚有待提高。根據(jù)
    發(fā)表于 01-03 11:43 ?0次下載

    在高并發(fā)下怎么保證接口的?

    前言 接口性問(wèn)題,對(duì)于開(kāi)發(fā)人員來(lái)說(shuō),是一個(gè)跟語(yǔ)言無(wú)關(guān)的公共問(wèn)題。本文分享了一些解決這類問(wèn)題非常實(shí)用的辦法,絕大部分內(nèi)容我在項(xiàng)目中實(shí)踐過(guò)的,給有需要的小伙伴一個(gè)參考。 不知道你有沒(méi)有遇到過(guò)這些場(chǎng)景
    的頭像 發(fā)表于 05-14 10:23 ?1765次閱讀
    在高并發(fā)下怎么保證接口的<b class='flag-5'>冪</b><b class='flag-5'>等</b><b class='flag-5'>性</b>?

    電子產(chǎn)品可靠設(shè)計(jì)及分析方法綜述

    電子產(chǎn)品可靠設(shè)計(jì)及分析方法綜述
    發(fā)表于 07-31 16:11 ?25次下載

    什么是?關(guān)于接口的解決方案

    這里的樂(lè)觀鎖指的是用樂(lè)觀鎖的原理去實(shí)現(xiàn),為數(shù)據(jù)字段增加一個(gè)version字段,當(dāng)數(shù)據(jù)需要更新時(shí),先去數(shù)據(jù)庫(kù)里獲取此時(shí)的version版本號(hào)
    發(fā)表于 10-09 10:19 ?1895次閱讀

    Spring Boot實(shí)現(xiàn)接口的4種方案

    是一個(gè)數(shù)學(xué)與計(jì)算機(jī)學(xué)概念,在數(shù)學(xué)中某一元運(yùn)算為時(shí),其作用在任一元素兩次后會(huì)和其作用一次的結(jié)果相同。
    的頭像 發(fā)表于 11-08 10:21 ?964次閱讀

    什么是?的實(shí)現(xiàn)原理

    在編程中一個(gè)操作的特點(diǎn)是其任意多次執(zhí)行所產(chǎn)生的影響均與一次執(zhí)行的影響相同。函數(shù),或
    發(fā)表于 01-05 10:40 ?5976次閱讀

    一個(gè)注解,優(yōu)雅的實(shí)現(xiàn)接口!

    除了查詢和刪除之外,還有更新操作,同樣的更新操作在大多數(shù)場(chǎng)景下也是天然的,其例外是也會(huì)存在ABA的問(wèn)題,更重要的是,比如執(zhí)行update table set a = a + 1 where v = 1這樣的更新就非等了。
    的頭像 發(fā)表于 08-26 14:36 ?845次閱讀
    一個(gè)注解,優(yōu)雅的實(shí)現(xiàn)接口<b class='flag-5'>冪</b><b class='flag-5'>等</b><b class='flag-5'>性</b>!

    基于接口解決方案

    接口是指無(wú)論調(diào)用接口的次數(shù)是一次還是多次,對(duì)于同一資源的操作都只會(huì)產(chǎn)生一次結(jié)果。換句話說(shuō),多次重復(fù)調(diào)用相同的接口請(qǐng)求應(yīng)該具有與單次請(qǐng)求相同的效果,不會(huì)導(dǎo)致不一致或副作用的發(fā)生。 今天我們
    的頭像 發(fā)表于 09-30 16:27 ?406次閱讀
    基于接口<b class='flag-5'>冪</b><b class='flag-5'>等</b><b class='flag-5'>性</b>解決方案

    和非請(qǐng)求的一些定義和分析

    , HEAD, OPTIONS, PUT or DELETE). ” 什么意思呢?默認(rèn)情況下,只有當(dāng)出現(xiàn)網(wǎng)絡(luò)問(wèn)題,是“請(qǐng)求”的 5xx 狀態(tài)碼的情況下,才會(huì)發(fā)起重試,而這里面并不包含 POST 請(qǐng)求。 我就好奇了,這
    的頭像 發(fā)表于 10-17 10:50 ?723次閱讀

    探索LabVIEW編程接口原理與實(shí)踐

    原來(lái)是數(shù)學(xué)上的概念,在編程領(lǐng)域可以理解為:多次請(qǐng)求某一個(gè)資源或執(zhí)行某一個(gè)操作時(shí)應(yīng)該具有唯一同樣結(jié)果,也就是說(shuō),其任意多次執(zhí)行對(duì)資源
    的頭像 發(fā)表于 02-29 10:24 ?544次閱讀
    探索LabVIEW編程接口<b class='flag-5'>冪</b><b class='flag-5'>等</b><b class='flag-5'>性</b>原理與實(shí)踐