您好,歡迎來電子發(fā)燒友網(wǎng)! ,新用戶?[免費(fèi)注冊]

您的位置:電子發(fā)燒友網(wǎng)>源碼下載>數(shù)值算法/人工智能>

實(shí)例分析Schemaless的主要功能

大?。?/span>0.5 MB 人氣: 2017-10-12 需要積分:1

  

  本文介紹Schemaless的主要功能:Schemaless trigger的細(xì)節(jié)與案例。本文是系列文章的第三部分;第一部分是關(guān)于Schemaless的設(shè)計(jì),第二部分是討論其架構(gòu)。

  Schemaless trigger是一項(xiàng)具有可擴(kuò)展性、容錯性和無損性的技術(shù),監(jiān)聽Schemaless實(shí)例中的變更。在行程(trip)流程中起到引擎的作用,從司機(jī)按下“結(jié)束行程”并向系統(tǒng)提交費(fèi)用,直到相應(yīng)數(shù)據(jù)進(jìn)入數(shù)據(jù)庫等待分析。在Schemaless系列的最后一篇中,我們將深入講解Schemaless trigger的功能,以及如何開發(fā)出這個(gè)可擴(kuò)展的容錯系統(tǒng)。

  簡單來說,在Schemaless數(shù)據(jù)的基本單位被命名為單元(cell)。它是不可變的,一旦寫入,便無法被覆蓋。(在特殊情況下,我們可以刪除舊記錄);單元可以被行鍵(row key)、列名(column name)和引用鍵(ref key)來引用;單元內(nèi)容通過編寫引用鍵更高的新版來執(zhí)行更新,但行鍵和列名保持不變。Schemaless不對其中存儲的數(shù)據(jù)執(zhí)行任何操作(故而命名schemaless)。從Schemaless的觀點(diǎn)來看,它只負(fù)責(zé)存儲JSON對象。

  Schemaless Trigger案例

  我們來看一下實(shí)踐中Schemaless trigger的運(yùn)作方式。下面的代碼是簡化版的異步計(jì)費(fèi)方式(大寫標(biāo)注Schemaless的列名)。案例Python代碼:

  #我們實(shí)例化一個(gè)客戶端,以便與Schemaless實(shí)例通訊schemaless_client = SchemalessClient(datastore=’mezzanine’) #為BASE列注冊一個(gè)bill_rider功能@trigger(column=’BASE’)defbill_rider(row_key):# row_key是行程的UUIDstatus = schemaless_client.get_cell_latest(row_key, ‘STATUS’) ifstatus.is_completed: #也就是說我們已經(jīng)提交了乘客的賬單return#否則就嘗試提交賬單#我們從BASE列拿到了基本行程信息trip_info = schemaless_client.get_cell_latest(row_key, ‘BASE’) #提交乘客賬單result = call_to_credit_card_processor_for_billing_trip(trip_info) ifresult != ‘SUCCESS’: #提交例外,讓Schemaless trigger稍后重試。raiseCouldNotBillRider() #成功提交乘客賬單,寫入Mezzanineschemaless_client.put(row_key, status, body={‘is_completed’: True, ‘result’: result})

  在Schemaless實(shí)例中,我們在函數(shù)中通過添加decorator@trigger來定義trigger,并指定列。如果指定列的單元中有內(nèi)容,通知Schemaless trigger框架調(diào)用函數(shù)——本例是bill_rider。這里通過BASE中的一個(gè)新單元表明行程結(jié)束。觸發(fā)trigger,然后通過函數(shù)來發(fā)送行鍵——本例是行程UUID。如果需要更多數(shù)據(jù),必須從Schemaless實(shí)例——本例是從行程存儲Mezzanine中獲取真實(shí)數(shù)據(jù)。

  bill_rider trigger函數(shù)的信息流見下表(這里是乘客結(jié)賬)。箭頭方向指明調(diào)用方與被調(diào)方,旁邊的數(shù)字指明流程的順序:

  實(shí)例分析Schemaless的主要功能

  首先將行程輸入Mezzanine,Schemaless Trigger框架調(diào)用bill_rider。在調(diào)用時(shí),函數(shù)向行程存儲請求STATUS列的最新信息。本例中is_completed字段不存在,也就是說乘客尚未結(jié)賬。然后獲得BASE列的行程信息,通過函數(shù)調(diào)用信用卡provider來結(jié)賬。在本例中,我們成功用信用卡付費(fèi),并返回成功信息到Mezzanine,然后設(shè)置STATUS列的is_completed為True。

  Trigger框架確保在每個(gè)Schemaless實(shí)例中的每個(gè)單元至少調(diào)用bill_rider一次。一般來說只觸發(fā)trigger函數(shù)一次,不過在出錯的情況下(無論是trigger功能還是其他功能短暫出錯),都可能需要多次調(diào)用該函數(shù)。也就是說trigger函數(shù)是冪等的,在本例中要檢查單元是否處理完畢。如果答案為是,則返回函數(shù)。

  在查看下文中Schemaless如何在流程中提供支持時(shí),要記得這個(gè)案例。我們將會解釋Schemaless如何被看作變更日志,并討論與Schemaless相關(guān)的API,分享讓流程支持可擴(kuò)展和可容錯的技術(shù)。

  將Schemaless視為日志

  Schemaless包含所有單元,也就是說包含指定行鍵、列keypair的所有版本。由于包含單元的所有歷史版本,除了隨機(jī)訪問key-value存儲外,Schemaless還可作為變更日志。事實(shí)上它就是一個(gè)分區(qū)日志,每個(gè)分片都是自己的日志,如下圖:

  

  根據(jù)行鍵(也就是UUID)將每個(gè)單元寫入特定的分片。分片中的所有單元都有唯一標(biāo)識符,稱為添加ID。添加ID是一個(gè)自動遞增的字段,代表著單元的插入順序(越新的單元,添加ID的數(shù)字越大)。除了添加ID之外,每個(gè)單元都有單元寫入的時(shí)間(datetime)。在所有分片備份中,單元的添加ID是唯一的,這點(diǎn)對于故障時(shí)轉(zhuǎn)移非常重要。

  Schemaless的API支持隨機(jī)訪問和日志類訪問。隨機(jī)訪問API是針對單獨(dú)的單元,均由row_key、column_key和ref_key一同定義。

非常好我支持^.^

(0) 0%

不好我反對

(0) 0%

      發(fā)表評論

      用戶評論
      評價(jià):好評中評差評

      發(fā)表評論,獲取積分! 請遵守相關(guān)規(guī)定!

      ?