Python 中怎么來實現(xiàn)類似 Cache 的功能

cachetools，這是一個可擴展的基于內存的 Collections、Decorators 的封裝實現(xiàn)。

因為是 Cache，那么就一定有它的頁面置換算法。根據(jù)操作系統(tǒng)學過的一些知識，置換算法就會有 LRU、LFU、FIFO 等等。比如說，當 Cache 已經(jīng)滿了的情況下，如果這時候再插入一個新的數(shù)據(jù)，那么這時候就需要根據(jù)頁面置換算法對已有的數(shù)據(jù)進行置換，用新的數(shù)據(jù)替代舊的數(shù)據(jù)，保證 Cache 最大占用量不會超標。

廢話不多說了，這里我們來體驗下這個庫的具體用法吧。

首先是安裝，直接使用 pip3 安裝即可：

pip3 install cachetools

安裝好之后，我們再來看看它的具體用法。

基本 Cache 的使用

我們來看一個簡單的實例：

from cachetools import Cache

cache = Cache(maxsize=3)
cache['1'] = 'Hello'
cache['2'] = 'World'
print('current size', cache.currsize)
cache.pop('2')
print(cache.items)
print('length', len(cache))
cache['3'] = 'Hello'
cache['4'] = 'World'
print('current size', cache.currsize)
cache['5'] = 'Hello'
print('current size', cache.currsize)
print(cache.items)

運行結果如下：

current size 2
 bound method Mapping.items of Cache([('1', 'Hello')], maxsize=3, currsize=1) >
length 1
current size 3
current size 3
 bound method Mapping.items of Cache([('3', 'Hello'), ('4', 'World'), ('5', 'Hello')], maxsize=3, currsize=3) >

首先這里聲明了一個 Cache 對象，有一個必傳的參數(shù)是 maxsize，這里設置為 3，這里的 3 其實就是長度的意思，并不是實際內存占用大小。

接著我們賦值了 1 和 2 兩個鍵名，接著打印出來了當前 Cache 的大小，所以結果就是 2，這個 size 就是一個單純的數(shù)量值。

然后接著調用了 pop 方法移除了 2 對應的內容，然后打印 Cache 的所有內容和對應長度，理所應當，長度就是 2，然后就剩下一個值。

接著我們又賦值了 3 和 4 兩個鍵名，然后打印了當前 Cache 的大小，這會 Cache 達到了 maxsize，結果就是 3。

最后我們又賦值了 5 這個鍵名，然后打印了當前 Cache 的大小和 Cache 的所有內容，因為 Cache 已經(jīng)達到了 maxsize 了，所以結果依然是 3，最前面的 1 這個鍵名對應的內容就被移除了。

所以，這個 Cache 對象可以維持一個最大恒定大小，并且保證長度不會超過 maxsize。

其他 Cache 的使用

當然除了 Cache，還有一些 Cache 的子類，比如說 FIFOCache、LFUCahce、LRUCache、MRUCache、RRCache，這里簡單說下：

• FIFO：First In、First Out，就是先進先出。
• LFU：Least Frequently Used，就是淘汰最不常用的。
• LRU：Least Recently Used，就是淘汰最久不用的。
• MRU：Most Recently Used，與 LRU 相反，淘汰最近用的。
• RR：Random Replacement，就是隨機替換。

具體的實例這里就不再講解了。

特殊 TTLCache 的使用

當然除了基本的 Cache，cachetools 還提供了一種特殊的 Cache 實現(xiàn)，叫做 TTLCache。

TTL 就是 time-to-live 的簡稱，也就是說，Cache 中的每個元素都是有過期時間的，如果超過了這個時間，那這個元素就會被自動銷毀。如果都沒過期并且 Cache 已經(jīng)滿了的話，那就會采用 LRU 置換算法來替換掉最久不用的，以此來保證數(shù)量。

下面我們來看一個樣例：

from datetime import timedelta, datetime
from cachetools import TTLCache
from time import sleep

cache = TTLCache(maxsize=3, ttl=timedelta(seconds=5), timer=datetime.now)
cache['1'] = 'Hello'
sleep(1)
cache['2'] = 'World'
print(cache.items)
sleep(4.5)
print(cache.items)
sleep(1)
print(cache.items)

運行結果如下：

這里我們聲明了一個 TTLCache，maxsize 是 3，然后 ttl 設置為了 5 秒，也就是說，每個元素 5 秒之后都會過期。

首先我們賦值 1 這個鍵名為 Hello，然后 1 秒之后賦值 2 這個鍵名為 World，接著將現(xiàn)有 Cache 的結果輸出出來。

接著等待 4.5 秒，這時候 1 這個鍵名就已經(jīng)超過 5 秒了，所以 1 這個鍵名理應就被銷毀了。

接著再等待 1 秒，這時候 2 這個鍵名也超過 5 秒了，所以 2 這個鍵名也理應就被銷毀了。

最后看運行結果也如我們期望的一樣。

大小計算

有的同學說，你這里 maxsize 用的這個數(shù)字指的是內容的長度，但實際上不同的內容占用的空間是完全不一樣的，有沒有根據(jù)實際內存占用來計算 size 的方法呢？

有的！

這里我們只需要替換掉 Cache 的 getsizeof 方法即可。

這里我們需要額外引入一個庫，叫做 pympler，它提供了一個 asizeof 方法可以計算實際 Object 的占用內存大小，單位是 bytes。

pympler 安裝：

pip3 install pympler

所以，如果我們要設置 Cache 占用的最大內存大小，比如 2MB，那就可以這么設置：

from cachetools import Cache
from pympler import asizeof

cache = Cache(maxsize=2 * 1024 * 1024, getsizeof=asizeof.asizeof)
cache['a'] = '123'
print(cache.currsize)
cache['b'] = '123'
print(cache.currsize)
cache['c'] = '456'
print(cache.currsize)
cache['d'] = {
    'a': 'b',
    'b': 'c',
    'c': 'd'
}
print(cache.currsize)

這里 maxsize 我們就設置為了 2MB，同時 getsizeof 方法設置為了 pympler 的 asizeof 方法，這樣 Cache 在計算 size 的時候就會用 asizeof 方法了。

這里我們隨便插入一些數(shù)據(jù)，看看實際的 size 變化，運行結果如下：

56
112
168
640

其結果就是 Cache 占用的字節(jié)數(shù)?？梢钥吹綌?shù)據(jù)的復雜度高，占用的空間越大。

更多

好了，其實到現(xiàn)在為止，基本的 Cache 和 TTLCache 就夠我們使用了。