在大多數(shù)面向初學(xué)者的TensorFlow教程里,作者通常會(huì)建議讀者在會(huì)話(huà)中用feed_dict為模型導(dǎo)入數(shù)據(jù)——feed_dict是一個(gè)字典,能為占位符饋送數(shù)據(jù)。但是,其實(shí)TF提供了另一種更好的、更簡(jiǎn)單的方法:只需使用tf.dataAPI,你就能用幾行代碼搞定高性能數(shù)據(jù)管道。
那么tf.data的優(yōu)勢(shì)具體在哪里呢?如下圖所示,雖然feed_dict的靈活性大家有目共睹,但每當(dāng)我們需要等待CPU把數(shù)據(jù)饋送進(jìn)來(lái)時(shí),GPU就一直處于閑置狀態(tài),也就是程序運(yùn)行效率太低。
而tf.data管道沒(méi)有這個(gè)問(wèn)題,它能提前抓取下個(gè)batch的數(shù)據(jù),降低總體閑置時(shí)間。在這個(gè)基礎(chǔ)上,如果我們采用并行數(shù)據(jù)導(dǎo)入,或者事先進(jìn)行數(shù)據(jù)預(yù)處理,整個(gè)過(guò)程就更快了。
在5分鐘內(nèi)實(shí)現(xiàn)小型圖像管道
要構(gòu)建一個(gè)簡(jiǎn)單數(shù)據(jù)管道,首先我們需要兩個(gè)對(duì)象:一個(gè)用于存儲(chǔ)數(shù)據(jù)集的tf.data.Dataset,以及一個(gè)允許我們逐個(gè)從數(shù)據(jù)集中提取樣本的tf.data.Iterator。
對(duì)于tf.data.Dataset,它在圖像管道中是這樣的:
[
[Tensor(image), Tensor(label)],
[Tensor(image), Tensor(label)],
...
]
之后我們就可以用tf.data.Iterator逐個(gè)檢索圖像標(biāo)簽對(duì)。在實(shí)踐中,多個(gè)圖像標(biāo)簽對(duì)通常會(huì)組成元素序列,方便迭代器進(jìn)行提取。
至于數(shù)據(jù)集,DatasetAPI有兩種創(chuàng)建數(shù)據(jù)集的方法,其一是從源(如Python中的文件名列表)創(chuàng)建數(shù)據(jù)集,其二是可以直接在現(xiàn)有數(shù)據(jù)集上應(yīng)用轉(zhuǎn)換,下面是一些示例:
Dataset(list of image files) → Dataset(actual images)
Dataset(6400 images) → Dataset(64 batches with 100 images each)
Dataset(list of audio files) → Dataset(shuffled list of audio files)
定義計(jì)算圖
小型圖像管道的大致情況如下圖所示:
所有代碼都和模型、損失、優(yōu)化器等一起放在我們的計(jì)算圖定義中。首先,我們要從文件列表中創(chuàng)建一個(gè)張量。
# define list of files
files = ['a.png', 'b.png', 'c.png', 'd.png']
# create a dataset from filenames
dataset = tf.data.Dataset.from_tensor_slices(files)
之后是定義一個(gè)函數(shù)來(lái)從其路徑加載圖像(作為張量),并調(diào)用tf.data.Dataset.map()把函數(shù)用于數(shù)據(jù)集中的所有元素(文件路徑)。如果想并行調(diào)用函數(shù),你也可以設(shè)置num_parallel_calls=n里的map()參數(shù)。
# Source
def load_image(path):
image_string = tf.read_file(path)
# Don't use tf.image.decode_image, or the output shape will be undefined
image = tf.image.decode_jpeg(image_string, channels=3)
# This will convert to float values in [0, 1]
image = tf.image.convert_image_dtype(image, tf.float32)
image = tf.image.resize_images(image, [image_size, image_size])
return image
# Apply the function load_image to each filename in the dataset
dataset = dataset.map(load_image, num_parallel_calls=8)
然后是用tf.data.Dataset.batch()創(chuàng)建batch:
# Create batches of 64 images each
dataset = dataset.batch(64)
如果想減少GPU閑置時(shí)間,我們可以在管道末尾添加tf.data.Dataset.prefetch(buffer_size),其中buffer_size這個(gè)參數(shù)表示預(yù)抓取的batch數(shù),我們一般設(shè)buffer_size=1,但在某些情況下,尤其是處理每個(gè)batch耗時(shí)不同時(shí),我們也可以適當(dāng)擴(kuò)大一點(diǎn)。
dataset = dataset.prefetch(buffer_size=1)
最后,我們?cè)賱?chuàng)建一個(gè)迭代器遍歷數(shù)據(jù)集。雖然迭代器的選擇有很多,但對(duì)于大多數(shù)任務(wù),我們還是建議選擇可以初始化的迭代器。
iterator = dataset.make_initializable_iterator()
調(diào)用tf.data.Iterator.get_next()創(chuàng)建占位符張量,每次評(píng)估時(shí),TensorFlow都會(huì)填充下一batch的圖像。
batch_of_images = iterator.get_next()
如果寫(xiě)到這里,你突然想換回feed_dict的方法,你可以用batch_of_images把之前的占位符全都替換掉。
運(yùn)行會(huì)話(huà)
現(xiàn)在,我們就可以向往常一樣運(yùn)行模型了。但在每個(gè)epoch前,記得先評(píng)估iterator.initializer的op和tf.errors.OutOfRangeError有沒(méi)有拋出異常。
with tf.Session() as session:
for i in range(epochs):
session.run(iterator.initializer)
try:
# Go through the entire dataset
whileTrue:
image_batch = session.run(batch_of_images)
except tf.errors.OutOfRangeError:
print('End of Epoch.')
nvidia-smi這個(gè)命令可以幫我們監(jiān)控GPU利用率,找到數(shù)據(jù)管道中的瓶頸。正常情況下,GPU的平均利用率應(yīng)該高于70%-80%。
更完整的數(shù)據(jù)管道
Shuffle
在Dataset里,tf.data.Dataset.shuffle()是一個(gè)比較常用的方法,它可以用來(lái)打亂數(shù)據(jù)集中的數(shù)據(jù)順序。它的參數(shù)buffer_size指定的是一次打亂的元素?cái)?shù)量,一般情況下,我們建議把這個(gè)參數(shù)值設(shè)大一點(diǎn),最好一次性就能把整個(gè)數(shù)據(jù)集洗牌,因?yàn)槿绻麉?shù)過(guò)小,它可能會(huì)造成意料之外的偏差。
dataset = tf.data.Dataset.from_tensor_slices(files)
dataset = dataset.shuffle(len(files))
數(shù)據(jù)增強(qiáng)
數(shù)據(jù)增強(qiáng)是擴(kuò)大數(shù)據(jù)集的一種常用方式,這方面常用的函數(shù)有tf.image.random_flip_left_right()、tf.image.random_brightness()和tf.image.random_saturation():
# Source
def train_preprocess(image):
image = tf.image.random_flip_left_right(image)
image = tf.image.random_brightness(image, max_delta=32.0 / 255.0)
image = tf.image.random_saturation(image, lower=0.5, upper=1.5)
# Make sure the image is still in [0, 1]
image = tf.clip_by_value(image, 0.0, 1.0)
return image
標(biāo)簽
要想在圖像上加載標(biāo)簽(或其他元數(shù)據(jù)),我們只需在創(chuàng)建初始數(shù)據(jù)集時(shí)就把它們包含在內(nèi):
# files is a python list of image filenames
# labels is a numpy array with label data for each image
dataset = tf.data.Dataset.from_tensor_slices((files, labels))
確保應(yīng)用于數(shù)據(jù)集的所有.map()函數(shù)都允許標(biāo)簽數(shù)據(jù)通過(guò):
def load_image(path, label):
# load image
return image, label
dataset = dataset.map(load_image)
-
gpu
+關(guān)注
關(guān)注
27文章
4590瀏覽量
128139 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1197瀏覽量
24535
原文標(biāo)題:構(gòu)建簡(jiǎn)單數(shù)據(jù)管道,為什么tf.data要比f(wàn)eed_dict更好?
文章出處:【微信號(hào):jqr_AI,微信公眾號(hào):論智】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論