TensorFlow 2.0最佳實(shí)踐及主要變化

為提高 TensorFlow 的工作效率，TensorFlow 2.0 進(jìn)行了多項(xiàng)更改，包括刪除了多余的 API，使API 更加一致統(tǒng)一，例如統(tǒng)一的 RNNs (循環(huán)神經(jīng)網(wǎng)絡(luò)），統(tǒng)一的優(yōu)化器，并且Python 運(yùn)行時(shí)更好地集成了 Eager execution 。

許多 RFC 已經(jīng)對(duì) TensorFlow 2.0 的這些更改給出了解釋。本指南基于您對(duì) TensorFlow 1.x 有一定的了解的前提，為您介紹在 TensorFlow 2.0 中的開(kāi)發(fā)有什么不同。

API 整理

在 TensorFlow 2.0 中，有許多 1.X 的 API 被刪除或移動(dòng)了。也有部分 1.X 的 API 被 2.0 版本的等價(jià) API 所替代：tf.summary，tf.keras.metrics 和 tf.keras.optimizers。自動(dòng)應(yīng)用這些重命名，最簡(jiǎn)單的方法是使用 TensorFlow 2.0 升級(jí)腳本。

Eager execution

TensorFlow 1.X 要求用戶(hù)通過(guò)調(diào)用 tf.* API 手動(dòng)的將抽象語(yǔ)法樹(shù)（圖）拼接在一起。然后，它要求用戶(hù)將一組輸出張量和輸入張量傳遞給 session.run() 調(diào)用，來(lái)手動(dòng)編譯抽象語(yǔ)法樹(shù)。相比之下，TensorFlow 2.0 executes eagerly（如正常使用 Python 一樣）在 2.0 的版本中，其 graphs（抽象語(yǔ)法樹(shù)）和 sessions 在實(shí)現(xiàn)的細(xì)節(jié)上應(yīng)該是一樣的。

不再有全局變量

TensorFlow 1.X 非常依賴(lài)于隱式全局命名空間。當(dāng)你調(diào)用 tf.Variable 時(shí)，它會(huì)被放入默認(rèn)圖中，即使你忘記了指向它的 Python 變量它也會(huì)留在那里。這時(shí)，您可以恢復(fù)該 tf.Variable()，但前提是您得知道它已創(chuàng)建的名稱(chēng)。如果您無(wú)法控制變量的創(chuàng)建，很難做到這一點(diǎn)。因此，各種機(jī)制以及尋找用戶(hù)創(chuàng)建變量的框架不斷涌現(xiàn)，試圖幫助用戶(hù)再次找到他們的變量。

TensorFlow 2.0 取消了所有這些機(jī)制（Variables 2.0 RFC），支持默認(rèn)機(jī)制：跟蹤變量！ 如果你不再用到某個(gè) tf.Variable，它就會(huì)被回收。

Functions, not sessions

session.run() 的調(diào)用幾乎類(lèi)似于函數(shù)調(diào)用：指定輸入和要調(diào)用的函數(shù)，然后返回一組輸出。在 TensorFlow 2.0 中，您可以使用 tf.function() 來(lái)修飾 Python 函數(shù)以將其標(biāo)記為 JIT（ Just-In-Time ）編譯，以便 TensorFlow 將其作為單個(gè)圖運(yùn)行（Functions 2.0 RFC）。

這種機(jī)制使得 TensorFlow 2.0 擁有圖模式的許多優(yōu)點(diǎn)：

性能：該函數(shù)可以被優(yōu)化，例如節(jié)點(diǎn)修剪，內(nèi)核融合等

可移植性：該函數(shù)可以導(dǎo)出 / 重新導(dǎo)入（SavedModel 2.0 RFC），允許用戶(hù)重用和將 TensorFlow 函數(shù)作為模塊共享

# TensorFlow 1.X

outputs = session.run(f(placeholder), feed_dict={placeholder: input})# TensorFlow 2.0

outputs = f(input)

由于能夠自由地穿插 Python 和 TensorFlow 代碼，您能夠充分利用 Python 的表現(xiàn)力。而且，可移植的 TensorFlow 在沒(méi)有 Python 解釋器的情況下也可執(zhí)行。比如：mobile，C ++ 和 JS。避免用戶(hù)在添加 @tf.function 時(shí)重寫(xiě)代碼，AutoGraph 會(huì)將 Python 構(gòu)造的一個(gè)子集轉(zhuǎn)換成 TensorFlow 等價(jià)物。

TensorFlow 2.0 常用的建議

將代碼重構(gòu)為更小的函數(shù)

TensorFlow 1.X 中的常見(jiàn)使用模式是 “kitchen sink” 策略，即預(yù)先列出所有可能計(jì)算的并集，然后通過(guò) session.run() 計(jì)算選定的張量。在 TensorFlow 2.0 中，用戶(hù)應(yīng)該根據(jù)需求將代碼重構(gòu)為更小的函數(shù)。通常情況下，沒(méi)有必要用 tf.function 來(lái)修飾這些較小的函數(shù)；僅使用 tf.function 來(lái)修飾高級(jí)計(jì)算 — 例如，使用只有一個(gè)步驟的訓(xùn)練或使用模型的正向傳遞，將代碼重構(gòu)為更小的函數(shù)。

使用 Keras 層和模型來(lái)管理變量

Keras 模型和層提供了方便的變量和 trainable_variables 屬性，以遞歸方式收集所有因變量。這使得本地化管理變量非常方便。

Keras 層 / 模型繼承自 tf.train.Checkpointable 并與 @ tf.function 集成，這使得直接檢查點(diǎn)或從 Keras 對(duì)象導(dǎo)出 SavedModel 成為可能。您不一定要使用 Keras 的 fit() API 來(lái)集成。

結(jié)合 tf.data.Datasets 和 @tf.function

在迭代適合內(nèi)存的訓(xùn)練數(shù)據(jù)時(shí)，可以使用常規(guī)的 Python 循環(huán)。除此之外，tf.data.Dataset 則是從磁盤(pán)傳輸訓(xùn)練數(shù)據(jù)的最好方法。數(shù)據(jù)集是可迭代的（不是迭代器），工作方式與其他 Python 循環(huán)類(lèi)似。如果您想使用 AutoGraph 的等效圖操作替換 Python 循環(huán)，可以通過(guò)將代碼包裝在 tf.function() 中，充分利用數(shù)據(jù)集異步預(yù)取 / 流功能來(lái)實(shí)現(xiàn)。

@tf.function

def train(model, dataset, optimizer):

for x, y in dataset:

with tf.GradientTape() as tape:

prediction = model(x)

loss = loss_fn(prediction, y)

gradients = tape.gradients(loss, model.trainable_variables)

optimizer.apply_gradients(gradients, model.trainable_variables)

如果您使用 Keras.fit() API，則無(wú)需擔(dān)心數(shù)據(jù)集迭代。

model.compile(optimizer=optimizer, loss=loss_fn)

model.fit(dataset)

利用 AutoGraph 和 Python 控制流程

AutoGraph 提供了一種將依賴(lài)于數(shù)據(jù)的控制流轉(zhuǎn)換為圖模式等價(jià)的方法，如 tf.cond 和 tf.while_loop。

數(shù)據(jù)相關(guān)控制流常見(jiàn)出現(xiàn)于序列模型中。tf.keras.layers.RNN 包裝了 RNN 單元，允許您靜態(tài)或動(dòng)態(tài)地展開(kāi)循環(huán)神經(jīng)網(wǎng)絡(luò)。為了演示，您可以重新實(shí)現(xiàn)動(dòng)態(tài)展開(kāi)，如下所示：

class DynamicRNN(tf.keras.Model):

def __init__(self, rnn_cell):

super(DynamicRNN, self).__init__(self)

self.cell = rnn_cell

def call(self, input_data):

# [batch, time, features] -> [time, batch, features]

input_data = tf.transpose(input_data, [1, 0, 2])

outputs = tf.TensorArray(tf.float32, input_data.shape[0])

state = self.cell.zero_state(input_data.shape[1], dtype=tf.float32)

for i in tf.range(input_data.shape[0]):

output, state = self.cell(input_data[i], state)

outputs = outputs.write(i, output)

return tf.transpose(outputs.stack(), [1, 0, 2]), state

使用 tf.metrics 聚合數(shù)據(jù)，使用 tf.summary 記錄數(shù)據(jù)

一套完整的 tf.summary 接口即將發(fā)布。您可以使用以下命令訪問(wèn) tf.summary 的 2.0 版本：

fromtensorflow.python.ops importsummary_ops_v2

有關(guān)詳細(xì)信息，請(qǐng)參閱文末鏈接：

https://github.com/tensorflow/docs/blob/master/site/en/r2/guide/effective_tf2.md