開源機(jī)器學(xué)習(xí)平臺(tái)TensorFlow的更新內(nèi)容

TensorFlow 2.2.0-rc0已發(fā)布，據(jù)官方介紹，TensorFlow 是一個(gè)采用數(shù)據(jù)流圖（data flow graphs），用于數(shù)值計(jì)算的開源軟件庫。節(jié)點(diǎn)（Nodes）在圖中表示數(shù)學(xué)操作，圖中的線（edges）則表示在節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)數(shù)組，即張量（tensor）。它靈活的架構(gòu)讓你可以在多種平臺(tái)上展開計(jì)算，例如臺(tái)式計(jì)算機(jī)中的一個(gè)或多個(gè)CPU（或GPU），服務(wù)器，移動(dòng)設(shè)備等等。TensorFlow 最初由Google大腦小組（隸屬于Google機(jī)器智能研究機(jī)構(gòu)）的研究員和工程師們開發(fā)出來，用于機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)方面的研究，但這個(gè)系統(tǒng)的通用性使其也可廣泛用于其他計(jì)算領(lǐng)域。

更新內(nèi)容如下：

主要特性和改進(jìn)

將字符串張量的標(biāo)量類型從std::string替換為tensorflow::tstring

TF 2 的新 Profiler，用于 CPU/GPU/TPU。它提供設(shè)備和主機(jī)性能分析，包括輸入管道和 TF Ops。

不推薦使用 SWIG，而是使用 pybind11 將 C++ 函數(shù)導(dǎo)出到 Python，這是棄用 Swig 所作努力的一部分。

tf.distribute:

tf.keras:

tf.lite:

XLA

將 NVIDIA NCCL 更新到 2.5.7-1，以獲得更好的性能和性能調(diào)整。

支持在 float16 中減少梯度。

所有實(shí)驗(yàn)的支持都減少了梯度壓縮，以允許使用反向路徑計(jì)算進(jìn)行重疊梯度聚合。

通過使用新添加的 tf.keras.layers.experimental.SyncBatchNormalization 層，添加了對(duì)全局同步 BatchNormalization 的支持。該層將在參與同步訓(xùn)練的所有副本之間同步 BatchNormalization 統(tǒng)計(jì)信息。

使用 tf.distribute.experimental.MultiWorkerMirroredStrategy 提高 GPU 多工分布式培訓(xùn)的性能

可以通過覆蓋 Model.train_step 將自定義訓(xùn)練邏輯與 Model.fit 結(jié)合使用。

輕松編寫最新的培訓(xùn)循環(huán)，而不必?fù)?dān)心 Model.fit 為你處理的所有功能（分發(fā)策略，回調(diào)，數(shù)據(jù)格式，循環(huán)邏輯等）

Model.fit的主要改進(jìn)：

現(xiàn)在，SavedModel 格式支持所有 Keras 內(nèi)置層（包括指標(biāo)，預(yù)處理層和有狀態(tài) RNN 層）

默認(rèn)情況下啟用 TFLite 實(shí)驗(yàn)性新轉(zhuǎn)換器。

XLA 現(xiàn)在可以在 Windows 上構(gòu)建并運(yùn)行。所有預(yù)構(gòu)建的軟件包都隨附有 XLA。

可以在 CPU 和 GPU 上使用“編譯或拋出異?！闭Z義為 tf.function 啟用 XLA。