TensorFlow 2.0有什么樣的新功能

TensorFlow 已經(jīng)發(fā)展為世界上最受歡迎和被廣泛采用的機(jī)器學(xué)習(xí)平臺之一，我們衷心感謝一直以來支持我們的各界的開發(fā)者和他們的貢獻(xiàn)：

研究人員：（預(yù)測地震余震、檢測前列腺癌……）

開發(fā)人員：（識別患病植物、幫助人們減肥的應(yīng)用 …… ）

企業(yè)應(yīng)用：（中國電信、浙江移動、金山、扇貝……，通過 AI 改善客戶體驗）

還有很多 ……

2018 年 11 月，TensorFlow 迎來了它的 3 歲生日，我們回顧了幾年來它增加的功能，進(jìn)而對另一個重要里程碑 TensorFlow 2.0 感到興奮！

TensorFlow 2.0 將專注于簡單性和易用性，具有以下更新：

使用 Keras 和 eager execution，輕松構(gòu)建模型

在任意平臺上實現(xiàn)生產(chǎn)環(huán)境的穩(wěn)健模型部署

為研究提供強(qiáng)大的實驗工具

通過清理廢棄的 API 和減少重復(fù)來簡化 API

在過去的幾年里，我們?yōu)?TensorFlow 添加了許多組件。在 TensorFlow 2.0 中，它們將被打包成一個全面的平臺，支持從訓(xùn)練到部署的機(jī)器學(xué)習(xí)工作流程。讓我們使用如下所示的簡化概念圖來了解 TensorFlow 2.0 的新架構(gòu)：

注：上圖的訓(xùn)練部分雖然側(cè)重于 Python API，但 TensorFlow.js 也支持訓(xùn)練模型。

也支持其他語言，包括 Swift，R 和 Julia

簡單的模型構(gòu)建

在最近的文章中，我們宣布 Keras API 將成為 TensorFlow 中構(gòu)建和訓(xùn)練模型的核心高級 API。Keras API 使得使用 TensorFlow 開啟項目變得簡單。重要的是，Keras 提供了幾個模型構(gòu)建 API ( Sequential, Functional, 和 Subclassing )，因此您可以選擇適合的抽象級別。TensorFlow 的實現(xiàn)包含多項增強(qiáng)功能，包括即時迭代和直觀調(diào)試，以及 tf.data，用于構(gòu)建可擴(kuò)展的輸入管道。

下面是一個工作流程示例( 在接下來的幾個月里，我們將更新下面所述內(nèi)容的指南 )：

使用 tf.data 加載數(shù)據(jù)。使用輸入管道讀取訓(xùn)練數(shù)據(jù)，用 tf.data 創(chuàng)建的輸入線程讀取訓(xùn)練數(shù)據(jù)。使用 tf.feature_column 描述特征，例如嵌套和特征交叉。還支持從內(nèi)存數(shù)據(jù)（例如 NumPy）中方便地輸入

使用 tf.Keras 或 Premade Estimators 構(gòu)建、訓(xùn)練和驗證模型。Keras 與 TensorFlow 的其余部分緊密集成，因此您可以隨時訪問 TensorFlow 的功能。一組標(biāo)準(zhǔn)的打包模型 ( 例如，線性或邏輯回歸、梯度增強(qiáng)樹、隨機(jī)森林 ) 也可以直接使用 ( 利用 tf.estimator API 實現(xiàn) )。如果你不想從頭開始訓(xùn)練一個模型，你很快就能通過 TensorFlow Hub 的模塊利用遷移學(xué)習(xí)來訓(xùn)練 Keras 或 Estimator 模型

使用 eager execution 運(yùn)行和調(diào)試，然后在圖形上使用 tf.function。TensorFlow 2.0 在默認(rèn)情況下以 eager execution 方式運(yùn)行，以便于使用和順利調(diào)試。此外，tf.function annotation 透明地將 Python 程序轉(zhuǎn)換成 TensorFlow 圖。這個過程保留了 1.x TensorFlow 基于圖執(zhí)行的所有優(yōu)點：性能優(yōu)化、遠(yuǎn)程執(zhí)行以及輕松序列化、導(dǎo)出和部署的能力，同時增加了使用簡單的 Python 表達(dá)程序的靈活性和易用性

使用分布策略進(jìn)行分布式訓(xùn)練。對于大型機(jī)器學(xué)習(xí)訓(xùn)練任務(wù)來講，Distribution Strategy API 使得在不更改模型定義的情況下，在不同硬件配置上分布和訓(xùn)練模型變得很容易。由于 TensorFlow 提供了對 CPU、GPU 和 TPU 等一系列硬件加速器的支持，因此可以將訓(xùn)練工作負(fù)載分布到單節(jié)點 / 多加速器以及多節(jié)點 / 多加速器配置，包括 TPU Pods。雖然此 API 支持各種集群配置，但還提供了在本地或云環(huán)境中部署 Kubernetes 集群訓(xùn)練的模板

導(dǎo)出到 SavedModel。TensorFlow 將在 SavedModel 上標(biāo)準(zhǔn)化，作為 TensorFlowServing、TensorFlow Lite、TensorFlow.js、TensorFlow Hub 等的交換格式

想要了解 TensorFlow 指南詳細(xì)信息，請參閱：

https://tensorflow.google.cn/guide/?hl=zh-CN

在任何平臺上的生產(chǎn)環(huán)境中進(jìn)行穩(wěn)健的模型部署

TensorFlow 始終為生產(chǎn)提供了直接途徑。無論是在服務(wù)器、邊緣設(shè)備或者 web上，無論您使用哪種語言或平臺，TensorFlow 都可以讓您輕松地訓(xùn)練和部署模型。在 TensorFlow 2.0 中，我們通過標(biāo)準(zhǔn)化交換格式和調(diào)整 API 來提高平臺和組件之間的兼容性和一致性。

一旦您訓(xùn)練并保存了模型，就可以直接在應(yīng)用程序中執(zhí)行它，或者使用以下部署庫之一為它提供服務(wù)：

TensorFlow Serving：TensorFlow 庫允許模型通過 HTTP / REST 或 gRPC / 協(xié)議緩沖區(qū)提供服務(wù)

TensorFlow Lite：TensorFlow 針對移動和嵌入式設(shè)備的輕量級解決方案提供了在 Android、iOS 和 Raspberry Pi 和 Edge tpu 等嵌入式系統(tǒng)上部署模型的能力

TensorFlow.js：支持在 JavaScript 環(huán)境中部署模型，例如通過 Node.js 在 web 瀏覽器或服務(wù)器端部署模型。TensorFlow.js 還支持用 JavaScript 定義模型，并使用類似于 keras 的 API 直接在 web 瀏覽器中進(jìn)行訓(xùn)練

TensorFlow 還支持其他語言( 一些由更廣泛的社區(qū)維護(hù) )，包括 C,Java,Go,C#,Rust,Julia,R 等。

為研究提供強(qiáng)大的實驗工具

TensorFlow 使從概念到代碼、從模型到發(fā)布的新思想變得容易。TensorFlow 2.0 集成了許多功能，可以在不犧牲速度或性能的情況下定義和訓(xùn)練最新模型：

Keras Functional API和Model Subclassing API：允許創(chuàng)建復(fù)雜的拓?fù)?，包括使用剩余層、自定義的多輸入 / 輸出模型和強(qiáng)制寫入的正向傳遞

自定義訓(xùn)練邏輯：使用 tf.GradientTape 和 tf.custom_gradient 對梯度計算進(jìn)行細(xì)粒度控制

為了獲得更大的靈活性和更好的控制，低級別 TensorFlow API 始終可用，并與高級別抽象結(jié)合在一起，以實現(xiàn)完全可定制的邏輯

TensorFlow 2.0 帶來了一些新功能，允許研究人員和高級用戶使用豐富的擴(kuò)展( 如 Ragged Tensors, TensorFlow Probability, Tensor2Tensor 等) 進(jìn)行實驗。

除了這些功能外，TensorFlow 提供 eager excution，便于原型制作和調(diào)試，Distribution Strategy API 和 AutoGraph進(jìn)行規(guī)?；?xùn)練,以及對 TPU 的支持, 使 TensorFlow 2.0 成為一個易于使用、可定制和高度可擴(kuò)展的平臺，用于進(jìn)行最先進(jìn)的機(jī)器學(xué)習(xí)研究并將研究轉(zhuǎn)化為生產(chǎn)流水線。

TensorFlow 1.x 和 2.0 的區(qū)別

自從我們最初開源 TensorFlow 以來，已經(jīng)有了許多版本和 API 迭代。隨著機(jī)器學(xué)習(xí)的快速發(fā)展，該平臺得到了極大的發(fā)展，現(xiàn)在支持具有不同需求的不同用戶組合。使用 TensorFlow 2.0，我們有機(jī)會清理和模塊化基于語義版本控制的平臺。

以下是一些較大的變化：

刪除 queue runner以支持 tf.data

刪除圖形集合

改變變量的處理方式

符號的移動和重命名

此外，tf_contrib 將從 TensorFlow 核心存儲庫和構(gòu)建流程中刪除。TensorFlow 的 contrib 模塊已經(jīng)超出了單個存儲庫所能維護(hù)和支持的范圍。較大的項目最好單獨(dú)維護(hù)，而較小的擴(kuò)展將逐步過渡到核心 TensorFlow 代碼。一個特別興趣小組( SIG ) 已經(jīng)成立，以維持和進(jìn)一步發(fā)展未來一些更重要的 contrib 項目。

如果您有興趣貢獻(xiàn)，請回復(fù)此貼：

https://github.com/tensorflow/community/pull/37

兼容性和連續(xù)性

為了簡化向 TensorFlow 2.0 的過渡，將有一個轉(zhuǎn)換工具，它可以更新 TensorFlow 1.x Python 代碼以使用 TensorFlow 2.0 兼容 API，或者標(biāo)記代碼無法自動轉(zhuǎn)換的情況。

并非所有更改都可以完全自動完成。例如，某些已棄用的 API 沒有直接等效項。這就是我們引入 tensorflow.compat.v1 兼容性模塊的原因，該模塊保留了對完整 TensorFlow 1.x API（不包括 tf.contrib）的支持。 該模塊將在 TensorFlow 2.x 的生命周期內(nèi)維護(hù)，并允許使用 TensorFlow 1.x 編寫的代碼保持功能。

此外，SavedModels 或存儲的 GraphDefs 將向后兼容。 使用 1.x 保存的 SavedModels 將繼續(xù)在 2.x 中加載和執(zhí)行。 但是，2.0 中的更改將意味著原始檢查點中的變量名稱可能會更改，因此使用 2.0 之前的檢查點而具有已轉(zhuǎn)換為 2.0 的代碼時可能無法保證正常工作。 有關(guān)詳細(xì)信息，請參閱 TensorFlow 2.0 指南：

https://github.com/tensorflow/docs/blob/master/site/en/r2/guide/effective_tf2.md

我們相信TensorFlow 2.0 將為應(yīng)用開發(fā)帶來巨大的益處，我們已投入大量精力使轉(zhuǎn)換變得盡可能簡單。但是，我們也認(rèn)識到遷過渡當(dāng)前的線程需要時間，我們非常關(guān)心社區(qū)目前對學(xué)習(xí)和使用 TensorFlow 的投資。 我們將在最后的 1.x 版本中提供 12 個月的安全補(bǔ)丁，以便為現(xiàn)有用戶提供充足的時間進(jìn)行過渡并獲得 TensorFlow 2.0 的所有優(yōu)勢。

TensorFlow 2.0 的時間表

TensorFlow 2.0 預(yù)覽版將于今年年初發(fā)布。

何必要等？ 您已經(jīng)可以通過使用 tf.keras 和 eager execution，預(yù)打包模型和部署庫來開發(fā) TensorFlow 2.0 了。Distribution Strategy API 目前已部分可用。

我們對 TensorFlow 2.0 以及即將到來的變化感到非常興奮。TensorFlow 已經(jīng)從一個用于深度學(xué)習(xí)的軟件庫成長為一個適用于所有機(jī)器學(xué)習(xí)類型的完整生態(tài)系統(tǒng)。TensorFlow 2.0 將簡單易用，適用于所有平臺上的所有用戶。