TF動(dòng)態(tài)圖處理速度大幅提升！

TensorFlow發(fā)布重大功能改進(jìn)AutoGraph，能自動(dòng)將Python代碼轉(zhuǎn)換為TensorFlow Graph，TF動(dòng)態(tài)圖處理速度大幅提升！

今天，TensorFlow團(tuán)隊(duì)發(fā)布新功能“AutoGraph”，能自動(dòng)將Python代碼（包括控制流，print () 和其他Python原生特征）轉(zhuǎn)換為純TensorFlow圖代碼（pure TensorFlow graph code）。

不使用Eager Execution編寫TensorFlow代碼需要進(jìn)行一些元編程（metaprogramming） ——先編寫一個(gè)創(chuàng)建圖（Graph）的程序，稍后再執(zhí)行這個(gè)Graph。這可能令人困惑，尤其是對(duì)開發(fā)者新手來(lái)說(shuō)。一些特別棘手的情況涉及更復(fù)雜的模型，比如要使用 if 和 while 的模型，或者有 print () 等副作用或接受結(jié)構(gòu)化輸入的模型。

為什么我們需要Graph呢？Graph允許各種優(yōu)化，例如刪除常見的子表達(dá)式和融合內(nèi)核（fusing kernel）。再者，Graph簡(jiǎn)化了分布式訓(xùn)練和部署到各種環(huán)境的過(guò)程，因?yàn)樗鼈冃纬闪霜?dú)立于平臺(tái)的模型計(jì)算過(guò)程。這對(duì)于模型在多個(gè)GPU或TPU上的分布式訓(xùn)練尤為重要，如果你通過(guò)TensorFlow Lite、移動(dòng)端、物聯(lián)網(wǎng)等其他平臺(tái)分發(fā)模型，Graph也很重要。

下面是一個(gè)很簡(jiǎn)單的、你可能希望添加到Graph里的操作：

defhuber_loss(a):iftf.abs(a)<=?delta:????loss?=?a?*?a?/?2??else:????loss?=?delta?*?(tf.abs(a)?-?delta?/?2)??return?loss

通過(guò)Eager Execution，只是能做到這一點(diǎn)，但是由于Python解釋器開銷（interpreter overheads）或錯(cuò)過(guò)的程序優(yōu)化機(jī)會(huì)，此類操作可能會(huì)很慢。

為了準(zhǔn)備執(zhí)行Graph，你需要重寫這個(gè)以使用像 tf.cond () 這樣的結(jié)構(gòu)，但那樣實(shí)現(xiàn)起來(lái)可能會(huì)耗時(shí)耗力而且很困難。AutoGraph可以為自動(dòng)執(zhí)行此類轉(zhuǎn)換，將動(dòng)態(tài)圖編程的簡(jiǎn)易性保持很低的同時(shí)，獲得基于Graph執(zhí)行的性能優(yōu)勢(shì)。

在示例中，我們可以使用 autograph.convert () 來(lái)修飾函數(shù)，AutoGraph將自動(dòng)生成 graph-ready 的代碼。

使用AutoGraph，這段代碼：

@autograph.convert()defhuber_loss(a):iftf.abs(a)<=?delta:????loss?=?a?*?a?/?2??else:????loss?=?delta?*?(tf.abs(a)?-?delta?/?2)??return?loss

在執(zhí)行時(shí)將變成這種樣子：

deftf__huber_loss(a):withtf.name_scope('huber_loss'):defif_true():withtf.name_scope('if_true'):loss=a*a/2returnloss,defif_false():withtf.name_scope('if_false'):loss=delta*(tf.abs(a)-delta/2)returnloss,loss=ag__.utils.run_cond(tf.less_equal(tf.abs(a),delta),if_true,if_false)returnloss

你可以直接調(diào)用代碼，就像TensorFlow op一樣：

withtf.Graph().as_default():x_tensor=tf.constant(9.0)#Theconvertedfunctionworkslikearegularop:tensorsin,tensorsout.huber_loss_tensor=huber_loss(x_tensor)withtf.Session()assess:print('TensorFlowresult:%2.2f '%sess.run(huber_loss_tensor))

綜上，AutoGraph填補(bǔ)了Eager Execution和Graph之間的空白。AutoGraph 將你的 eager-style Python 代碼自動(dòng)轉(zhuǎn)換為動(dòng)態(tài)圖生成（graph-generating）代碼。

AutoGraph不僅僅是一組有用的宏指令(macro); 它涵蓋Python語(yǔ)言的任何部分(利用源代碼轉(zhuǎn)換)，包括控制流、函數(shù)應(yīng)用程序和賦值、生成模板代碼以及重構(gòu)常用的Python讓它易于轉(zhuǎn)換為圖形。

對(duì)于任何編譯器，都會(huì)擔(dān)心報(bào)錯(cuò)信息的可讀性; 為此，AutoGraph創(chuàng)建了報(bào)錯(cuò)消息和堆棧跟蹤，用來(lái)顯示原始源代碼中的錯(cuò)誤源，而不僅僅是顯示對(duì)生成的代碼的參考。

可運(yùn)行的例子

那么，AutoGraph可以為你做什么呢？ 以下是一些代碼示例，它可以直接轉(zhuǎn)換為圖形代碼而無(wú)需任何更改。 如果你想查看完整的代碼，我們有一個(gè)notebook，你可以在Colab或GitHub上查看。

在這里，我們使用循環(huán)和分支檢測(cè)Collatz猜想。 注意，我們使用AutoGraph的.to_graph（）函數(shù)將其轉(zhuǎn)換為圖形的原因，是為了多樣性而不是為了裝飾。

defcollatz(a):counter=0whilea!=1:ifa%2==0:a=a//2else:a=3*a+1counter=counter+1returncountergraph_mode_collatz=autograph.to_graph(collatz)#Thecodeishuman-readable,tooprint(autograph.to_code(collatz))collatz_tensor=graph_mode_collatz(tf.constant(n))

AutoGraph可以支持任意嵌套控制流，例如：

deff(n):ifn>=0:whilen

AutoGraph允許你將元素追加到循環(huán)內(nèi)的數(shù)組中。 為了達(dá)到這個(gè)要求，我們使用一些AutoGraph助手，例如set_element_type和stack。

deff(n):z=[]#Weaskyoutotellustheelementdtypeofthelistautograph.set_element_type(z,tf.int32)foriinrange(n):z.append(i)#whenyou'redonewiththelist,stackit#(thisisjustlikenp.stack)returnautograph.stack(z)

我們還支持像break，continue，甚至print和assert這樣的結(jié)構(gòu)。 轉(zhuǎn)換后，該片段的Python將轉(zhuǎn)換為圖形(使用恰當(dāng)?shù)膖f.Assert)。

deff(x):assertx!=0,'Donotpasszero!'returnx*x

能夠輕松地添加循環(huán)，控制流程以及更多圖表意味著可以輕松地將訓(xùn)練循環(huán)移動(dòng)到圖形中。 這個(gè)例子可以在這個(gè)notebook中找到，我們采用RNN訓(xùn)練循環(huán)并用一個(gè)sess.run（）調(diào)用執(zhí)行它。 在需要將整個(gè)訓(xùn)練循環(huán)傳遞給加速器而不是通過(guò)CPU控制器管理訓(xùn)練的情況下，這可能是很有用的。

AutoGraph開辟了構(gòu)建和訓(xùn)練模型的新思路。我們期待根據(jù)開發(fā)者社區(qū)的建議為AutoGraph添加更多功能，所以請(qǐng)?zhí)岢瞿愕慕ㄗh和問(wèn)題吧！

AutoGraph和Eager Execution

在使用eager execution時(shí)，你仍然可以通過(guò)tf.contrib.eager.defun對(duì)代碼的某些部分使用圖執(zhí)行。這要求你使用TensorFlow圖形操作，如tf.cond（）。 將來(lái)，AutoGraph將與defun無(wú)縫集成，以允許在簡(jiǎn)單的eager 風(fēng)格的Python中創(chuàng)作圖形代碼。 當(dāng)該實(shí)現(xiàn)可用時(shí)，你可以通過(guò)選擇性地將eager代碼轉(zhuǎn)換為graph fragments來(lái)使用AutoGraph加速熱點(diǎn)。

結(jié)論

AutoGraph是一款工具，可讓你輕松構(gòu)建直觀，復(fù)雜的模型，在TensorFlow圖中輕松運(yùn)行。 這是一個(gè)現(xiàn)在在contrib中的實(shí)驗(yàn)工具，但我們希望盡快將其轉(zhuǎn)移到核心TensorFlow中。

告訴我們您使用AutoGraph的經(jīng)歷！ 如果你有反饋，建議或想法，請(qǐng)?zhí)峤粏?wèn)題并向TensorFlow開發(fā)人員小組發(fā)送消息。