Estimator如何使您能夠輕松地在TensorFlow中構(gòu)建線性模型

Estimator提供了大量用于在 TensorFlow 中處理線性模型的工具（以及其他工具）。本文簡(jiǎn)要介紹了這些工具，并闡述了以下內(nèi)容：

什么是線性模型

為何要使用線性模型

Estimator 如何使您能夠輕松地在 TensorFlow 中構(gòu)建線性模型

如何使用 Estimator 將線性模型與深度學(xué)習(xí)相結(jié)合，從而汲取二者的優(yōu)勢(shì)

您可以閱讀這篇概述文章，判斷 Estimator 的線性模型工具是否對(duì)您有用。然后，閱讀Estimator 寬度學(xué)習(xí)和深度學(xué)習(xí)教程（https://github.com/tensorflow/models/tree/master/official/wide_deep），并放手一試。這篇概述文章使用了此教程中的代碼示例，但此教程更詳細(xì)地介紹了代碼。

對(duì)基本的機(jī)器學(xué)習(xí)概念以及Estimator有一定了解將有助于理解這篇概述文章。

什么是線性模型？

線性模型使用特征的單個(gè)加權(quán)和進(jìn)行預(yù)測(cè)。舉例來(lái)說(shuō)，如果您有關(guān)于人口年齡、受教育年數(shù)和每周工作時(shí)長(zhǎng)的數(shù)據(jù)，那么模型可以學(xué)習(xí)每個(gè)數(shù)值的權(quán)重，并通過加權(quán)和估算某個(gè)人的薪水。您還可以使用線性模型進(jìn)行分類。

一些線性模型會(huì)將加權(quán)和轉(zhuǎn)換為一種更便利的形式。例如，邏輯回歸將加權(quán)和代入邏輯函數(shù)，以將輸出轉(zhuǎn)換為介于 0 和 1 之間的值。不過，每個(gè)輸入特征仍然只有一個(gè)權(quán)重。

為何要使用線性模型？

近期研究已證實(shí)具有多層的更復(fù)雜神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的功能，為何還要使用如此簡(jiǎn)單的模型？

線性模型：

與深度神經(jīng)網(wǎng)絡(luò)相比，訓(xùn)練速度快

可以在非常大的特征集上取得很好的效果

可以使用無(wú)需反復(fù)調(diào)整學(xué)習(xí)速率等因素的算法進(jìn)行訓(xùn)練

可以比神經(jīng)網(wǎng)絡(luò)更輕松地進(jìn)行解讀和調(diào)試。您可以檢查分配給每個(gè)特征的權(quán)重，確定哪些特征對(duì)預(yù)測(cè)結(jié)果的影響最大

為理解機(jī)器學(xué)習(xí)提供了一個(gè)很好的起點(diǎn)

有廣泛的行業(yè)應(yīng)用

Estimator 如何幫助您構(gòu)建線性模型？

您可以在 TensorFlow 中從頭開始構(gòu)建線性模型，而無(wú)需借助于特殊的 API。不過，Estimator 提供了一些工具，使您可以更輕松地構(gòu)建有效的大型線性模型。

特征列和轉(zhuǎn)換

設(shè)計(jì)線性模型的主要操作包括將原始數(shù)據(jù)轉(zhuǎn)換為合適的輸入特征。TensorFlow 使用FeatureColumn抽象類來(lái)實(shí)現(xiàn)此類轉(zhuǎn)換。

FeatureColumn表示數(shù)據(jù)中的單個(gè)特征。FeatureColumn可能表示 “height” 等數(shù)量，也可能表示 “eye_color” 等類別（值來(lái)自一組離散概率，如 {'blue'，'brown'，'green'}）。

對(duì)于 “height” 等連續(xù)特征和 “eye_color” 等類別特征，數(shù)據(jù)中的單個(gè)值可能先轉(zhuǎn)換為數(shù)字序列，然后再輸入到模型中。盡管如此，您還是可以通過FeatureColumn抽象類將該特征視為單個(gè)語(yǔ)義單元進(jìn)行操作。您可以指定轉(zhuǎn)換并選擇要包括的特征，而無(wú)需處理饋送到模型的張量中的特定索引。

稀疏列

線性模型中的類別特征通常被轉(zhuǎn)換為稀疏向量，其中每個(gè)可能的值都具有對(duì)應(yīng)的索引或 ID。例如，如果只有 3 種可能的眼睛顏色，您可以將 “eye_color” 表示為長(zhǎng)度為 3 的向量：“brown” 為 [1, 0, 0]，“blue” 為 [0, 1, 0]，而 “green” 為 [0, 0, 1]。這些向量稱為 “稀疏” 向量，因?yàn)楫?dāng)可能值的集合非常大（例如包含所有英文單詞的集合）時(shí)，它們可能很長(zhǎng)，且包含很多零。

雖然您不需要通過類別列來(lái)使用 Estimator 提供的線性模型工具，但是線性模型的優(yōu)勢(shì)之一是它們能夠處理大型稀疏向量。稀疏特征是 Estimator 提供的線性模型工具的主要用例。

編碼稀疏列：FeatureColumn自動(dòng)將類別值轉(zhuǎn)換為向量，具體代碼如下所示：

eye_color = tf.feature_column.categorical_column_with_vocabulary_list( "eye_color", vocabulary_list=["blue", "brown", "green"])

其中eye_color是源數(shù)據(jù)中的一列的名稱。

您還可以為類別特征（您不知道此類特征的所有可能值）生成FeatureColumn。對(duì)于這種情況，您將使用categorical_column_with_hash_bucket()，它使用哈希函數(shù)為特征值分配索引。

education = tf.feature_column.categorical_column_with_hash_bucket( "education", hash_bucket_size=1000)

特征組合：由于線性模型為不同的特征分配獨(dú)立權(quán)重，因此它們無(wú)法了解特定特征值組合的相對(duì)重要性。如果您有 “favorite_sport” 和 “home_city” 這兩個(gè)特征，并且您嘗試預(yù)測(cè)某人是否喜歡穿紅色，此時(shí)線性模型將無(wú)法判斷來(lái)自圣路易斯的棒球迷是否特別喜歡穿紅色。

您可以通過創(chuàng)建新特征 “favorite_sport_x_home_city” 突破這個(gè)限制。對(duì)于給定用戶，此特征的值只是兩個(gè)源特征的值相連：例如 “baseball_x_stlouis”。這種組合特征稱為特征組合。

使用crossed_column()方法可輕松設(shè)置特征組合：

sport_x_city = tf.feature_column.crossed_column( ["sport", "city"], hash_bucket_size=int(1e4))

連續(xù)列

您可以如下所示地指定連續(xù)特征：

age = tf.feature_column.numeric_column("age")

雖然作為單個(gè)實(shí)數(shù)的連續(xù)特征通?？梢灾苯虞斎氲侥Ｐ椭?，但是 TensorFlow 也為此類列提供了有用的轉(zhuǎn)換。

分桶：分桶可將連續(xù)列轉(zhuǎn)換為類別列。此轉(zhuǎn)換使您能夠在特征組合中使用連續(xù)特征，或?qū)W習(xí)特定值范圍特別重要的情況。

分桶將可能的值范圍劃分為子范圍（稱為分桶）：

age_buckets = tf.feature_column.bucketized_column( age, boundaries=[18, 25, 30, 35, 40, 45, 50, 55, 60, 65])

值所在的分桶便是該值的類別標(biāo)簽。

輸入函數(shù)

FeatureColumn為模型提供輸入數(shù)據(jù)規(guī)范，指示如何表示和轉(zhuǎn)換數(shù)據(jù)。但它們本身不提供數(shù)據(jù)。您需要通過輸入函數(shù)提供數(shù)據(jù)。

輸入函數(shù)必須返回一個(gè)張量字典。每個(gè)鍵對(duì)應(yīng)一個(gè)FeatureColumn的名稱。每個(gè)鍵的值都是一個(gè)張量，其中包含該特征針對(duì)所有數(shù)據(jù)實(shí)例的值。請(qǐng)參閱預(yù)創(chuàng)建的 Estimator，詳細(xì)了解輸入函數(shù)；另請(qǐng)參閱寬度學(xué)習(xí)和深度學(xué)習(xí)教程中的input_fn，查看輸入函數(shù)的示例實(shí)現(xiàn)。

輸入函數(shù)會(huì)傳遞給train()和evaluate()調(diào)用（用于啟動(dòng)訓(xùn)練和測(cè)試操作），如下一部分中所述。

線性 Estimator

TensorFlow Estimator 類為回歸模型和分類模型提供統(tǒng)一的訓(xùn)練和評(píng)估工具。它們負(fù)責(zé)訓(xùn)練和評(píng)估循環(huán)的細(xì)節(jié)部分，使用戶可以專注于模型輸入和架構(gòu)。

要構(gòu)建線性 Estimator，您可以使用tf.estimator.LinearClassifierEstimator 或tf.estimator.LinearRegressorEstimator

（分別用于分類和回歸）。

與所有 TensorFlow Estimator 一樣，要運(yùn)行 Estimator，只需執(zhí)行以下操作即可：

實(shí)例化 Estimator 類。對(duì)于兩個(gè)線性 Estimator 類，將FeatureColumn列表傳遞給構(gòu)造函數(shù)

調(diào)用 Estimator 的train()方法以對(duì)其進(jìn)行訓(xùn)練

調(diào)用 Estimator 的evaluate()方法以查看其效果

例如：

e = tf.estimator.LinearClassifier( feature_columns=[ native_country, education, occupation, workclass, marital_status, race, age_buckets, education_x_occupation, age_buckets_x_race_x_occupation], model_dir=YOUR_MODEL_DIRECTORY)e.train(input_fn=input_fn_train, steps=200)# Evaluate for one step (one pass through the test data).results = e.evaluate(input_fn=input_fn_test)# Print the stats for the evaluation.for key in sorted(results): print("%s: %s" % (key, results[key]))

寬度學(xué)習(xí)和深度學(xué)習(xí)

tf.estimator模塊還提供一個(gè) Estimator 類，使您能夠一同訓(xùn)練線性模型和深度神經(jīng)網(wǎng)絡(luò)。這種新方法結(jié)合了線性模型 “記憶” 關(guān)鍵特征的能力以及神經(jīng)網(wǎng)絡(luò)的泛化能力。請(qǐng)使用tf.estimator.DNNLinearCombinedClassifier創(chuàng)建這種 “寬度學(xué)習(xí)和深度學(xué)習(xí)” 模型：

e = tf.estimator.DNNLinearCombinedClassifier( model_dir=YOUR_MODEL_DIR, linear_feature_columns=wide_columns, dnn_feature_columns=deep_columns, dnn_hidden_units=[100, 50])