數(shù)據(jù)挖掘與機器學(xué)習(xí)項目特征工程實戰(zhàn)

找特征這件事，Andrew Ng在深度學(xué)習(xí)網(wǎng)課中提到過，原課件見第3課結(jié)構(gòu)化機器學(xué)習(xí)項目中的2.9和2.10兩節(jié)，筆記整理如下：

Andrew以Speech Recognition的場景為例，比較了pipeline和end-to-end兩種建模方式中特征工程的差異。

其中pipeline的搭建依賴于人工設(shè)計的特征，需要依賴于人類可以理解的音節(jié)，將一段音頻轉(zhuǎn)化為文字；而end-to-end模型基于大量的音頻素材，自動找出語音和文字間的關(guān)系，不依賴于音節(jié)而自動翻譯成文字。

總而言之，除去語音和圖像等特定場景，對于大部分生活中的機器學(xué)習(xí)項目，由于沒有足夠的訓(xùn)練數(shù)據(jù)支撐，我們還無法完全信任算法自動生成的特征，因而基于人工經(jīng)驗的特征工程依然是目前的主流。

人工經(jīng)驗這件事比較虛，加之許多業(yè)界的項目由于隱私性的考慮，很少會透露底層的入模特征和計算邏輯，使得目前網(wǎng)絡(luò)上關(guān)于特征工程細(xì)節(jié)的文章少之又少。答主在這里結(jié)合自己這幾年在金融領(lǐng)域的建模經(jīng)驗，介紹一些常見的數(shù)據(jù)源類型和特征計算方法，希望可以幫助剛?cè)胄谢蛘呦肴胄械膹臉I(yè)者們開開腦洞。

（1）支付流水：通常包括支付賬戶、時間、金額、地點、目的、狀態(tài)等字段，可以反映出客戶的經(jīng)濟實力和消費習(xí)慣。其中特別的，賬戶間的復(fù)雜交易關(guān)系和異常金額時間地點的支付行為，都可以在反欺詐場景中應(yīng)用，視為團伙作案或者反洗錢的重要指標(biāo)。

（2）財富管理：基金理財類產(chǎn)品的申購歷史記錄，體現(xiàn)出客戶的資金儲備和購買偏好。對于風(fēng)險偏好較低的客戶，我們可以推薦小金庫這類收益穩(wěn)定、波動較小的債券類產(chǎn)品；對于追求高收益的客戶，我們可以推薦在京東金融app上代銷的各類基金，以及智能投顧產(chǎn)品。

（3）貸款信息：伴隨著近幾年國內(nèi)現(xiàn)金貸以及場景貸市場的迅速發(fā)展，國家也在大力推動各家資方信貸數(shù)據(jù)的治理與共享?；谝粋€客戶在各個平臺上的貸款申請、提現(xiàn)、還款信息，可以刻畫出這個客戶的還款意愿和征信表現(xiàn)，從而為其下一次的信貸申請決策提供建議。常見的，多個平臺申請和在貸以及當(dāng)前有貸款發(fā)生90天以上逾期的用戶，都會被其他平臺列入自動拒絕的名單。

（4）App登錄：從SDK埋點獲取的各類app登錄數(shù)據(jù)中，我們可以分析出用戶在每個app上的停留時間，從而側(cè)面了解這個用戶的興趣愛好，甚至預(yù)測用戶的年齡和性別。例如京東、阿里等電商app登錄較頻繁的用戶，通常以女性居多，并且消費能力較強；而抖音、快手等小視頻app停留時間較長的，一般為年輕人群體。

（5）電商流水：從電商公司豐富的訂單流水?dāng)?shù)據(jù)中，可以挖掘出較為完整的客戶畫像。客戶Alice近一年內(nèi)購買頻繁，但是平均單筆訂單金額較低，通常集中在生活用品以及水果生鮮，可以推斷出Alice應(yīng)該是一位家庭婦女；而客戶Ben消費總金額較高，購買過車飾類產(chǎn)品，收貨地址集中在辦公場所，則大概率Ben是有車一族的白領(lǐng)青年。

（6）收貨地址：在信貸風(fēng)控場景中，通常近一年內(nèi)地址數(shù)量較少、地址穩(wěn)定性高的用戶，貸款逾期風(fēng)險更低；而對于地址變動頻繁或者涉黑的用戶，建議貸前申請直接拒絕，或者把這些收貨地址運用到貸后催收之中。

（7）運營商信息：數(shù)據(jù)市場上比較常見的第三方數(shù)據(jù)源，可以用作各個場景下的身份證、姓名、手機號的三要素核驗，以及利用在網(wǎng)時長和在網(wǎng)狀態(tài)判斷一個用戶是否有欺詐風(fēng)險。

除去上面整理的簡單底層特征，在實際工作中數(shù)據(jù)分析師和算法工程師們還需要針對不同的業(yè)務(wù)場景，利用規(guī)則和模型構(gòu)造一些復(fù)雜特征。

舉兩個實際的例子：

第一個例子，為了計算用戶的年收入，可以利用近一年內(nèi)支付總金額+理財總余額-信貸總負(fù)債的大公式，通過線性回歸擬合出三個指標(biāo)的系數(shù)，來得到每個用戶預(yù)測的收入水平；

第二個例子，給自己在做的模型打個小廣告，京東金融金融科技業(yè)務(wù)部基于京東集團商城、金融和物流三大自有數(shù)據(jù)源以及海量外部數(shù)據(jù)源，利用XGBoost、LightGBM、CatBoost等復(fù)雜集成樹類算法，計算得到玉衡分特征，用來衡量京東客戶在現(xiàn)金貸場景的信用等級，幫助服務(wù)的銀行和小貸公司搭建信貸智能決策系統(tǒng)。