金融領域的機器學習——智慧金融

N-iX是一家位于烏克蘭和波蘭的軟件開發(fā)外包服務提供商，專為政府部門、金融機構和各類企業(yè)提供數(shù)據(jù)驅動的各類服務，其中包括近年來日益火熱的Fintech——智慧金融。作為一家擁有800多名技術專家、合作企業(yè)遍布全球的公司，他們對金融領域的機器學習又有什么見解呢？相信這篇文章能給各位讀者一個答案。

對于很多人來說，金融領域的機器學習可能充滿魔力，即便它背后并沒有什么魔法（好吧，也許有一點點）。但我們應該清楚，機器學習項目的成功不是源于這項技術本身，而是更多地取決于過程中所構建的高效基礎架構、合適的數(shù)據(jù)集和正確算法的使用。

現(xiàn)如今，機器學習正在金融領域大展宏圖，那么渴望從新技術中獲得突破的金融機構該關心些什么呢？這篇文章會向讀者揭示，機器學習和AI究竟能實現(xiàn)什么解決方案，以及公司該如何應用這項技術。

定義

首先，我們可以把金融領域使用的狹義機器學習（ML）定義為數(shù)據(jù)科學的一個子集，它通過使用統(tǒng)計模型總結洞見，并進行預測。下圖解釋了金融領域的AI、數(shù)據(jù)科學和機器學習之間的關系。為了簡單起見，本文會專注于介紹機器學習。

機器學習解決方案的神奇之處在于，它們能從經(jīng)驗中學習，而無需明確編程。簡而言之，你選擇一個模型，喂給它大量數(shù)據(jù)，之后它就會自動調整參數(shù)以提高預測準確率。

而數(shù)據(jù)科學家的核心工作就是將現(xiàn)有數(shù)據(jù)集用于訓練機器學習模型，然后把訓練好的模型應用于現(xiàn)實生活。

此圖只反映金融領域情形，真正意義上的機器學習和數(shù)據(jù)科學不存在屬于/不屬于關系

這些模型是作為后臺進程運行的，并根據(jù)其訓練方式自動提供結果。數(shù)據(jù)科學家可以根據(jù)需要經(jīng)常重新訓練模型，保證它們的時效性和總體性能。比如Mercanto就每天都會部署重新訓練。

通常情況下，你提供的數(shù)據(jù)越多，模型輸出結果就越準確。這一點正中金融領域下懷，因為龐大的數(shù)據(jù)集在金融服務行業(yè)中非常普遍，無論是交易、客戶，還是儲蓄、匯款等PB數(shù)據(jù)，這些都很適合用于機器學習。

隨著技術的發(fā)展和最佳算法的開源，我們很難想象如果沒有機器學習，金融服務的未來會是什么樣。從另一個角度看，這也意味著現(xiàn)在大多數(shù)金融服務公司還沒有準備好來提取這一技術的真正價值，其中的原因主要有以下幾個：

企業(yè)往往對機器學習及其產(chǎn)品抱有不切實際的期望。

人工智能和機器學習的研發(fā)、開發(fā)成本很高。

DS/ML工程師短缺是一個主要問題，下圖展示了近幾年機器學習技術需求的暴增。

在更新數(shù)據(jù)基礎架構方面，老牌金融企業(yè)不夠靈活。

我們會在后文慢慢討論如何克服這些問題，但是首先，我們先來看看為什么金融服務公司不能忽視機器學習。

為什么金融領域需要機器學習？

盡管面臨挑戰(zhàn)，但許多金融公司還是已經(jīng)開始在業(yè)務中利用起這項技術。下面是金融公司高管親睞機器學習的原因：

自動化業(yè)務流程，降低運營成本。

提高了生產(chǎn)力，改善了用戶體驗，從而增加營收。

有利于保障、加強安全性、保密性。

有了各種各樣的開源機器學習算法和工具，公司就能更好地把它們用于財務數(shù)據(jù)分析，此外，成熟的金融服務公司往往擁有大量資金，他們也負擔得起在最先進的計算硬件上的花費。再加上金融領域存在大量定量歷史數(shù)據(jù)，機器學習可以在這片沃土上大展拳腳。

至于落后者，隨著社會發(fā)展，現(xiàn)實會證明漠視AI和ML可能是個代價高昂的選擇。

機器學習在金融領域的應用

讓我們來看看金融領域一些有前景的機器學習應用。

流程自動化（Process Automation）

流程自動化是機器學習在金融領域最常見的應用之一。它可以代替手動操作，由計算機自動執(zhí)行重復性任務，提高企業(yè)生產(chǎn)率。

從這個角度看，機器學習機器學習使公司能夠優(yōu)化成本，改善客戶體驗并擴展服務。以下是PA的常見部署場景：

聊天機器人

呼叫中心自動化

文書工作自動化

員工培訓游戲化等

如果這些概念太抽象，下面是一些公司的具體使用案例：

摩根大通——該公司推出了一個合約智能（COiN）平臺，可以利用自然語言處理技術處理法律文件并從中提取重要數(shù)據(jù)。如果是人工審查，處理12,000份年度商業(yè)信貸協(xié)議需要消耗約360,000個工時，但機器學習在短短幾個小時內就完成了這個工作量。

BNY Mello——該公司把流程自動化集成到他們的銀行生態(tài)系統(tǒng)中，這項創(chuàng)新每年可為他們節(jié)省30萬美元，并且大大提升運營效率。

Wells Fargo——該公司用Facebook Messenger平臺上的AI聊天機器人和用戶通信，讓它們解決用戶密碼、賬戶方面的問題。

Privatbank——這是一家烏克蘭銀行，它在移動端和網(wǎng)絡平臺上都部署了聊天機器人客服，可以有效回答客戶的各類問題，還減少了人工客服的數(shù)量。

安全

隨著教育、用戶和第三方支付平臺數(shù)量的不斷增加，財務所面臨的安全威脅也正與日俱增。在這種情況下，機器學習堪稱檢測欺詐行為的利器。

銀行可以用機器學習實時監(jiān)控每個賬戶的數(shù)千個交易參數(shù)。算法可以通過檢查持卡人的行為動作，確定他是不是用戶本人。在金融服務中，各機構使用的模型通常都具有高精度的特征。

如果系統(tǒng)識別出了可疑賬戶行為，它可以請求用戶提供額外的證明以驗證交易。如果系統(tǒng)認為這是欺詐行為的概率高達95%，它可以完全終止交易。作為計算機，它的評估用時只需短短幾秒，這有助于把犯罪苗頭及時扼殺，而不是在事發(fā)后才發(fā)出警報。

財務監(jiān)控是機器學習在金融領域的另一個安全用例。數(shù)據(jù)科學家可以訓練一個可以檢測大量小額支付記錄的機器學習模型，用來標記可疑的洗錢行為。

此外，算法也可以顯著增強網(wǎng)絡安全性。由于機器學習在實時分析大量參數(shù)上的能力是首屈一指的，數(shù)據(jù)科學家有望利用它的這個優(yōu)勢發(fā)現(xiàn)、隔離網(wǎng)絡威脅。這也是網(wǎng)絡安全公司開始對這項技術產(chǎn)生興趣的一大原因。

Adyen、Payoneer、Paypal、Stripe和Skrill，這些金融科技公司已經(jīng)在機器學習網(wǎng)絡安全上投入了巨資。

承保和信用評分

機器學習算法完全適合被用于金融和保險中常見的承保任務。

數(shù)據(jù)科學家在數(shù)千個客戶檔案中訓練模型，每個檔案都包含有關客戶信用評分高低的數(shù)百個數(shù)據(jù)條目。這之后，完成訓練的模型就可以在現(xiàn)實環(huán)境中執(zhí)行相同的承保和信用評分任務。這種評分系統(tǒng)可以幫助人類員工更快、更準確地工作。

銀行和保險公司都擁有大量歷史消費者數(shù)據(jù)，因此他們可以用這些數(shù)據(jù)，或者用大型電信或公用事業(yè)公司生成的數(shù)據(jù)集來為客戶評分。

例如，墨西哥最大銀行BBVA Bancomer正與另一個信用評分平臺Destacame合作，為拉丁美洲客戶開發(fā)信貸準入機制。Destacame可以通過開放API訪問公用事業(yè)公司的賬單支付信息，利用這些歷史支付行為數(shù)據(jù)，他們可以為客戶生成信用評分并將結果發(fā)送給銀行。

股票交易

在股票交易中，機器學習有助于做出更好的交易決策。數(shù)學模型可以通過實時監(jiān)控新聞和交易結果，檢測可能迫使股價上漲或下跌的事件，然后根據(jù)預測自動售出、持有或購入股票。

要知道，算法可以同時分析數(shù)千個數(shù)據(jù)源，這是人類交易員無法做到的。雖然機器學習模型不具備人類的“冒險”精神，始終在追逐小利，但鑒于大量的交易操作，這種小優(yōu)勢到最后通常會轉化為巨額利潤。

機器人顧問

機器人顧問，也稱智能投顧，現(xiàn)在在金融領域已經(jīng)是司空見慣的了。目前，這類機器學習應用的用途主要有兩個：

投資組合管理。這是一種在線財富管理服務，它使用算法和統(tǒng)計數(shù)據(jù)來分配、管理和優(yōu)化客戶的資產(chǎn)。當用戶輸入自己的當前資產(chǎn)和預期目標后，比如到50歲時擁有100萬美元，智能投顧會根據(jù)用戶的風險偏好和期望目標把資產(chǎn)按比例分配到各投資產(chǎn)品中。

金融產(chǎn)品推薦。許多在線保險服務會用智能投顧向特定用戶推薦個性化保險計劃。由于費用較低，個性化定制更準確，客戶也一般也更傾向于選擇機器人顧問，而不是個人理財顧問。

如何利用機器學習？

盡管人工智能和機器學習擁有極大優(yōu)勢，但事實上，即便是擁有雄厚財力的公司，他們也無法從這項技術中提煉出真正的價值。金融服務公司正迫切希望能抓住它帶來的獨特機會，但他們對這個技術的運作原理和應用方式還只停留在一個模糊的概念上。

當部署機器學習模式時，他們會覺得缺少業(yè)務KPI，沒法衡量改變；如果制定了KPI，他們就會對模型產(chǎn)生各種不切實際的期望，并導致預算耗盡。對于企業(yè)來說，擁有適合的軟件基礎設施是不過的（盡管這是個良好開端），他們需要一個清晰愿景、扎實的技術人才資源，以及開發(fā)有價值的機器學習項目的決心。

一旦你充分了解這項技術將如何幫助公司實現(xiàn)業(yè)務目標，之后才是構思、驗證。這是數(shù)據(jù)科學家的任務：調研想法的可行性，幫助制定可行的KPI，并做出切合實際的估算。

請注意，如果企業(yè)要使用機器學習技術，請務必收集所有需要的數(shù)據(jù)。

放棄機器學習，轉向大數(shù)據(jù)工程

通常情況下，如果一家金融公司突然覺得自己有必要開發(fā)機器學習服務，那么這有很大的概率是他們只是需要數(shù)據(jù)工程建設。高級數(shù)據(jù)科學家Max Nechepurenko曾分享自己的經(jīng)驗：

在開發(fā)[數(shù)據(jù)科學]解決方案時，我建議使用奧卡姆剃刀法則，越簡單越好。大多數(shù)以機器學習為目標的公司實際上只需要數(shù)據(jù)工程，只要統(tǒng)計數(shù)據(jù)、分析數(shù)據(jù)，再把結果可視化，他們的問題就迎刃而解了。

最基礎的數(shù)據(jù)分析工作足以讓銀行擺脫其運營中的各種瓶頸和低效率，比如消除重復性任務、提高人力資源調配效率、移動客戶端缺陷篩查等。

更重要的是，任何數(shù)據(jù)科學項目的一個最重要的組成部分是構建協(xié)調的平臺生態(tài)系統(tǒng)，讓它能從數(shù)百個來源（如CEM、Excel等）中收集孤立數(shù)據(jù)。在應用算法前，首先，你要有數(shù)據(jù)，其次，你要對數(shù)據(jù)進行適當?shù)念A處理，這通常占項目總用時的80%。

使用第三方機器學習解決方案

即便公司決定在項目中部署機器學習，你也沒有必要真的去自己開發(fā)新的算法和模型。

大多數(shù)機器學習工具都已經(jīng)被制作出來了，谷歌、微軟、亞馬遜和IBM等科技巨頭也將機器學習軟件作為一種服務出售。只要經(jīng)過訓練，這些即用型解決方案可以解決公司所需的各種業(yè)務。如果公司自己開發(fā)，你能確保最終成果會比這些巨頭的好用？

一個很好的例子是谷歌最近發(fā)布的AutoML，這類工具允許完全不懂機器學習的人根據(jù)任務目標定制機器學習模型，企業(yè)只要提供相關數(shù)據(jù)就可以了。雖然研究界內部對此爭論不斷，但對于工業(yè)應用來說，實用、方便、有效就行。

此外，現(xiàn)有機器學習算法并不適合所有問題，所以權衡取舍非常重要。

創(chuàng)新與整合

從頭開始開發(fā)機器學習解決方案是風險最大、成本最高且耗時最久的選擇之一。但對于某些特殊商業(yè)應用，自己開發(fā)是唯一的方法。

需要注意的是，如果是研究和開發(fā)針對特定利基市場的機器學習模型，你必須對該市場進行深入調查。如果沒有為解決這些特定問題而開發(fā)的現(xiàn)成解決方案，那么第三方機器學習軟件很可能會產(chǎn)生不準確的結果。

為了降低難度，你會不可避免地要用到谷歌等公司的開源機器學習資源。那么企業(yè)該怎么成功推進機器學習研發(fā)項目呢？以下是我們總結的7個特征：

一個明確的目標。在收集數(shù)據(jù)前，你首先要對AI、ML實現(xiàn)的結果有大致了解。

機器學習解決方案的強大架構設計。您需要經(jīng)驗豐富的軟件架構師來執(zhí)行此任務。

適當?shù)拇髷?shù)據(jù)工程生態(tài)系統(tǒng) （基于Apache Hadoop或Spark）是必不可少的。它可以從金融服務公司的眾多孤立數(shù)據(jù)源中收集、集成、存儲和處理大量數(shù)據(jù)，對于這個任務，大數(shù)據(jù)架構師和大數(shù)據(jù)工程師可以全權負責。

在新創(chuàng)建的生態(tài)系統(tǒng)上運行ETL過程。大數(shù)據(jù)架構師或機器學習工程師可以執(zhí)行此任務。

最后的數(shù)據(jù)準備。完成數(shù)據(jù)預處理后，數(shù)據(jù)科學家還要進一步優(yōu)化數(shù)據(jù)分析，使其適用于特定的業(yè)務案例。

使用適當?shù)乃惴?，基于這些算法創(chuàng)建模型，微調模型以及使用新數(shù)據(jù)重新訓練模型。

洞察力。除了智能領域專家，你還需要一個好的前端來構建易于使用的UI儀表板。