金融機(jī)構(gòu)使用案例分析機(jī)器學(xué)習(xí)算法——聚類clustering

本文為大家介紹了在日常的電子交易中對用戶的交易信息進(jìn)行聚類分析和建模，提供了用戶分析的思路和建議。

我們正生活在數(shù)字技術(shù)時(shí)代。還記得你上次去到?jīng)]有PayTM或BHIM UPI的商店是什么時(shí)候嗎？很顯然，這些數(shù)字交易技術(shù)已迅速成為我們?nèi)粘Ｉ畹年P(guān)鍵部分。

數(shù)字技術(shù)不僅是個(gè)人，也是各大金融機(jī)構(gòu)的核心。依托著可靠的后臺(tái)運(yùn)行系統(tǒng)，執(zhí)行多種選項(xiàng)的支付交易或資金轉(zhuǎn)帳（例如，網(wǎng)上銀行，ATM，信用卡或借記卡，UPI，POS機(jī)等）是一件非常順利的事。

對于我們進(jìn)行的每筆交易，都會(huì)針對它生成一個(gè)適當(dāng)?shù)拿枋鱿?，如下所示?/p>

在本文中，我們將討論一個(gè)金融機(jī)構(gòu)的實(shí)際使用案例，該案例使用-聚類clustering（一種流行的機(jī)器學(xué)習(xí)算法）來為其客戶群定制其產(chǎn)品。

本案例研究的動(dòng)機(jī)

作為一家金融機(jī)構(gòu)，始終根據(jù)客戶的興趣為他們量身定制報(bào)價(jià)，并以此來吸引現(xiàn)有客戶群是很重要的事。對于任何金融機(jī)構(gòu)而言，把握全方位的客戶信息是一項(xiàng)重大挑戰(zhàn)。

Twitter，WhatsApp，F(xiàn)acebook等社交媒體平臺(tái)已成為描述客戶興趣和偏好的主要信息來源。金融機(jī)構(gòu)使用第三方來源的數(shù)據(jù)通常會(huì)付出巨大的成本。即使如此，將社交媒體帳戶映射到每一個(gè)客戶也非常困難。

那么我們該如何解決呢？

“A partial solution to the above problem can be addressed by using in-house transaction data available with the institution”

“上述問題的部分解決方案可以通過使用該機(jī)構(gòu)提供的內(nèi)部交易數(shù)據(jù)來解決”

我們可以根據(jù)交易描述消息將客戶執(zhí)行的交易分為不同的類別。此方法可用于標(biāo)記是否進(jìn)行了食品，運(yùn)動(dòng)，衣服，賬單支付，家庭，其他等類別的交易。如果客戶的大部分交易都出現(xiàn)在特定類別中，那么我們可以對他/她的交易偏好有更好的預(yù)估。

這是我們采取的方法

來了解我們?nèi)绾翁幚泶藛栴}，并為之找出解決方案時(shí)而采取的關(guān)鍵步驟吧。

確定主題數(shù)量

我們從所有交易開始，將其描述消息映射到每個(gè)客戶。首先，我們有一項(xiàng)重要的任務(wù)，即確定集群（clusters）（或）類別（catergories）（或）主題（topics）的數(shù)量。為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們使用主題建模（ Topic Modelling）。

Topic Modelling

https://www.analyticsvidhya.com/blog/2018/10/stepwise-guide-topic-modeling-latent-semantic-analysis/

主題建模是一種對文檔進(jìn)行無監(jiān)督分類的方法，即便我們不確定要查找的內(nèi)容，它也可以找到適合的項(xiàng)目組。它主要使用狄利克雷分布（LDA）來擬合主題模型。

它將每個(gè)文檔（即交易）視為主題的混合，而將每個(gè)主題視為文字的混合。舉個(gè)例子：預(yù)算一詞可能出現(xiàn)在電影主題和政治主題中。該LDA的基本假設(shè)是，樣本中的每個(gè)觀察值來自可以被生成統(tǒng)計(jì)模型解釋的任意未知分布中。

主題建?？梢越鉀Q我們的問題。這里有一種生成統(tǒng)計(jì)模型，該統(tǒng)計(jì)模型已經(jīng)生成了交易描述中的所有文字，這些文字來自未知的任意分布（即未知的組或主題）。我們嘗試估計(jì)/建立一個(gè)統(tǒng)計(jì)模型，以便預(yù)測一個(gè)單詞屬于特定主題的概率。

主題連貫

我們已經(jīng)通過手動(dòng)查看各個(gè)主題中的熱門關(guān)鍵字來確定主題總數(shù)，這可能有點(diǎn)主題不一致，而且我們還需要一種主觀的方法來評估正確的主題數(shù)量。那么，我們使用主題連貫性（ Topic Coherence）來確定正確的主題數(shù)。

Topic Coherence

https://rare-technologies.com/what-is-topic-coherence/

主題連貫性應(yīng)用于該主題的前N個(gè)單詞。它被定義為主題中單詞的成對相似度得分的平均值/中位數(shù)。好的模型會(huì)產(chǎn)生連貫的主題，即主題連貫得分高的主題。

好的主題是可以用短標(biāo)簽描述的。因此，這就是主題一致性方法所捕獲的內(nèi)容：

是時(shí)候聚類了！

我們已經(jīng)確定了主題/群集的總數(shù)（在我們的案例中為7個(gè)主題）。我們應(yīng)該開始將每個(gè)交易描述消息分配給主題。在將文檔分配給主題時(shí)，僅依靠主題建?？赡軣o法產(chǎn)生準(zhǔn)確的結(jié)果。

在這里，我們使用主題建模的輸出以及其他一些功能，使用 K-Means clustering對交易描述消息進(jìn)行聚類，我們將主要為K-Means集群構(gòu)建功能集。

K-Means clustering

https://www.analyticsvidhya.com/blog/2019/08/comprehensive-guide-k-means-clustering/

特征：

基本特征

- 字?jǐn)?shù)，位數(shù)，特殊符號數(shù)

- 最長數(shù)字序列長度，數(shù)字-字符比

- 平均，最長字長等

- 交易的周，日和月，當(dāng)前日期，周末交易等

- 每月最后5天或每月前5天執(zhí)行的交易

- 公眾假期和節(jié)日交易等

查找功能–使用行業(yè)中的頂級品牌和常用名詞作為查找名稱。計(jì)算與特定行業(yè)相關(guān)的交易描述中的單詞數(shù)。

- 食品：蔬菜，多米諾骨牌Dominos（披薩品牌），F(xiàn)reshDirect（美國的在線食品雜貨商），賽百味等

- 體育：棒球，阿迪達(dá)斯，足球，防滑釘?shù)?/p>

- 衛(wèi)生：藥房，醫(yī)院，體育館等

- Bill＆EMI：政策，能源，聲明，時(shí)間表，取款，電話等。

- 娛樂：Netflix，Prime節(jié)目，Spotify，Soundcloud，酒吧

- 電子商務(wù)：亞馬遜，沃爾瑪，eBay，Ticketmaster等

其他：Uber，Airbus，打包機(jī)等

主題建模功能

對使用TF-IDF方法生成的DTM矩陣的一元模型和二元模型執(zhí)行主題建模。對于每個(gè)主題的交易描述的unigram一元模型和bigram 二元模型DTM矩陣，我們使其獲得2組7種的不同概率。

最后的想法

每個(gè)交易描述大約有30個(gè)功能，我們執(zhí)行K-Means聚類將每個(gè)交易描述分配給7個(gè)集群之一。

結(jié)果表明，聚類中心附近的觀測結(jié)果大多標(biāo)有正確的主題。少量錯(cuò)誤的主題標(biāo)簽被分配在距離聚類中心較遠(yuǎn)的觀察點(diǎn)。在手動(dòng)查看的350個(gè)交易描述中，大約240個(gè)（準(zhǔn)確率為69％）交易描述已正確標(biāo)記了適當(dāng)?shù)闹黝}。

現(xiàn)在，我們至少可以對內(nèi)部客戶的偏好和興趣進(jìn)行基本估算。我們可以通過發(fā)送定制的要約和選項(xiàng)使內(nèi)部客戶參與并改善業(yè)務(wù)。

盡管使用主題建模的方法相對新穎，實(shí)際上，大多數(shù)的信用卡的發(fā)行商都會(huì)使用對客戶交易的興趣進(jìn)行分類。例如，美國運(yùn)通公司一直在使用這種方法為其客戶創(chuàng)建興趣圖。這樣的興趣圖不僅將交易分為食物，旅行等主要類別，而且還創(chuàng)建了諸如泰國美食迷，野生動(dòng)物愛好者等的細(xì)分。所有這些分類都僅僅基于交易數(shù)據(jù)的豐富性！

關(guān)于作者

Ravindra Reddy Tamma –數(shù)據(jù)科學(xué)家（Actify數(shù)據(jù)實(shí)驗(yàn)室）

Ravindra是Actify Data Labs的機(jī)器學(xué)習(xí)專家。他的專長包括信用風(fēng)險(xiǎn)分析，應(yīng)用程序欺詐建模，OCR，文本挖掘以及將模型部署為API。他與貸方廣泛合作，以開發(fā)應(yīng)用程序，行為和收款記分卡。

Ravindra還使用非結(jié)構(gòu)化征信機(jī)構(gòu)標(biāo)頭信息為印度的無抵押貸款開發(fā)了國家級應(yīng)用程序欺詐模型。除信用風(fēng)險(xiǎn)外，Ravindra在OCR，圖像分析和文本挖掘方面擁有深厚的專業(yè)知識。
編輯：hfy