最近在看《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》的時(shí)候萌生了一個(gè)想法,自己去網(wǎng)上爬一些數(shù)據(jù)按照書(shū)上的方法處理一下,不僅可以加深自己對(duì)書(shū)本的理解,順便還可以在github拉拉人氣。剛好在看決策樹(shù)這一章,書(shū)里面的理論和例子讓我覺(jué)得這個(gè)理論和選擇對(duì)象簡(jiǎn)直不能再貼切,看完長(zhǎng)相看學(xué)歷,看完學(xué)歷看收入。如果可以從婚戀網(wǎng)站上爬取女性的數(shù)據(jù)信息,手動(dòng)給她們打標(biāo)簽,并根據(jù)這些數(shù)據(jù)構(gòu)建決策樹(shù),不就可以找出自己的擇偶模式了嗎!github項(xiàng)目:huatian-funny,下面就詳細(xì)的闡釋一下。
數(shù)據(jù)爬取
之前在世紀(jì)佳緣上爬取過(guò)類似的數(shù)據(jù),總體的感覺(jué)是上面的用戶數(shù)據(jù)要么基本不填要么一看就很假,周圍的一些老司機(jī)建議可以在花田網(wǎng)上看下,數(shù)據(jù)質(zhì)量確實(shí)高很多,唯一的缺點(diǎn)就是上面的數(shù)據(jù)不給爬,搜索用戶的API需要登錄,而且只顯示三十多個(gè)用戶的信息。剛好我需要的數(shù)據(jù)也很少,就把搜索條件劃分的很細(xì),每次取到的數(shù)據(jù)很小,但最終匯集的數(shù)量還是相當(dāng)可觀的,最終獲取了位置在上海年齡22-27共計(jì)2000個(gè)左右的用戶數(shù)據(jù)。填寫(xiě)好spider.py中的用戶名和密碼,直接運(yùn)行這個(gè)文件就可以爬取數(shù)據(jù),因?yàn)閿?shù)據(jù)量不大,很快就可以運(yùn)行完畢,存儲(chǔ)在mongodb中的數(shù)據(jù)如下:
爬蟲(chóng)用到的工具是requests,流程上也很簡(jiǎn)單,先發(fā)送登陸請(qǐng)求獲取cookie,然后調(diào)用搜索API獲取數(shù)據(jù),拿到的數(shù)據(jù)是json格式,不需要任何轉(zhuǎn)換直接存儲(chǔ)mongodb,非常的方便,唯一想吐槽的就是花田搜索API接口竟然用的是POST方式,太沒(méi)有專業(yè)水準(zhǔn)了。稍微提一下如何用request獲取cookie,用Session構(gòu)建一個(gè)session對(duì)象,用這個(gè)對(duì)象發(fā)送登陸請(qǐng)求后,之后的請(qǐng)求都會(huì)自動(dòng)帶上登陸返回的cookie,使用起來(lái)非常的簡(jiǎn)單。
給用戶打標(biāo)簽
由于決策樹(shù)屬于監(jiān)督學(xué)習(xí),需要一個(gè)給定的標(biāo)簽,因此需要自己根據(jù)用戶的外貌、年齡、學(xué)歷等多個(gè)維度的判斷給出一個(gè)標(biāo)簽,最后生成的決策樹(shù)在一定程度上就可以反映自己的擇偶標(biāo)準(zhǔn)。針對(duì)女性的標(biāo)簽很簡(jiǎn)單粗暴,只有滿意和不滿意兩種,有興趣的同學(xué)可以按照真實(shí)的情況設(shè)置更多的標(biāo)簽,例如優(yōu)秀、一般、備胎、不合格等等。因?yàn)橥饷彩沁x擇對(duì)象過(guò)程中一個(gè)必不可少的要素,把相貌量化至關(guān)重要,因?yàn)闆](méi)有相關(guān)的工具根據(jù)頭像進(jìn)行評(píng)分,只能個(gè)人主觀進(jìn)行量化,采用了當(dāng)下非常流行的十分制。
為了增加打標(biāo)簽的效率,專門(mén)寫(xiě)了一個(gè)桌面窗口,運(yùn)行mark.py即可,運(yùn)行結(jié)果如下。(tkinter是一個(gè)坑,調(diào)代碼的時(shí)間夠我把整個(gè)數(shù)據(jù)集看好幾遍了,不過(guò)真的用起來(lái)的時(shí)候還是挺有意思的)
備注:因?yàn)閯傞_(kāi)始看的很多用戶只有頭像、年齡、身高、工資、學(xué)歷這五個(gè)信息,所以整個(gè)過(guò)程中只參考了這五個(gè)維度進(jìn)行評(píng)價(jià),下面的決策樹(shù)也是根據(jù)這五個(gè)維度進(jìn)行處理。
訓(xùn)練數(shù)據(jù)
決策樹(shù)
機(jī)器學(xué)習(xí)中,決策樹(shù)是一個(gè)預(yù)測(cè)模型,它代表的是對(duì)象屬性與對(duì)象值之間的一種映射關(guān)系。樹(shù)中每個(gè)節(jié)點(diǎn)表示某個(gè)對(duì)象,而每個(gè)分叉路徑則代表的某個(gè)可能的屬性值,而每個(gè)葉結(jié)點(diǎn)則對(duì)應(yīng)從根節(jié)點(diǎn)到該葉節(jié)點(diǎn)所經(jīng)歷的路徑所表示的對(duì)象的值。決策樹(shù)僅有單一輸出,若欲有復(fù)數(shù)輸出,可以建立獨(dú)立的決策樹(shù)以處理不同輸出。從數(shù)據(jù)產(chǎn)生決策樹(shù)的機(jī)器學(xué)習(xí)技術(shù)叫做決策樹(shù)學(xué)習(xí), 通俗點(diǎn)說(shuō)就是決策樹(shù),說(shuō)白了,這是一種依托于分類、訓(xùn)練上的預(yù)測(cè)樹(shù),根據(jù)已知預(yù)測(cè)、歸類未來(lái)。
理論方面我可以參考《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》第三章或者這篇博客,很淺顯易懂的解釋了具體的原理,我就不贅述了。
結(jié)果展示
代碼參考的是《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》,針對(duì)現(xiàn)實(shí)自己做了一些優(yōu)化調(diào)整,和原來(lái)的代碼不是完全相同,運(yùn)行train.py就可以顯示出結(jié)果,如下:
因?yàn)榫€很擠,調(diào)了很久只能拿到這個(gè)效果了。到這兒已經(jīng)很清晰明了的闡明了主題,我就是一個(gè)外貌黨,顏值高的pass,顏值低的忽略,不高不低的考慮的相當(dāng)糾結(jié)。有興趣的同學(xué)可以自己試一試。
-
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8306瀏覽量
131838 -
python
+關(guān)注
關(guān)注
53文章
4753瀏覽量
84070
原文標(biāo)題:Python抓取婚戀網(wǎng)用戶數(shù)據(jù),用決策樹(shù)生成自己擇偶觀
文章出處:【微信號(hào):WUKOOAI,微信公眾號(hào):悟空智能科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論