想必昨天的七夕節(jié)，一定是有人歡喜有人憂的一天，朋友圈里的曬照惹惱了我的一個(gè)程序員朋友，在昨晚怒爬2萬條相親網(wǎng)站數(shù)據(jù)，做了一次相親男女畫像！

話不多說，我們今天就以某相親網(wǎng)站為例子，爬取搜索頁面當(dāng)中所有的用戶信息，包括“用戶ID”、“年齡”、“城市”、“學(xué)歷”、“屬相”等內(nèi)容，使用的工具是爬蟲工具pycharm。

首先老規(guī)矩，爬蟲之前我們先分析一些目標(biāo)網(wǎng)頁的構(gòu)成，我們進(jìn)入網(wǎng)站的搜索頁面，摁下F12打開開發(fā)者工具，找到網(wǎng)頁選項(xiàng)，看一下網(wǎng)頁的Request URL和請求方式、user-agent等基本信息：

請求方式是post，說明我們不用去源代碼里找標(biāo)簽了，所有的數(shù)據(jù)都存放在網(wǎng)頁的json文件當(dāng)中，這倒是方便很多，我們直接通過鏈接直接獲取API文件，不需要進(jìn)行網(wǎng)頁解析，點(diǎn)擊HTR后點(diǎn)擊“請求”就能看到表單數(shù)據(jù)了。

很顯然，“sex”就是性別，“f”是“female”的縮寫，“p”代表著頁碼，因?yàn)樗阉黜撁嬉还灿?0頁，所以我們需要構(gòu)造一下完整的請求url：http://search.jiayuan.com/v2/search_v2.php？key=&sex=f&stc=1:11,2:18.24,3:155.170,23:1&sn=default&sv=1&p=1&f=select

當(dāng)網(wǎng)頁頁碼發(fā)生變化的時(shí)候，我們發(fā)現(xiàn)url當(dāng)中只有p值發(fā)生了變化，因此只需要改變p值就能構(gòu)造對應(yīng)的URL。

好了，網(wǎng)頁的構(gòu)成都分析好了，下一步就要開始在pycharm當(dāng)中寫爬蟲了，通過上面的url，我們可以獲取到服務(wù)器返回的 json格式的用戶信息，部分源代碼如下：

爬取的過程就不詳細(xì)講解了，因?yàn)檫@個(gè)網(wǎng)站還需要進(jìn)行模擬登陸，所以需要登陸后將 cookie 放入爬蟲的請求頭中，這樣便可正確訪問數(shù)據(jù)。經(jīng)過爬取后的數(shù)據(jù)清洗后如下：

注：Excel數(shù)據(jù)集的下載方式可以直接拉到文末獲得！

BI可視化分析

有了數(shù)據(jù)之后，我們下一步就是進(jìn)行數(shù)據(jù)可視化分析了，這里我們把清洗好的數(shù)據(jù)導(dǎo)入到FineBI當(dāng)中，在FineBI的主頁創(chuàng)建Excel數(shù)據(jù)集，位置我們可以放在任意的一個(gè)業(yè)務(wù)包里：

下一步為了能夠在不改變源數(shù)據(jù)表的情況下進(jìn)行數(shù)據(jù)加工和編輯，因此使用自助數(shù)據(jù)集的方式，將excel表當(dāng)中的所有指標(biāo)全部添加：

在FineBI當(dāng)中，我們可以對數(shù)據(jù)進(jìn)行很多加工操作，比如過濾、分組匯總、新增列、排序、合并等等：

因?yàn)槲覀円呀?jīng)在excel當(dāng)中清洗過數(shù)據(jù)了，所以這次就不用進(jìn)行加工處理了，直接選擇創(chuàng)建一個(gè)可視化組件，命名為“相親”：

然后我們就進(jìn)入了可視化操作頁面，我們只需要將指標(biāo)和維度拖入到橫縱坐標(biāo)軸上，選擇對應(yīng)的圖表類型，比如這里選擇了“柱狀圖”，就能自動展示出圖表：

當(dāng)然我們也可以對指標(biāo)和維度進(jìn)行編輯，比如排序、分組、過濾等等：

然后可以對圖表進(jìn)行一些優(yōu)化，比如顏色、大小、標(biāo)簽等等，一個(gè)基礎(chǔ)的可視化圖表組件就完成了：

結(jié)論分析

1、單身男女的學(xué)歷情況分析

整體上看高學(xué)歷的人數(shù)占比是很小的，大多數(shù)是大專和本科畢業(yè)，但是其中碩士的單身比例也非常高，因?yàn)橐话銇碚f，學(xué)歷越高婚姻率越低；下面我們再看一下不同性別的學(xué)歷情況：

整體上看，女性的學(xué)歷程度比起男性要低一些，大專以下的女性比例高，本科以上的男性比例高，這個(gè)也可能跟高學(xué)歷的人數(shù)有關(guān)；

2、單身男女的婚姻狀況

沒想到，占比最大的婚姻狀況竟然是離異，說明相親網(wǎng)站上市場最大的對象是離異男女，占到了50%的比例；

我們再用性別維度進(jìn)行拆解，發(fā)現(xiàn)整體比例是差不多的，但是男性的喪偶比例要高一下，未婚比例要比女性要低很多，說明相親市場中未婚的還是以女性為主。

3、單身男女的年齡、身高情況

首先是年齡情況，可以看到相親網(wǎng)站上用戶的整體年齡偏大，主要的群體以30-40歲為主，但是男性的年齡分布出現(xiàn)了明顯的斷層，40歲-50歲的比例是很小的，但是55歲以上的比例又遠(yuǎn)超女性，看起來大齡剩男都是因?yàn)殡x異或者喪偶；

而女性在55歲之前的單身比例都比較高，55歲之后就斷崖式下降了，看起來單身女性是個(gè)在各個(gè)年齡段都存在的問題啊。

下面我們再來看一下單身男女的身高情況：

很顯然，單身女性在“160cm”、“165cm”出現(xiàn)了兩次高峰，單身男性在“170cm”、“175cm”出現(xiàn)了兩次高峰。
據(jù)說女性不過160、男性不過175都很難找對象，看起來大家在填資料的時(shí)候，都或多或少往這兩個(gè)數(shù)值上靠，整體上能看出來，個(gè)子不高確實(shí)不太好找對象。

為了更明顯地看出男女身高與年齡的情況，我特意做了張分布圖：