seo分析師的頭銜，就是尋找大量免費(fèi)數(shù)據(jù)來源，并將其整理成有見地的東西。 為什么？ 因?yàn)閷⒖蛻舻慕ㄗh基于猜想沒有任何價(jià)值。 最好將高質(zhì)量的數(shù)據(jù)與良好的分析相結(jié)合，以幫助我們的客戶更好地了解對(duì)他們而言重要的方面。
在本文中，我將告訴您如何開始使用一些免費(fèi)資源，并說明如何組合獨(dú)特的分析方法，這些方法可以為您的博客文章提供有用的見解（如果您是作家，則是代理機(jī)構(gòu)，如果您是SEO，或者您的網(wǎng)站（如果您是自己進(jìn)行SEO的客戶或所有者）。
我要使用的方案是我要分析一些SEO屬性（例如，反向鏈接，頁面權(quán)限等），并查看它們對(duì)google排名的影響。 我想回答以下問題：“反向鏈接真的對(duì)進(jìn)入SERP的第1頁有效嗎？”和“我真的需要在前10個(gè)結(jié)果中獲得哪種頁面權(quán)威評(píng)分？”為此，我需要結(jié)合起來來自許多Google搜索的數(shù)據(jù)，其中包含我要衡量的具有SEO屬性的每個(gè)結(jié)果的數(shù)據(jù)。
讓我們開始并研究如何組合以下任務(wù)以實(shí)現(xiàn)此目標(biāo)，這些任務(wù)都可以免費(fèi)設(shè)置：
- 使用Google自定義搜索引擎查詢
- 使用免費(fèi)的某（可以選擇自己喜歡的 中國或者美國的都可以） API帳戶
- 使用php和MySQL收集數(shù)據(jù)
- 使用SQL和R分析數(shù)據(jù)
使用Google自定義搜索引擎查詢
我們首先需要查詢Google并存儲(chǔ)一些結(jié)果。 為了保持Google服務(wù)條款的正確性，我們不會(huì)直接抓取Google.com，而是會(huì)使用Google的“自定義搜索”功能。 Google的自定義搜索主要旨在讓網(wǎng)站所有者在其網(wǎng)站上提供類似Google的搜索小部件。 但是，還有一個(gè)免費(fèi)的基于REST的Google搜索API ，可讓您查詢Google并以流行的JSON格式檢索結(jié)果。 有配額限制，但是可以配置和擴(kuò)展配額限制 ，以提供可使用的良好數(shù)據(jù)樣本。
在正確配置為搜索整個(gè)網(wǎng)絡(luò)后，您可以將查詢發(fā)送到自定義搜索引擎（在我們的示例中是使用PHP），并將其視為Google響應(yīng)，盡管有一些注意事項(xiàng)。 使用自定義搜索引擎的主要限制是：（i）它不使用某些Google Web搜索功能（例如個(gè)性化結(jié)果），并且； （ii）如果您包含十個(gè)以上的網(wǎng)站，則可能包含Google索引的一部分結(jié)果。
盡管有這些限制，但仍有許多搜索選項(xiàng)可以傳遞給自定義搜索引擎，以代理您可能期望Google.com返回的內(nèi)容。 在我們的場(chǎng)景中，我們?cè)趽艽螂娫挄r(shí)傳遞了以下內(nèi)容：
https://www.google.com/customsearch/v1?key=<google_api_id>&userIp= <ip_address>＆cx <custom_search_engine_id>＆q = iphone + X＆cr = countryUS＆start = 1 </ custom_search_engine_id> </ ip_address> </ google_api_id>
哪里：
- https://www.google.com/cn/customsearch/v1 –是Google自定義搜索API的網(wǎng)址
- key = <GOOGLE_API_ID> –您的Google Developer API密鑰
- userIp = <IP_ADDRESS> –計(jì)算機(jī)的IP地址
- cx = <CUSTOM_SEARCH_ENGINE_ID> –您的Google自定義搜索引擎 ID
- q = iPhone + X – Google查詢字符串（“ +”代替“”）
- cr = countryUS –國家/地區(qū)限制（來自Goolge的“ 國家/地區(qū)名稱”列表）
- start = 1 –返回的第一個(gè)結(jié)果的索引-例如SERP頁面1。連續(xù)調(diào)用將使其遞增以得到頁面2–5。
谷歌曾說過谷歌自定義搜索引擎與谷歌.com有所不同 ，但是在有限的產(chǎn)品測(cè)試中，我比較了兩者之間的結(jié)果，這讓我感到鼓舞，因此繼續(xù)進(jìn)行分析。 也就是說，請(qǐng)記住，以下數(shù)據(jù)和結(jié)果來自Google自定義搜索（使用“整個(gè)網(wǎng)絡(luò)”查詢），而不是Google.com。
使用免費(fèi)的某 API帳戶
應(yīng)用程序編程接口 （API）。 要使用它，您需要注冊(cè)一個(gè) API密鑰 ，該密鑰是免費(fèi)的，但有限制，每十秒鐘一次查詢 。 具有免費(fèi)的帳戶和API密鑰，然后您可以查詢Links API并分析以下指標(biāo) ：
在調(diào)用Links API之前，將xxx API代碼添加在一起，如下所示：
www.Apple.com％2F？Cols = 103616137253＆AccessID = xxx_ACCESS_ID＆ 過期= 1560586149＆Signature = <xxx_SECRET_KEY>
結(jié)果：
- http://lsapi.xxxx.com/linkscape/url-metrics/“ class =” redactor-autoparser-object“> http：//lsapi.sxxxx.com/linksc ... – API的URL
- http％3A％2F％2F www.apple.com.tw％2F –我們要獲取數(shù)據(jù)的編碼URL
- Cols = 103616137253 –上表中的Moz API代碼總和
- AccessID = xxx_ACCESS_ID – 訪問ID的編碼版本（可在您的API帳戶中找到）
- Expires = 1560586149 –查詢超時(shí)-設(shè)置為未來幾分鐘
- Signature= <xxx_SECRET_KEY> – 訪問ID的編碼版本（在您的API帳戶中找到）
將返回類似以下JSON的內(nèi)容：
數(shù)組 （ [ut] =>apple [uu] => <a href="http://www.apple.com/" class="redactor-autoparser-object"> www.apple.com/ </a> [ueid] => 13078035 [uid] => 14632963 [uu] => www.apple.com/ [ueid] => 13078035 [uid] => 14632963 [umrp] => 9 [umrr] => 0.8999999762 [fmrp] => 2.602215052 [fmrr] => 0.2602215111 [us] => 200 [upa] => 90 [pda] => 100 ）
有關(guān)使用PHPPerl，Python，Ruby和JAVAscript查詢數(shù)據(jù)的一個(gè)很好的起點(diǎn)，請(qǐng)參閱Github上的此存儲(chǔ)庫 。 我選擇使用PHP。
使用PHP和MySQL收集數(shù)據(jù)
現(xiàn)在我們有了Google自定義搜索引擎和某 API，幾乎可以捕獲數(shù)據(jù)了。 Google和某工具通過JSON格式響應(yīng)請(qǐng)求，因此許多流行的編程語言都可以查詢。 除了我選擇的語言PHP外，我還將Google和xxx的結(jié)果都寫到了數(shù)據(jù)庫中，并為此選擇了MySQL Community Edition 。 也可以使用其他數(shù)據(jù)庫，例如Postgres，Oracle，Microsoft SQL Server等。這樣做可以使用SQL（結(jié)構(gòu)化查詢語言）以及其他語言（例如R）進(jìn)行數(shù)據(jù)的持久性和即席分析。后來）。 創(chuàng)建用于保存Google搜索結(jié)果的數(shù)據(jù)庫表（帶有用于排名，URL等的字段）和用于保存xxx數(shù)據(jù)字段（ueid，upa，uda等）的表之后，我們就可以設(shè)計(jì)數(shù)據(jù)收集計(jì)劃了。
Google使用自定義搜索引擎提供了足夠的配額 （每天使用相同的Google開發(fā)者控制臺(tái)密鑰進(jìn)行多達(dá)1億次查詢），但是某些工具免費(fèi)API的有上限，如果需要高級(jí)的就要購買了。根據(jù)計(jì)劃和方案的不同，當(dāng)我只是在探索免費(fèi)選項(xiàng)時(shí)，我設(shè)計(jì)了代碼，以在2頁的SERP（每頁10個(gè)結(jié)果）中收集125個(gè)Google查詢，使我能夠保持在2500行的配額之內(nèi)。 至于哪些搜索可以觸發(fā)Google，有很多資源可供使用。 我選擇使用Mondovo，因?yàn)樗鼈兲峁┝嗽S多類別的列表，每個(gè)列表最多500個(gè)單詞，對(duì)于實(shí)驗(yàn)來說足夠了。
我還引入了一些PHP幫助程序類以及我自己的數(shù)據(jù)庫I / O和HTTP代碼。
總之，使用的主要PHP構(gòu)建塊和源是：
- Google自定義搜索引擎– Ash Kiswany使用Jacob Fogg的 PHP界面編寫了Google自定義搜索的出色文章；
- Mozscape API –如前所述，該用于在Github上訪問Moz的PHP實(shí)現(xiàn)是一個(gè)很好的起點(diǎn)。
- 網(wǎng)站搜尋器和HTTP –在Purple Toolz ，我們有自己的搜尋器PurpleCerzBot ，它使用Curl作為HTTP和此簡單html DOM解析器 ；
- 數(shù)據(jù)庫I / O – PHP對(duì)MySQL具有出色的支持，我將這些教程打包為類。
要知道的一個(gè)因素是 API調(diào)用之間的10秒間隔 。 這是為了防止免費(fèi)API用戶過載。
使用SQL和R分析數(shù)據(jù)
現(xiàn)在該看看我們所擁有的。 有時(shí)這稱為數(shù)據(jù)爭用 。 我使用一種稱為R的免費(fèi)統(tǒng)計(jì)編程語言以及一種稱為R Studio的開發(fā)環(huán)境（編輯器）。
R因?yàn)樗情_源的，并且它具有許多第三方庫，這使其非常通用并且適合此類工作。
現(xiàn)在，我有幾個(gè)數(shù)據(jù)庫表，其中包含我在SERPS的2頁上的125個(gè)搜索詞查詢的結(jié)果（即，每個(gè)搜索詞有20個(gè)排名的URL）。 兩個(gè)數(shù)據(jù)庫表保存Google結(jié)果，另一個(gè)表保存Moz數(shù)據(jù)結(jié)果。 要訪問這些數(shù)據(jù)庫，我們需要做一個(gè)數(shù)據(jù)庫INNER JOIN，我們可以通過將RMySQL軟件包與R一起使用來輕松完成數(shù)據(jù)庫。這是通過在R的控制臺(tái)中鍵入“ install.packages（'RMySQL'）”來完成的，其中包括“庫（RMySQL）”位于我們R腳本頂部。
然后，我們可以執(zhí)行以下操作來連接并將數(shù)據(jù)獲取到名為“ theResults”的R數(shù)據(jù)幀變量中。
library(RMySQL)
# INNER JOIN the two tables
theQuery <- "
SELECT A.*, B.*, C.*
FROM
(
SELECT
cseq_search_id
FROM cse_query
) A -- Custom Search Query
INNER JOIN
(
SELECT
cser_cseq_id,
cser_rank,
cser_url
FROM cse_results
) B -- Custom Search Results
ON A.cseq_search_id = B.cser_cseq_id
INNER JOIN
(
SELECT *
FROM moz
) C -- Moz Data Fields
ON B.cser_url = C.moz_url
;
"
# [1] Connect to the database
# Replace USER_NAME with your database username
# Replace PASSword with your database password
# Replace MY_DB with your database name
theConn <- dbConnect(dbDriver("MySQL"), user = "USER_NAME", password = "PASSWORD", dbname = "MY_DB")
# [2] Query the database and hold the results
theResults <- dbGetQuery(theConn, theQuery)
# [3] Disconnect from the database
dbDisconnect(theConn)
NOTE:注意：我有兩個(gè)表來保存Google自定義搜索引擎數(shù)據(jù)。 一種保存Google查詢中的數(shù)據(jù)（cse_query），另一種保存結(jié)果（cse_results）。
現(xiàn)在我們可以使用R的全部統(tǒng)計(jì)功能開始爭吵。
讓我們從一些總結(jié)開始，以便對(duì)數(shù)據(jù)有所了解。 我經(jīng)歷的過程在每個(gè)字段中基本上都是相同的，因此讓我們說明并使用Moz的“ UEID”字段（指向URL的外部所有者鏈接的數(shù)量）。 通過在RI中鍵入以下內(nèi)容，可以得到以下內(nèi)容：
> summary(theResults$moz_ueid) Min. 1st Qu. Median Mean 3rd Qu. Max. 0 1 20 14709 182 2755274 > quantile(theResults$moz_ueid, probs = c(1, 5, 10, 25, 50, 75, 80, 90, 95, 99, 100)/100) 1% 5% 10% 25% 50% 75% 80% 90% 95% 99% 100% 0.0 0.0 0.0 1.0 20.0 182.0 337.2 1715.2 7873.4 412283.4 2755274.0
觀察這一點(diǎn)，您會(huì)發(fā)現(xiàn)數(shù)據(jù)由于中位數(shù)與均值的關(guān)系而偏斜（很大），而中位數(shù)與均值之間的關(guān)系被較高四分位數(shù)范圍內(nèi)的值（超過觀測(cè)值的75％的值）拉動(dòng)。 但是，我們可以將其繪制成R中的箱形圖，其中每個(gè)X值都是從Google自定義搜索位置1-20開始按等級(jí)排列的UEID分布。
請(qǐng)注意，我們?cè)趛軸上使用了對(duì)數(shù)刻度，以便我們可以顯示變化范圍很大的所有值！
由Google排名得出的 UEID R中的箱須圖（注：對(duì)數(shù)刻度）
箱形圖和晶須圖很棒，因?yàn)樗鼈冊(cè)谄渲酗@示了大量信息（請(qǐng)參見R中的geom_boxplot函數(shù)）。 紫色方框區(qū)域表示四分位間距（IQR），它是觀測(cè)值的25％到75％之間的值。 每個(gè)“方框”中的水平線代表中間值（訂購時(shí)中間的那一條），而從方框延伸的線（稱為“晶須”）代表1.5x IQR。 晶須外的點(diǎn)稱為“異常值”，并顯示每個(gè)等級(jí)的觀察值集的范圍。 盡管有對(duì)數(shù)刻度，但我們可以看到中值從排名10上升到排名1明顯，表明股權(quán)鏈接的數(shù)量可能是Google的排名因素。 讓我們用密度圖進(jìn)一步探索它。
密度圖非常類似于分布（直方圖），但顯示的是平滑線而不是條形圖。 與直方圖非常相似，密度圖的峰值顯示了數(shù)據(jù)值集中的位置，可以在比較兩個(gè)分布時(shí)提供幫助。 在下面的密度圖中，我將數(shù)據(jù)分為兩類：（i）排名1-10的SERP第1頁上顯示的結(jié)果為粉紅色；以及 （ii）在SERP第2頁上顯示的結(jié)果為藍(lán)色。 我還繪制了兩種分布的中位數(shù)，以幫助說明Page 1和Page 2之間的結(jié)果差異。
從這兩個(gè)密度圖得出的結(jié)論是，第1頁SERP結(jié)果比第2頁結(jié)果具有更多的外部股權(quán)反向鏈接（UEID）。 您還可以在下面看到這兩個(gè)類別的中值，清楚地顯示了第1頁（38）的值遠(yuǎn)大于第2頁（11）的值。 因此，我們現(xiàn)在有一些數(shù)字可用于反向鏈接的SEO策略。
# Create a factor in R according to which SERP page a result (cser_rank) is on
> theResults$rankBin <- paste("Page", ceiling(theResults$cser_rank / 10))
> theResults$rankBin <- factor(theResults$rankBin)
# Now report the medians by SERP page by calling ‘tapply’
> tapply(theResults$moz_ueid, theResults$rankBin, median)
Page 1 Page 2
38 11
由此，我們可以推斷出股權(quán)反向鏈接（UEID）很重要，如果我根據(jù)此數(shù)據(jù)為客戶提供建議，我想說他們應(yīng)該尋求38個(gè)以上基于股權(quán)的反向鏈接，以幫助他們進(jìn)入SERP的第1頁。 當(dāng)然，這是一個(gè)有限的樣本，需要更多的研究，需要考慮更大的樣本和其他排名因素，但是您可以理解。
現(xiàn)在，讓我們研究另一個(gè)比UEID范圍更小的度量標(biāo)準(zhǔn)，并查看的UPA度量標(biāo)準(zhǔn)，即頁面在搜索引擎結(jié)果中排名良好的可能性。
> summary(theResults$moz_upa) Min. 1st Qu. Median Mean 3rd Qu. Max. 1.00 33.00 41.00 41.22 50.00 81.00 > quantile(theResults$moz_upa, probs = c(1, 5, 10, 25, 50, 75, 80, 90, 95, 99, 100)/100) 1% 5% 10% 25% 50% 75% 80% 90% 95% 99% 100% 12 20 25 33 41 50 53 58 62 75 81
UPA是提供給URL的數(shù)字，范圍為0-100。 數(shù)據(jù)的表現(xiàn)比之前的UEID無界變量的均值和中位數(shù)靠得很近，表現(xiàn)出更好的“正態(tài)”分布，正如我們通過在R中繪制直方圖所見的那樣。
莫茲的UPA得分的直方圖
我們將像以前一樣執(zhí)行第1頁：第2頁的分裂和密度圖，并在將UPA數(shù)據(jù)分為兩組時(shí)查看UPA分?jǐn)?shù)分布。
# Report the medians by SERP page by calling ‘tapply’ > tapply(theResults$moz_upa, theResults$rankBin, median) Page 1 Page 2 43 39
總之，來自兩個(gè) API變量的兩個(gè)分布非常不同。 但是兩者都顯示出SERP頁面之間分?jǐn)?shù)的差異，并且為您提供了切實(shí)的價(jià)值（中位數(shù)），可以與您合作并最終為客戶提供關(guān)于您自己的SEO或申請(qǐng)SEO的建議。
當(dāng)然，這只是一個(gè)小樣本，不應(yīng)從字面上理解。 但是，借助Google和xxx的免費(fèi)資源，您現(xiàn)在可以看到如何開始開發(fā)自己的分析功能，以使假設(shè)基于而不是接受規(guī)范。 SEO排名因素一直在變化，擁有自己的分析工具來進(jìn)行自己的測(cè)試和實(shí)驗(yàn)將幫助您提高信譽(yù)，甚至可能對(duì)迄今未知的事物提供獨(dú)特的見解。
（文：Jason Morphett | 英國電信（BT）的分析師和數(shù)據(jù)可視化研究人員）
