如何編寫wordPress/ target=_blank class=infotextkey>WordPress的robots.txt文件
【robots.txt文件編寫規則】
不論我們seo站長用什么建站程序,都應該了解掌握robots文件的編寫規則和格式,那么robots文件的格式規則是怎樣的呢?
1、User-agent:該項的值用于描述搜索引擎robot的名字。
例子:User-agent:Baiduspider ,指的就是百度搜索引擎蜘蛛。
2、Disallow:該項的值用于描述不希望被訪問的一組URL,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以Disallow項的值開頭的URL不會被 robot訪問。
例子1:Disallow: /wp-admin/,指的是不允許訪問wp-admin文件夾下面的內容,但是不限制訪問wp-admin.php、wp-admin.html文件。例子2:Disallow: /wp-admin,指的是不允許訪問wp-admin文件夾下面的內容以及wp-admin.php、wp-admin.html文件。
3、Allow:該項的值用于描述希望被訪問的一組URL,與Disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以Allow項的值開頭的URL 是允許robot訪問的。
例子:Allow: /wp-content/uploads/,指的是允許訪問wp-content文件夾下面的uploads文件夾的內容。
4、使用"*"和"$":Baiduspider支持使用通配符"*"和"$"來模糊匹配url。 "*" 匹配0或多個任意字符 "$" 匹配行結束符。
例子1:User-agent:*,指的是所有搜索引擎蜘蛛(或機器人)。例子2:Disallow: /*.css$,指的是不允許訪問任何后綴為.css文件。
5、Sitemap:用來告訴搜索引擎網站地圖的位置。
例子:Sitemap: https://你的域名/sitemap.xml,其中sitemap.xml是你的網站的網站地圖文件
編寫注意事項:
①百度會嚴格遵守robots的相關協議,請注意區分您不想被抓取或收錄的目錄的大小寫;
②百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配,否則robots協議無法生效。
③一定是英文輸入法格式下的“空格”和符號,因為代碼是英文格式的
【wordpress的robots怎么寫最佳】
1、我們當然希望所有的搜索引擎都來抓取網站。因此,我們可以寫
User-agent:*
2、為了避免收錄WordPress系統文件,因為系統文件對于用戶來說沒用處,收錄了反而容易被人黑站,因此應該屏蔽了WordPress的后臺文件。
Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-content/
3、每個默認的文章頁面代碼里,都有一段trackback的鏈接,如果不屏蔽讓蜘蛛去捉取,網站會出現重復頁面內容問題。
Disallow: /*/trackback
4、頭部代碼里的feed鏈接主要是提示瀏覽器用戶可以訂閱本站,而一般的站點都有RSS輸出和網站地圖,故屏蔽搜索引擎捉取這些鏈接,提高蜘蛛的抓取效率。
Disallow: /feedDisallow: /*/feedDisallow: /comments/feed
5、這個是屏蔽捉取站內搜索結果。站內沒出現這些鏈接不代表站外沒有,如果收錄了會造成和TAG等頁面的內容相近。
Disallow: /*?*Disallow: /?s=*Disallow: /*/?s=*
6、屏蔽留言鏈接插件留下的變形留言鏈接。
Disallow: /?r=*
7、屏蔽捉取留言信息鏈接。一般不會收錄到這樣的鏈接,但為了更好地讓蜘蛛高效抓取和工作,也該屏蔽。
Disallow: /*/comment-page-*Disallow: /*?replytocom*
8、網站地圖地址指令,主流是txt和xml格式。告訴搜索引擎網站地圖地址,方便搜索引擎捉取全站內容。另外要注意Sitemap的S要用大寫,地圖地址也要用絕對地址。
Sitemap: https://你的域名/sitemap.xml
綜上所述,整個robots文件就是:
User-agent:*
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /*?*
Disallow: /?s=*
Disallow: /*/?s=*
Disallow: /?r=*
Disallow: /*/comment-page-*
Disallow: /*?replytocom*
Sitemap: https://你的域名/sitemap.xml
我們就可以利用robtos協議優化wordpress網站的被抓取和收錄的速度,根據上面的robots文件內容,按照實際情況增加自己所需要的,希望能夠幫助剛接觸wordpress建站的站長更快上手。
品牌簡介:L氪跡免費SEO教程學習|佛山SEO技術分享本站文章由佛山SEO技術教程學習網發布,作者:L氪跡,如若轉載請注明原文及出處