在我沒接觸這一行時(shí)這個(gè)問題困擾了我很長時(shí)間，讓我十分的不理解到底什么是爬蟲，它難道是一種實(shí)體工具？，直到我學(xué)習(xí)Python 深入分析了解以后才揭開了它神秘的面紗。
爬蟲是什么呢？爬蟲有簡(jiǎn)單的爬蟲和復(fù)雜的爬蟲。實(shí)際上簡(jiǎn)單的爬蟲是一種腳本，是一種按照一定的規(guī)則，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。
腳本就是粗糙的，但往往非常實(shí)用的小程序（一般來說不會(huì)超過幾千行，有時(shí)候也就幾百幾十行的代碼構(gòu)成）。舉個(gè)簡(jiǎn)單的例子，你現(xiàn)在要從一個(gè)學(xué)生租房的網(wǎng)站上讀取關(guān)于出租的學(xué)生公寓的信息。你一條一條去抄寫肯定是不現(xiàn)實(shí)的。所以就要用爬蟲?？梢园岩粋€(gè)信息類網(wǎng)站上幾千條信息一次全部扒下來。百度，谷歌這類的搜索引擎你也可以認(rèn)為是一種爬蟲，只不過這類的技術(shù)十分的復(fù)雜，不是簡(jiǎn)單的腳本。
搜索引擎是如何工作的？其實(shí)就是通過網(wǎng)絡(luò)爬蟲技術(shù)，將互聯(lián)網(wǎng)中數(shù)以百億計(jì)的網(wǎng)頁信息保存到本地，形成一個(gè)鏡像文件，為整個(gè)搜索引擎提供數(shù)據(jù)支撐。
這樣的技術(shù)首先就會(huì)涉及到一個(gè)十分重要并且人人關(guān)注的問題——是否違法？
仔細(xì)探究后總結(jié)出了如下觀點(diǎn)：
1.遵守 Robots 協(xié)議，但有沒有 Robots 都不代表可以隨便爬，
2.限制你的爬蟲行為，禁止近乎 DDoS 的請(qǐng)求頻率，一旦造成服務(wù)器癱瘓，約等于網(wǎng)絡(luò)攻擊；
3.對(duì)于明顯反爬，或者正常情況不能到達(dá)的頁面不能強(qiáng)行突破，否則是 Hacker 行為；
4.審視清楚自己爬的內(nèi)容，絕不能觸碰法律的紅線。
至此你應(yīng)該明白，爬蟲本身并不違法，而是要看你使用的方式和目的，還要看其商業(yè)用途。
