python爬取某站上海租房圖片-魔扣目錄

首先安裝

我是用的pycharm所以另為的腳本安裝我這就不介紹了。

如上圖打開默認設置選擇Project Interprecter，雙擊pip或者點擊加號，搜索要安裝的第三方庫。其中如果建立的項目多記得Project Interprecter要選擇正確的安裝位置不然無法導入。

Requests庫

requests庫的官方定義：Requests 唯一的一個非轉基因的 Python HTTP 庫，人類可以安全享用。其實他就是請求網絡獲取網頁數據的。

結果如下：

其中Request Headers的參數如下：

#headers的一些屬性：

#Accept:指定客戶端能夠接收的內容類型，內容類型的先后次序表示客戶都接收的先后次序

#Accept-Lanuage:指定HTTP客戶端瀏覽器用來展示返回信息優先選擇的語言

#Accept-Encoding指定客戶端瀏覽器可以支持的web服務器返回內容壓縮編碼類型。表示允許服務器在將輸出內容發送到客戶端以前進行壓縮，以節約帶寬。而這里設置的就是客戶端瀏覽器所能夠支持的返回壓縮格式。

#Accept-Charset:HTTP客戶端瀏覽器可以接受的字符編碼集

# User-Agent : 有些服務器或 Proxy 會通過該值來判斷是否是瀏覽器發出的請求

# Content-Type : 在使用 REST 接口時，服務器會檢查該值，用來確定 HTTP Body 中的內容該怎樣解析。

# Application/xml ：在 XML RPC，如 RESTful/SOAP 調用時使用

# application/json ：在 JSON RPC 調用時使用

# application/x-www-form-urlencoded ：瀏覽器提交 Web 表單時使用

# 在使用服務器提供的 RESTful 或 SOAP 服務時， Content-Type 設置錯誤會導致服務器拒絕服務

BeautifulSoup庫

BeautifulSoup可以輕松的解析Requests庫請求的頁面，并把頁面源代碼解析為Soup文檔，一邊過濾提取數據。

Beautiful Soup支持Python標準庫中的html解析器,還支持一些第三方的解析器，如果我們不安裝它，則 Python 會使用 Python默認的解析器，其中lxml 據說是相對而言比較強大的我下面的暗示是python 標準庫的。

選擇器select

# 選擇所有div標簽

soup.select("div")

# 選擇所有p標簽中的第三個標簽

soup.select("p:nth-of-type(3)")

相當于soup.select(p)[2]

# 選擇div標簽下的所有img標簽

soup.select("div img")

# 選擇div標簽下的直接a子標簽

soup.select("div > a")

# 選擇id=link1后的所有兄弟節點標簽

soup.select("#link1 ~ .mybro")

# 選擇id=link1后的下一個兄弟節點標簽

soup.select("#link1 + .mybro")

# 選擇a標簽，其類屬性為className的標簽

soup.select("a .className")

# 選擇a標簽，其id屬性為idName的標簽

soup.select("a #idName")

# 選擇a標簽，其屬性中存在attrName的所有標簽

soup.select("a[attrName]")

# 選擇a標簽，其屬性href=http://wangyanling.com的所有標簽

soup.select("a[href='http://wangyanling.com']")

# 選擇a標簽，其href屬性以http開頭

soup.select('a[href^="http"]')

# 選擇a標簽，其href屬性以lacie結尾

soup.select('a[href$="lacie"]')

# 選擇a標簽，其href屬性包含.com

soup.select('a[href*=".com"]')

# 從html中排除某標簽，此時soup中不再有script標簽

[s.extract() for s in soup('script')]

# 如果想排除多個呢

[s.extract() for s in soup(['script','fram']