在學習爬蟲前，我們需要先掌握網站類型，才能根據網站類型，使用適用的方法來編寫爬蟲獲取數據。
今天小編就以國內知名的ForeSpider爬蟲軟件能夠采集的網站類型為例，來為大家盤點一下數據采集常見的幾種網站類型。
l常見網站類型
1.js頁面
JAVAScript是一種屬于網絡的腳本語言,被廣泛用于Web應用開發,常用來為網頁添加各式各樣的動態功能,為用戶提供更流暢美觀的瀏覽效果。通常JavaScript腳本是通過嵌入在html中來實現自身的功能的。
ForeSpider數據抓取工具可自動解析JS，采集基于js頁面中的數據，即可采集頁面中包含JS的數據。
Ajax即異步的JavaScript和XML，它不是一門編程語言，而是利用JavaScript在保證頁面不被刷新、頁面鏈接不改變的情況下與服務器交換數據并更新部分網頁的技術。
我們瀏覽網頁的時候，經常會遇到這樣的情況，瀏覽某頁面時，往后拉頁面，頁面鏈接并沒有變化，但是網頁中卻多了新內容，這就是通過Ajax獲取新數據并呈現出來的過程。
ForeSpider數據采集系統支持Ajax技術,可采集Ajax網頁中的內容。
2.post/get請求
在html語言中，有兩種方式給服務器發送表單（你在網頁中填寫的一些數據）。一種是POST一種是GET。POST把表單打包后隱藏在后臺發送給服務器；GET把表單打包發送前，附加到URL（網址）的后面。
ForeSpider采集器可采集數據在post/get請求中的網頁內容，即采集post/get請求中的數據。
3.需要Cookie的網站
Cookie指某些網站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據。Cookie基于 Internet的各種服務系統應運而生，是由 Web 服務器保存在用戶瀏覽器上的小文本文件，它可以包含有關用戶的信息，是用戶獲取、交流、傳遞信息的主要場所之一，無論何時用戶鏈接到服務器，Web 站點都可以訪問 Cookie 信息。
一般用戶的賬號信息記錄在cookie中，爬蟲爬取數據的時候，可以使用cookie模擬登錄狀態，從而獲取到數據。
ForeSpider數據采集分析引擎可設置cookie來模擬登陸，從而采集需要用到cookie的網站內容。
4. 采集需要OAuth認證的網頁數據
OAUTH協議為用戶資源的授權提供了一個安全的、開放而又簡易的標準。同時，任何第三方都可以使用OAUTH認證服務，任何服務提供商都可以實現自身的OAUTH認證服務，因而OAUTH是開放的。
業界提供了OAUTH的多種實現如php、Java Script，Java，Ruby等各種語言開發包，大大節約了程序員的時間，因而OAUTH是簡易的。互聯網很多服務如Open API，很多大公司如google，Yahoo，Microsoft等都提供了OAUTH認證服務，這些都足以說明OAUTH標準逐漸成為開放資源授權的標準。
ForeSpider爬蟲軟件支持OAuth認證，可以采集需要OAuth認證的頁面中的數據。
l 前嗅簡介
前嗅大數據，國內領先的研發型大數據專家，多年來致力于為大數據技術的研究與開發，自主研發了一整套從數據采集、分析、處理、管理到應用、營銷的大數據產品。前嗅致力于打造國內第一家深度大數據平臺！
