【ITBEAR】8月6日消息,近日云服務(wù)提供商Akamai發(fā)布了最新的SOTI報告,題為《侵蝕您的利潤:網(wǎng)絡(luò)爬蟲程序?qū)﹄娚绦袠I(yè)有何影響》。該報告對電商網(wǎng)站的69億次請求進行了分析,結(jié)果顯示人類訪問和機器人“爬蟲”的訪問量各占半壁江山。而高風(fēng)險爬蟲活動占據(jù)了總爬蟲活動的近三成,對企業(yè)運營構(gòu)成嚴重威脅。
據(jù)ITBEAR了解,爬蟲,即“Robot”,是一段模擬正常用戶行為的代碼,其執(zhí)行任務(wù)時的高效和針對性使其能快速抓取目標信息。根據(jù)行為性質(zhì),爬蟲可分為善意、中性和有害三類。其中,有害爬蟲可能從事諸如撞庫攻擊、數(shù)據(jù)竊取等惡意行為。
在電商領(lǐng)域,不法分子利用爬蟲技術(shù)搶購低價商品并轉(zhuǎn)售賺取差價。此外,爬蟲還可能導(dǎo)致電商網(wǎng)站資源消耗劇增,影響正常用戶訪問體驗,并可能干擾市場營銷分析工具的數(shù)據(jù)準確性。
Akamai北亞區(qū)技術(shù)總監(jiān)劉燁指出,電商領(lǐng)域爬蟲活躍的原因主要包括“爬蟲即服務(wù)”(Scraper as a Service, SaaS)模式的便捷性,以及AI和機器學(xué)習(xí)技術(shù)的融入使得爬蟲服務(wù)日益智能化。然而,這些爬蟲越來越難以識別,尤其是采用“無頭瀏覽器”等技術(shù)的爬蟲,對傳統(tǒng)安全手段構(gòu)成挑戰(zhàn)。
為應(yīng)對這一挑戰(zhàn),劉燁建議電商企業(yè)首先識別爬蟲,然后針對不同類型的爬蟲采取相應(yīng)的應(yīng)對措施。Akamai則提出了雙重應(yīng)對策略:在邊緣網(wǎng)絡(luò)層面快速識別并限制惡意爬蟲,同時結(jié)合機器學(xué)習(xí)和行為分析技術(shù),提高識別精度,確保對潛在威脅的準確打擊。這些策略不僅有助于抵御惡意爬蟲,還能保障電商網(wǎng)站的穩(wěn)定運行和數(shù)據(jù)安全。