近期，網(wǎng)絡(luò)安全巨頭Cloudflare發(fā)布了一項(xiàng)針對(duì)人工智能搜索新貴Perplexity的指控報(bào)告，指出后者涉嫌違反網(wǎng)站訪問限制，試圖規(guī)避對(duì)其網(wǎng)絡(luò)爬蟲的封鎖措施。據(jù)Cloudflare披露，當(dāng)Perplexity的爬蟲活動(dòng)受到阻礙時(shí)，該公司采取了偽裝身份的策略，試圖無視網(wǎng)站的訪問偏好，這包括直接無視r(shí)obots.txt文件中的明確禁令以及Web應(yīng)用防火墻（WAF）的既定規(guī)則。
這一指控進(jìn)一步加劇了外界對(duì)Perplexity可能未經(jīng)授權(quán)獲取網(wǎng)絡(luò)內(nèi)容的憂慮。早先，Perplexity就曾因突破付費(fèi)障礙和忽視r(shí)obots.txt文件而受到指責(zé)，但其CEO阿拉文德·斯瑞尼瓦斯當(dāng)時(shí)將問題歸咎于第三方爬蟲的行為。
為了驗(yàn)證客戶的投訴，Cloudflare特別設(shè)立了一個(gè)帶有相似訪問限制的新域名進(jìn)行測試。測試結(jié)果顯示，Perplexity的爬蟲（最初以“PerplexityBot”或“Perplexity-User”的身份出現(xiàn)）在遭遇封鎖后，會(huì)迅速變換其用戶代理信息，偽裝成在macOS系統(tǒng)上運(yùn)行的Google Chrome瀏覽器。Cloudflare強(qiáng)調(diào)，這種“未聲明的爬蟲”還運(yùn)用了不斷更換的IP地址和自治系統(tǒng)網(wǎng)絡(luò)（ASN）調(diào)整策略，以繞過封鎖。據(jù)Cloudflare觀察，此類規(guī)避行為波及“數(shù)以萬計(jì)的域名，每天產(chǎn)生數(shù)百萬次的請(qǐng)求”。
面對(duì)指控，Perplexity的發(fā)言人杰西·德懷爾在一份聲明中反駁稱，Cloudflare的報(bào)告是“夸大其詞”，并指出其中存在“諸多誤解”。盡管如此，Cloudflare已經(jīng)決定從已驗(yàn)證的機(jī)器人名單中剔除Perplexity，并分享了阻止其“隱形爬行”行為的具體方法。
