Cloudflare近期推出了一項名為“按爬蟲付費”的創新服務，旨在重新定義網站內容與人工智能（AI）公司之間的交互模式。這一服務意圖為內容創作者提供更加靈活的內容控制權，同時也為AI公司提供一種更為公正的獲取內容的途徑。
過去一年中，為了應對AI爬蟲數量的急劇增加，Cloudflare已經開發了一系列工具，例如可以一鍵屏蔽所有AI爬蟲的解決方案，以及能夠監控AI爬蟲訪問活動的儀表板。Cloudflare的首席執行官馬修?普林斯在訪談中提到，這些工具為構建新的服務模式奠定了堅實的基礎。
在“按爬蟲付費”服務框架下，網站所有者有權決定允許AI爬蟲以何種費率抓取他們的內容，或者選擇免費開放，甚至完全禁止爬蟲訪問。這種模式賦予了網站更大的自主權，讓它們能夠更好地管理內容的使用情況。
隨著新聞出版行業面臨多重挑戰，特別是在谷歌搜索流量下滑和AI聊天機器人迅速崛起的大背景下，Cloudflare的這一創新服務顯得尤為重要。盡管一些大型報社已經與科技巨頭簽訂了內容授權協議，但眾多中小型出版商仍未獲得公平的報酬。Cloudflare希望通過這一全新的商業模式，為更多出版商帶來可持續的收入渠道。
Cloudflare還宣布，所有新創建的網站將默認屏蔽AI爬蟲，除非網站所有者明確授權某些爬蟲進行訪問。這一舉措得到了康泰納仕、時代雜志和美國新聞社等大型出版商的積極響應，他們希望通過這種方式實現“許可制抓取”。
然而，AI時代的到來也為出版商帶來了新的難題。數據顯示，AI爬蟲的抓取頻率遠高于傳統爬蟲，如OpenAI的爬蟲每為出版商帶來一次推薦流量，需要進行1700次抓取，而Anthropic的爬蟲更是高達73000次。這對于依賴用戶訪問量的商業模式構成了嚴峻考驗。
Cloudflare還展望了未來“智能代理”的廣泛應用前景。在這種場景下，用戶將通過智能代理程序獲取最新的科研成果或法律信息，而這些代理程序將按需為高質量內容支付費用。
參與這一項目的AI公司和出版商需要在Cloudflare平臺上注冊賬戶，并通過平臺設置價格和完成交易。盡管目前尚未采用加密貨幣，但Cloudflare的首席執行官暗示，未來可能會探索使用穩定幣作為交易媒介。
