近期，歐洲正醞釀一場針對搜索引擎領域的重大變革，旨在打破對現有搜索巨頭的依賴，特別是針對Google搜索質量下滑及生成式AI整合后的不盡人意表現。這一變革的核心在于構建一個公共網頁索引（Open Web Index），為新型搜索引擎的開發提供堅實的基礎。
據悉，該公共索引的早期試驗將于下個月正式啟動，由多家歐洲機構聯手推進，包括大學、數據中心、科技公司以及著名的歐洲核子研究中心（CERN）。這一項目的推出，旨在減輕歐洲國家對于廣告驅動型搜索引擎的過度依賴，特別是在美國科技巨頭愈發將搜索服務向生成式AI與廣告優化傾斜的背景下。
Open Web Index并非一個直接的搜索引擎，而是更像一座數字資源的寶庫，供各類搜索引擎從中挖掘網頁與文件。當前，主流搜索引擎多依賴于專有索引，小型搜索引擎則往往依附于這些大型系統。Open Web項目指出，這種高度集中的結構賦予了Google等公司過大的網絡控制權。
歐洲監管機構，特別是英國與歐盟方面，長期以來一直在對抗美國科技巨頭的壟斷行為，特別是在搜索與人工智能等關鍵領域。與此同時，全球用戶普遍反映搜索結果質量下滑，許多網站運營者也抱怨Google正在構建一個封閉的生態系統，限制用戶流向其他平臺。生成式AI工具頻繁出現信息不準確的問題，進一步加劇了這種不滿。
為了應對這些挑戰，一個由14個成員機構組成的聯盟應運而生，致力于出資并構建開放網頁索引的基礎設施。這一項目不僅將服務于搜索引擎的研發，還將助力中小企業構建大語言模型（LLM）或其他非廣告驅動的應用，從而減少對Google和Bing的依賴。
該項目還著眼于開發符合歐洲法規、價值觀與文化的應用。例如，基于歐盟的搜索引擎和語言模型在處理非英語語種信息方面可能更為精準。同時，聯盟正在深入研究網頁爬取方式以及用戶點擊行為對排名機制的影響，以期提供更加精準、公正的搜索結果。
首次公開試驗定于6月6日通過Zoom線上會議舉行，參與者將有機會訪問約1PB的網頁內容。據透露，最終版本的Open Web Index預計將托管約5PB的內容，并計劃在未來擴展至10PB的規模，為全球用戶提供更加多元化、高質量的搜索選擇。
