2026 年 9 月 15 日起，針對含有廣告的網頁預設封鎖「混合型 AI 爬蟲」 谷歌完了？9月15日全網封鎖Google！20年免費通行證正式作廢，網路世界大地震！🚨 - YouTube 這並非指「全球網路無法使用 Google」，而是指網路基礎設施巨頭 Cloudflare 宣布自 2026 年 9 月 15 日起，針對含有廣告的網頁預設封鎖「混合型 AI 爬蟲」。這項政策可能連帶影響未將「傳統搜尋」與「AI 訓練」身分拆開的 Googlebot。 政策重點 起因：Cloudflare 要求 AI 與搜尋巨頭將「傳統搜尋爬蟲」與「AI 訓練爬蟲」徹底分開。 實施日期：2026 年 9 月 15 日起正式上路。 影響範圍：若網站主選擇封鎖 AI 訓練爬蟲，而 Googlebot 等爬蟲仍被歸類為多用途混合身分，可能會在 CDN 層被一併攔截，導致網站無法被 Google 正常抓取索引。 目的：打破 AI 公司免費抓取全網資料的生態，並推動「按使用付費」（Pay Per Use）的內容授權機制。 如果你是網站管理者，想了解如何檢查自家的 Cloudflare 設定以免影響 Google 搜尋流量，可以告訴我，我來協助說明。 https://attention.com.tw/cloudflare-ai-crawler-googlebot-check/ Cloudflare 9 月15 日起把Googlebot 視為AI 爬蟲 https://www.youtube.com/watch%3Fv%3DmYy4Ct2gtPc 「傳統搜尋爬蟲」與「AI 訓練爬蟲」徹底分開 將「傳統搜尋爬蟲」與「AI 訓練爬蟲」徹底分開，是當前網路治理與著作權保護的重要變革。以 Cloudflare 為首的網路服務商推動將機器人流量精準拆分為搜尋、代理人與模型訓練等用途，強制 AI 公司透明化其行為，不再允許訓練爬蟲偽裝成搜尋引擎免費搬運資料。 兩者核心差異 傳統搜尋爬蟲（Search Crawler）： 目的：為傳統搜尋引擎建立索引，如 Googlebot。 行為：抓取網頁內容後，透過搜尋結果附上連結，將人類訪客導流回原網站。 互惠性：網站提供流量，換取搜尋曝光。 AI 訓練爬蟲（Training Crawler）： 目的：系統性掃描並大量收集資...