
CDN(內容傳遞網路)剛上線後,很多台灣中小企業會在來源伺服器紀錄裡看到 Google(搜尋服務商)爬蟲流量突然增加,甚至覺得「我不是裝了 CDN 要減輕主機壓力嗎?怎麼伺服器反而更忙?」這種情況不一定代表 CDN 失效,也不一定是網站被攻擊。更常見的原因是:CDN 邊緣節點的快取還沒建立好,Google 爬蟲又因為網站回應變快、變穩,逐步提高抓取速率。
從 SEO(搜尋引擎優化)的角度看,CDN 上線是一個需要安排流程的技術變更。若處理得好,它能幫助網站速度優化、降低延遲、減輕來源伺服器壓力;若處理得不好,像是把所有機器人流量一刀切擋掉、讓 Google 爬蟲看到驗證碼挑戰或錯誤頁,就可能影響搜尋排名與索引可見度。這篇會用 Google Search Central 在 2026 年 11 月 11 日發布的說明,拆解 CDN 上線後該看什麼、該設定什麼、哪些做法要避開。
- CDN 上線後回應速度變快,Google 爬蟲可能逐步提高抓取速率,前提是網站仍有抓取需求。
- 新 CDN 一開始是冷快取,第一批尚未快取的網址會穿透到來源伺服器,造成短期負載升高。
- 不要用一刀切的機器人防護或驗證碼擋所有自動流量,否則 Google 爬蟲可能被擋在錯誤頁或挑戰頁外。
- 正確做法是先放行已驗證爬蟲、預先暖快取,必要時短時間回傳 429 或 503 讓抓取降速。
01為什麼 CDN 上線後,Google 爬蟲反而看起來變多?
Google Search Central 在 2026 年 11 月 11 日的說明中提到,網站切到 CDN 後,連線時間與回應時間會明顯下降。CDN 的基本原理,是把網站資源分散到更接近使用者的邊緣伺服器,讓訪客不必每次都繞回原本的來源伺服器(保存網站原始內容的後端主機)。對使用者來說,頁面可能更快打開;對搜尋引擎來說,這個網站看起來也更能承受抓取。
這裡要理解「爬蟲預算」(搜尋引擎在一定時間內願意並能夠抓取網站的程度)與「主機負載判斷」(Google 用來評估網站能承受多少抓取的容量限制)。Google 的自動抓取系統會持續監控主機健康度與回應速度;如果回應越慢,抓取速率會降低,以免壓垮網站或影響使用者體驗。反過來說,當伺服器回應快速且穩定,Google 系統會判斷網站基礎架構健康、可承受更多抓取,在網站仍有抓取需求時,逐步提高抓取容量限制。
企業常見的誤解,是看到 Google 爬蟲變多就直接判斷為攻擊。實務上,爬蟲變多可能只是 CDN 讓網站看起來更快、更穩,搜尋系統因此調整抓取速率。Google 也不是瞬間無上限暴衝,而是依回應狀況逐步調整。真正的風險在於過渡期:如果來源伺服器因為冷快取承受太多請求,或防火牆規則誤把 Google 爬蟲擋掉,才可能影響搜尋可見度。中小企業主與行銷人員遇到「CDN 上線後 Google 爬蟲變多怎麼辦?」時,第一步不是急著封鎖,而是先判斷這是正常暖機流量,還是真的異常機器人流量。
02CDN 上線前先準備三件事:爬蟲放行、快取名單、臨時煞車
CDN 遷移不是只改網域設定,也不是把網站流量導到新服務就結束。真正要先準備的是三件事:哪些爬蟲可以通過、哪些頁面要先暖快取、來源伺服器過載時要怎麼短時間降速。Google 建議,如果網站需要阻擋機器人,應在 CDN 與防火牆設定中放行已驗證的爬蟲。多數主要 CDN 與網站應用程式防火牆(用來過濾惡意請求與自動化流量的網站防護機制)也提供內建開關或代管規則,讓已知或已驗證機器人略過驗證碼挑戰(要求訪客完成驗證的防護頁,搜尋爬蟲通常無法通過)。
- ✓確認已驗證爬蟲放行規則:先檢查 CDN 與防火牆是否有已驗證機器人放行設定,並確認 Google 爬蟲可透過 Google 公布的網路位址範圍識別。這能避免搜尋爬蟲被驗證碼、挑戰頁或錯誤頁攔下。
- ✓建立暖快取清單:Google 建議在所有流量導入新 CDN 前,以受控速度抓取高流量頁、即將迎來高峰流量的頁面,以及最常被抓取的網址。台灣電商、形象官網、內容網站可優先放入首頁、主要分類頁、熱門文章、促銷頁與季節活動頁。
- ✓先寫好降速方案:HTTP(網頁傳輸協定)狀態碼是伺服器用數字表示請求處理結果,例如 429 或 503。上線前就要決定什麼情況啟用,誰負責判斷,設定在哪裡調整,不要等來源伺服器快撐不住才臨時找人處理。
- ✓安排觀察位置:上線時要同步看來源伺服器紀錄、請求圖表、快取是否命中與 HTTP 狀態碼。若只看總流量,很容易把正常暖機誤判成攻擊,也可能忽略 Google 爬蟲其實被防護規則擋住。
對行銷人員來說,這些準備會直接影響「網站換 CDN 會影響 SEO 排名嗎?」這個問題的答案。CDN 本身不是排名保證,但上線流程會影響搜尋爬蟲能否順利取得內容。若放行、暖快取、降速方案都先安排好,技術切換造成的搜尋風險會小很多。
03實作步驟:讓 CDN 先暖起來,再把流量逐步導進來
新 CDN 一開始通常是「冷快取」(CDN 邊緣節點尚未保存網站資源副本的狀態)。在冷快取狀態下,邊緣節點第一次收到某個網址請求時,沒有該資源副本,就會回到來源伺服器抓取回應。等邊緣節點取得可快取副本後,後續同一個已快取網址才會變成「快取命中」(請求的資源已存在邊緣節點,可不回來源伺服器直接回應)。所以 CDN 真正開始保護來源伺服器,通常不是第一個請求,而是同一個可快取資源的後續請求。
這套流程的重點,是先讓必要爬蟲通行,再讓邊緣節點建立快取,最後才在真的需要時用短期狀態碼幫來源伺服器減壓。對中小企業來說,最實際的做法是把上線日當成專案管理:誰負責 CDN 設定、誰看主機紀錄、誰判斷 SEO 風險,都要事先分工。
04最容易做錯的是把所有機器人都擋掉
Google 指出,管理員看到 CDN 遷移後來源紀錄中的自動請求暴增,可能會想直接開啟全面機器人防護。這個反應很合理,因為請求圖表突然拉高,第一眼看起來就像異常流量。但一刀切的機器人防護問題也很明顯:它會把所有自動化流量用同一套規則處理,包含網站其實需要的搜尋爬蟲。
不要把 CDN 上線後的爬蟲流量暴增直接等同於惡意流量。若 CDN 或網站應用程式防火牆用驗證碼攔截自動請求,Google 爬蟲無法通過這類測試;沒有例外放行的全面防護,可能讓爬蟲停在對搜尋無用的錯誤頁或挑戰頁。
從 Google 的角度看,如果爬蟲長時間只能看到錯誤頁、403 牆或挑戰頁,網站會像是被刻意限制或已損壞。Google 素材也提醒,若這種狀態持續存在,爬蟲會後退,頁面與購物資訊可能開始從搜尋中掉出。對電商網站來說,這不只是技術問題,還會牽動商品頁曝光;對內容型網站來說,則可能影響新文章被發現與更新內容被重新抓取的速度。
比較安全的做法,是先確認是否為冷快取加上抓取速率提高造成的正常現象,再針對不想要的機器人建立精準防火牆規則。若要限制不需要的爬蟲,可以使用 robots.txt(放在網站根目錄的文字檔,用來告訴爬蟲哪些路徑不希望被抓取)或規則鎖定特定對象,而不是封鎖所有自動化用戶端。行銷人員也應該和工程端確認:已驗證 Google 爬蟲是否有例外規則、挑戰頁是否會套用到搜尋爬蟲、403 是否只出現在該被拒絕的請求上。這些檢查比單純看流量下降更重要,因為流量降下來不代表搜尋風險也消失。
05做完 CDN 後怎麼檢查:看快取、來源負載與狀態碼是否回到穩定
CDN 上線不是切換完成就結束,後續檢查才是判斷成敗的關鍵。Google 素材提到,CDN 暖機期間可從來源紀錄與請求圖表看到自動化請求變化。在冷快取階段,每個未快取網址的第一次請求會回到來源伺服器;後續已快取網址才由邊緣節點直接回應。因此,短期看到伺服器負載上升不一定異常,但如果長時間沒有下降,就要回頭檢查快取規則與防護設定。
| 檢查項目 | 應該怎麼看 | 要注意的 SEO 風險 |
|---|---|---|
| 快取命中是否增加 | 觀察熱門網址是否逐步由邊緣節點回應。若大量首頁、分類頁、活動頁仍一直穿透到來源伺服器,代表暖快取策略可能不足。 | 快取沒接手時,來源伺服器可能長時間承受高負載,造成回應變慢,進而影響 Google 爬蟲的抓取效率。 |
| 來源伺服器負載是否下降 | CDN 的目的之一是讓邊緣節點吸收流量,而不是長期讓來源伺服器扛全部請求。上線後要持續看主機紀錄與請求圖表。 | 若伺服器負載過高導致回應不穩,搜尋系統可能降低抓取速率,網站更新被發現的速度也可能受影響。 |
| HTTP 狀態碼是否合理 | 429 與 503 只能短期使用,Google 建議必要時使用幾小時,最多 1 到 2 天。403 或挑戰頁不應套用在已驗證 Google 爬蟲上。 | 若爬蟲長時間拿不到正常內容,搜尋系統可能把網站視為受限或故障,搜尋排名與索引可見度會有風險。 |
| 搜尋風險訊號是否出現 | 留意重要頁面是否仍可被正常抓取,並檢查是否有大量錯誤頁、挑戰頁或拒絕請求出現在爬蟲紀錄中。 | 如果爬蟲被擋或長時間只看到錯誤頁,網站速度優化反而可能變成搜尋可見度問題。 |
中小企業不一定要把每個技術細節都自己寫程式監控,但至少要建立上線後的觀察清單。看快取命中、看來源伺服器、看 HTTP 狀態碼,這三件事能幫你判斷 CDN 是否真的開始發揮作用,也能及早發現 Google 爬蟲是否被誤擋。
06通天網的建議
- CDN 上線前,先盤點高流量頁、活動頁與常被抓取網址,建立暖快取清單。不要只把首頁丟進清單,分類頁、商品頁、內容頁與即將投放廣告的活動頁,都可能是搜尋與轉換的關鍵入口。
- 設定防火牆規則時,不要只用全面封鎖機器人的做法。比較好的方式,是保留已驗證爬蟲放行,並針對不需要的機器人建立精準規則,避免 Google 爬蟲被驗證碼、挑戰頁或 403 擋住。
- 上線後要持續觀察快取命中、來源伺服器負載與 HTTP 狀態碼,並把結果納入 SEO 與 GEO(生成式引擎優化)監測。CDN 是網站速度優化的一部分,但速度、可抓取性、索引與搜尋排名要一起看,才不會只顧技術切換卻漏掉搜尋可見度。
如果你的網站準備導入 CDN,或已經遇到 CDN 上線後 Google 爬蟲變多、伺服器負載升高、防火牆規則難判斷的情況,建議把網站架構、快取策略、SEO 重要頁面與後端承載能力一起檢查;需要協助規劃與落地執行,也可以找有網站設計、系統開發、SEO 與 GEO 經驗的 通天網有限公司。