Google（搜尋服務商）在 2026 年 10 月 30 日宣布，計畫於 2027 年和其他服務商一起支援 robots.txt（網站爬蟲規則檔）裡的共同人工智慧訓練控制。對台灣中小企業來說，這不是單純的技術新聞，而是網站內容管理方式的變化：過去多半只問「能不能被搜尋收錄」，接下來還要問「要不要讓內容成為模型訓練與生成式回應的來源」。
如果你有經營部落格、知識文章、產品說明、技術文件或會員內容，這項變化會碰到 SEO（讓網站在搜尋結果中更容易被找到的優化工作）與 GEO（讓內容更容易被生成式回答理解、引用與呈現的優化思維）兩個層面。開放可能換來生成式搜尋曝光，封鎖可能保護內容價值；真正的重點，是企業要先知道自己開放的是什麼、封鎖的是什麼，以及誰有權決定。
- 新的共同控制會讓網站能在 robots.txt 裡用一個共同政策代碼，向參與的服務商表達人工智慧訓練偏好。
- Google-Extended（Google 的人工智慧訓練控制）自 2023 年提供，未來仍會和新的共同訊號並行。
- 如果網站用共同政策代碼選擇退出訓練，且沒有另外指定 Google-Extended，Google 計畫把它解讀為不允許該控制。
- 明確允許 Google-Extended 的網站，有資格出現在 Gemini（Google 的生成式人工智慧服務）應用回應中，並從引用依據取得點擊。
01從 2023 到 2027：robots.txt 開始承擔人工智慧偏好設定
這次變化的核心，不是爬蟲規則檔多了一行語法，而是網站內容是否可被用於模型訓練，開始走向跨服務商的共同表達方式。robots.txt 是放在網站根目錄、用來提供爬蟲讀取規則的文字檔，過去企業常用它管理搜尋爬蟲能不能讀取某些路徑；現在它逐步被賦予另一層任務，也就是表達人工智慧訓練偏好。所謂人工智慧訓練偏好，是網站擁有者對內容是否可被用於模型訓練所表達的選擇。Google 自 2023 年起提供 Google-Extended，讓網站能對該服務商的訓練使用表達控制；到了 2026 年 10 月 30 日，Google 宣布計畫支援共同控制，並以 2027 年和其他人工智慧服務商一起支援為目標。這項做法基於網際網路工程任務小組底下人工智慧偏好工作小組的成果，代表它不是單一公司自行訂規則，而是朝標準化討論前進。不過企業要注意，這仍是計畫與標準化進程，不能直接理解成所有服務商已全面採用。
02觀察一：共同政策代碼降低 AI 訓練控制成本，但不等於所有服務商自動遵守
共同控制最大的價值，是讓中小企業不用替每一個開發者分別管理一套指令。Google 說明，網站擁有者將能在 robots.txt 內使用共同政策代碼，對參與的服務商設定廣泛偏好；其他人工智慧服務商也可以用類似方式處理這個共同訊號。對內容量不大、技術人力有限的企業來說，這會降低設定和維護負擔。舉例來說，過去若每個服務商都有自己的名稱和規則，網站管理者需要逐一追蹤、逐一測試，改版或搬站時也容易漏掉。共同政策代碼則像一個機器可讀偏好，也就是讓系統可以自動讀取與判斷的網站設定，企業可以先用它表達大方向。
但共同政策代碼不是法律授權合約，也不是能強制所有公司照做的萬用開關。它的效果取決於哪些參與服務商採用，以及各家如何解讀。參與服務商指的是採用共同政策代碼並依其處理偏好的服務提供者；若某個服務商沒有加入，或尚未支援，網站寫了共同訊號也未必能對它產生相同效果。Google 也提到，產業參與者採用增加後，網站擁有者會更早取得且逐步擴大的偏好訊號使用機會。這句話對企業的提醒是：可以先準備管理邏輯，但不要把尚未完整落地的機制當成已完成的保護。行銷人員與網站維護者應該把「誰支援、何時支援、怎麼解讀」列入追蹤清單，避免老闆以為寫了一行設定，就已經控制所有人工智慧服務商。
03觀察二：共同封鎖與個別指定會並行，設定順序不能搞錯
新的共同訊號不會取代既有的公司個別控制；中小企業真正要注意的是，廣泛選擇和個別指定之間如何搭配。Google 在公告中說明，當網站在 robots.txt 使用共同政策代碼選擇退出訓練，且沒有明確指定 Google-Extended 時，Google 計畫將其解讀為不允許 Google-Extended。這裡的「明確指定」很重要，意思是在共同訊號之外，針對特定服務商另外寫出的允許或不允許規則。換句話說，如果企業只寫共同退出，卻期待特定服務仍能使用內容，就可能出現和原本行銷目標不一致的結果。
Google-Extended 是 Google 提供的人工智慧訓練控制。未來共同政策代碼可用來表達廣泛選擇，公司個別控制則會繼續並行，讓網站擁有者可以先做大方向設定，再針對特定服務商調整指令。
實務上，我們會建議企業不要只把這件事交給工程師「照語法處理」。因為這不是單純能不能讀取網站的問題，而是內容策略、品牌曝光、內容授權與網站流量風險的交會點。若行銷端想保留特定生成式回應曝光機會，技術端卻只看到「退出訓練」四個字，就可能把所有相關控制都關掉。反過來說，如果管理者希望保護高成本內容，卻沒有把共同訊號和個別指定寫清楚，也可能留下誤解空間。最務實的做法，是把設定意圖寫成內部文件：哪一類內容可以開放、哪一類內容要限制、哪些服務商需要個別指定、誰能核准變更。這份文件在網站改版、維護廠商更換或後台權限調整時，能減少被誤改的機率。
04觀察三：開放可能帶來生成式回應曝光，但不能把資格當成保證流量
對重視品牌能見度的企業來說，開放訓練控制牽涉內容被使用，也牽涉未來能否在生成式回應中被引用與帶來點擊。Google 表示，明確允許 Google-Extended 的網站，有資格出現在 Gemini 應用的回應中，也可能透過回應中的引用依據取得點擊。這裡要仔細看用字：公告說的是「有資格出現」，不是保證出現；提到可能透過引用依據取得點擊，也不是保證大量流量。對行銷人員來說，這個差異很關鍵，因為它代表開放是一個取得機會的條件，並不是曝光成效承諾。
那企業該如何評估？如果你的網站內容以公開知識、產品教學、產業觀點、服務說明為主，讓內容有機會成為生成式搜尋引用，可能有助於品牌被看見。所謂生成式搜尋引用，是生成式回應把某個網站內容作為依據或來源的呈現方式；引用依據則是回應背後用來支撐答案的網站內容來源。這類內容原本就希望被潛在客戶理解、比較與轉介，因此保留 Gemini 引用流量的機會，可能符合曝光與詢問量目標。相反地，如果內容屬於高成本研究、會員內容、內部技術資料或差異化素材，企業就要先討論內容授權與商業價值。中小企業常見問題不是完全不知道要不要開放，而是沒有把內容分層，導致所有內容被同一套規則處理。比較好的方式，是先區分「可擴散內容」和「需保護內容」，再決定哪些區塊適合開放、哪些區塊應該限制。
05對網站設計與 SEO／GEO 的影響：robots.txt 會變成內容策略入口
未來 robots.txt 會從技術檔案，變成內容是否參與人工智慧生態、生成式搜尋流量和網站治理的入口之一。公告指出，歐盟一般用途人工智慧模型服務商實務守則承認網站爬蟲規則檔，是網站發布者表達機器可讀偏好的主要方法。這代表監管、發布者、服務商與技術標準之間，正在把「網站偏好」看成可以被系統讀取與處理的明確訊號。Google 也說，這項提案反映了發布者、公民團體、監管機關與其他利害關係人，對產業共同訓練控制的呼聲，並會持續與相關利害關係人合作，透過網際網路工程任務小組精進並標準化這項機制。
從網站設計角度看，改版、搬站、新增內容區塊時，都應該把爬蟲規則檔納入檢查。從搜尋優化角度看，搜尋收錄、爬蟲規則與內容可見度本來就關係密切，現在還要加上人工智慧訓練偏好。從 GEO 角度看，企業需要評估內容是否應出現在生成式回答中，而不是只看傳統搜尋結果頁排名。從行銷角度看，開放、封鎖或混合指定都會牽涉品牌曝光、內容保護與潛在引用流量。最容易被忽略的是治理層面：誰能改設定、改之前要不要簽核、改完怎麼驗證，這些流程如果沒有寫清楚，未來比語法本身更容易出問題。
06企業該提前準備：robots.txt 可以禁止 AI 拿網站內容訓練嗎？
很多中小企業會直接問：robots.txt 可以禁止 AI 拿網站內容訓練嗎？從這次公告來看，新的共同政策代碼會讓網站能表達廣泛選擇，公司個別控制也能針對特定服務商調整；但實際效果仍取決於服務商是否參與與採用。Google 的目標是在 2027 年支援新的共同控制，並會提供進度更新，所以企業不必等到上線前才倉促決策。現在更該做的，是先把內容資產、流量來源與技術設定盤清楚。若企業目標是曝光與詢問量，可能會偏向保留生成式引用機會；若目標是保護高價內容，可能會偏向限制訓練使用。這不是標準答案題，而是內容價值管理題。
- ✓盤點內容類型：把公開文章、產品頁、技術文件、研究資料、會員內容分開評估。不要用同一個設定處理所有內容，因為可公開擴散的教學文章，和需要保護的研究資料，商業目的完全不同。
- ✓判斷商業目的：如果內容主要用來吸引詢問、建立信任與提高品牌能見度，可評估保留生成式搜尋引用機會。如果內容牽涉內容授權、付費知識或競爭優勢，就要先討論限制範圍。
- ✓檢查技術現況：確認爬蟲規則檔是否放在正確位置、是否有人負責版本控管、上線後是否有驗證流程。很多網站問題不是策略錯，而是搬站或改版時檔案被覆蓋。
- ✓訂出決策權責：行銷、法務、管理者與網站維護者要先決定誰有權修改人工智慧訓練偏好。若沒有權責，未來可能發生工程端照需求單修改，卻沒有人確認商業後果。
- ✓預留調整空間：等 Google 公布更多支援進度後，再依實際規則更新設定。混合指定，也就是用共同訊號做大方向設定，再對特定服務商調整，會是企業需要理解的管理方式。
07通天網的建議
- 先做網站內容分級：把可公開擴散、需要保護、具有商業機密風險的內容分開，才能決定哪些內容適合開放生成式引用，哪些內容要限制訓練使用。通天網會建議企業把內容分級寫進網站架構與後台管理邏輯，不要只靠口頭約定。
- 把 robots.txt 納入 SEO／GEO 檢查清單：每次改版、搬站或新增內容區塊時，都應檢查網站爬蟲規則檔與生成式引用策略是否一致。這份檢查清單應同時給行銷、工程與管理者使用，避免搜尋收錄、AI 訓練控制和內容授權各做各的。
- 提前建立設定與追蹤流程：由行銷目標決定開放或封鎖方向，再透過系統開發與後台權限管理，降低未來誤改設定造成的網站流量風險。若你需要檢查 robots.txt、評估中小企業要不要開放 Google-Extended，或把生成式搜尋流量納入網站策略，可以洽詢 通天網有限公司。
