Google爬蟲總是抓取feed頁面？1個小技巧教你解決

有朋友聯繫老王，他說網站頁面後綴帶有feed，總是被Google爬蟲抓取，問我有沒有辦法解決。如果你的網站沒有啟用訂閱服務，那麼feed頁面我還是建議去屏蔽掉，避免讓Google爬蟲產生不必要的頁面抓取。

什麼是Feed頁面

Feed貌似沒有恰當的中文名稱，它的用途是用來接收信息源（通常是網站）更新的接口（通常是壹個網址），由網站提供給用戶。所以簡單說，Feed 是消息源，也就是這個頁面提供壹些信息，例如https://www.wpoda.com/91.html/feed

老王看了下自己的站點，Feed頁面也有被抓取，那麼怎麼去解決不讓谷歌去抓取這種類型的url呢？辦法是有的！

解決方案一：聯繫主機商屏蔽

解決方案二：用robots.txt屏蔽處理（這裡推薦用這個方式）

在網站robots.txt中添加如下代碼

User-agent: *

Disallow: /feed

這樣就能完美解決搜尋引擎抓取Feed這類頁面了

谷歌搜尋機制通常不會收錄Feed，只是在Google Search Console顯示已抓取，未被索引狀態。對於新手來說，起初看到後台有大量的url未被建立索引，往往以為feed會影響網站整體質量。

一般来说不用管就可以了。

關於Google爬蟲什麼時候來抓取你網站的URL，這個取決於你網站的質量。如果是新站，網站發佈的文章通常1-24小時內就會被收錄。

據老王的經驗，老部落格的收錄速度是相當的快，當然了，Google爬蟲更新抓取時間，也取決於文章質量，如果是粗編濫造的，我相信Google爬蟲對你的站點也會減少造訪頻次的。

關於Feed頁面，不想被Google爬蟲抓取，就用robots處理下。Feed頁面不去處理也是可以的，然後就是關於Google爬蟲更新時間，這個取決於部落格整體的質量。質量越高，Google爬蟲造訪與更新你URL的頻率就越多。