大家都知道,搜索引擎蜘蛛更喜歡的是更新頻繁的網站,我們可以在特定的是時間內對網站抓取返回的狀態碼來調節蜘蛛對該網站站的抓取頻繁。如果網站長時間不更新,那么蜘蛛就可能會降低網站的抓取次數。當然,如果網站更新的頻率快,蜘蛛每次抓取都能看到新的內容,那么長時間下來,蜘蛛的回訪率就會提高。
304和200是我們很常見的蜘蛛訪問狀態碼。那到底什么是304呢?服務器為了提高網站訪問速度,對之前訪問的部分頁面制定緩存機制,當客戶端在此對這些頁面進行請求,服務器會根據緩存內容判斷頁面與之前是否相同,若相同便直接返回304,此時客戶端調用緩存內容,不必進行二次下載,可以說304從某種角度起到了減少服務器帶寬并提高蜘蛛爬行效率的作用。其實簡單的來說,304產生的原因有兩點,一是頁面長期不更新,二是純靜態頁面或者是強制生產靜態頁面。
304狀態碼過多會對網站造成什么樣的影響呢?小編通過分析得出:會造成快照停止不前;網站收錄減少;網站權重下降。那我們該如何減少304呢?內容更新方面要迎合百度蜘蛛,分析日志,把蜘蛛到訪的時間記錄下來,可以大致得出蜘蛛到訪的頻率,然后以此為依據,更新文章:一定是原創+轉載,不能純采集。轉載也需要最新最好的優質資源。讓蜘蛛這個點過來能有吃的。從而返回更多 200 正常碼。最好增加個互動版塊,現在大網站基本已經都做了這方面,比如評論、留言等,大網站更新起來變化可能會很小,但是有了這些互動,用戶會在上面發些內容,網站會有很多新的東西。