什么是404錯(cuò)誤？404的處理方式及對(duì)SEO的影響發(fā)布者：本站     時(shí)間：2020-01-02 11:01:35

在“通過HTTP狀態(tài)碼查看搜索引擎蜘蛛如何爬行你的網(wǎng)站”一文中，我介紹了一些經(jīng)常涉及到的HTTP狀態(tài)碼及含義，譬如大家經(jīng)常探討并且與本文相關(guān)的Http狀態(tài)碼：

404：服務(wù)器找不到指定的資源，請(qǐng)求的網(wǎng)頁不存在(譬如瀏覽器請(qǐng)求的網(wǎng)頁被刪除或者移位，但不排除日后該鏈接有效的可能性)；
410：請(qǐng)求的網(wǎng)頁不存在(注意：410表示永久性，而404表示臨時(shí)性)；
200：服務(wù)器成功返回請(qǐng)求的網(wǎng)頁；
301：網(wǎng)址永久性重定向
302：網(wǎng)址臨時(shí)性重定向

注意：大部分搜索引擎將“404”與“410”狀態(tài)同等對(duì)待，如Google。(參見Matt Cutts的說明)

對(duì)HTTP404狀態(tài)碼的理解

HTTP 404 錯(cuò)誤意味著鏈接指向的網(wǎng)頁不存在，即原始網(wǎng)頁的URL失效，這種情況經(jīng)常會(huì)發(fā)生，很難避免，比如說：網(wǎng)頁URL生成規(guī)則改變、網(wǎng)頁文件更名或移動(dòng)位置、導(dǎo)入鏈接拼寫錯(cuò)誤等，導(dǎo)致原來的URL地址無法訪問；當(dāng)Web 服務(wù)器接到類似請(qǐng)求時(shí)，會(huì)返回一個(gè)404 狀態(tài)碼，告訴瀏覽器要請(qǐng)求的資源并不存在。但是，Web服務(wù)器默認(rèn)的404錯(cuò)誤頁面，無論Apache還是IIS，均十分簡(jiǎn)陋、呆板且對(duì)用戶不友好，無法給用戶提供必要的信息以獲取更多線索，無疑這會(huì)造成用戶的流失。

因此，很多網(wǎng)站均使用自定義404錯(cuò)誤的方式以提供用戶體驗(yàn)避免用戶流失。一般而言，自定義404頁面通用的做法是在頁面中放置網(wǎng)站快速導(dǎo)航鏈接、搜索框以及網(wǎng)站提供的特色服務(wù)，這樣可以有效的幫助用戶訪問站點(diǎn)并獲取需要的信息。

HTTP404對(duì)SEO的影響

自定義404錯(cuò)誤頁面是提供用戶體驗(yàn)的很好的做法，但在應(yīng)用過程中往往并未注意到對(duì)搜索引擎的影響，譬如：錯(cuò)誤的服務(wù)器端配置導(dǎo)致返回“200”狀態(tài)碼或自定義404錯(cuò)誤頁面使用Meta Refresh導(dǎo)致返回“302”狀態(tài)碼。正確設(shè)置的自定義404錯(cuò)誤頁面，不僅應(yīng)當(dāng)能夠正確地顯示，同時(shí)，應(yīng)該返回“404”錯(cuò)誤代碼，而不是“200”或“302”。雖然對(duì)訪問的用戶而言，HTTP狀態(tài)碼究竟是“404”還是“200”來說并沒有什么區(qū)別，但對(duì)搜索引擎而言，這則是相當(dāng)重要的。

(一)自定義404錯(cuò)誤頁返回“200”狀態(tài)碼

當(dāng)搜索引擎蜘蛛在請(qǐng)求某個(gè)URL時(shí)得到“404”狀態(tài)回應(yīng)時(shí)，即知道該URL已經(jīng)失效，便不再索引該網(wǎng)頁，并向數(shù)據(jù)中心反饋將該URL表示的網(wǎng)頁從索引數(shù)據(jù)庫(kù)中刪除，當(dāng)然，刪除過程有可能需要很長(zhǎng)時(shí)間；而當(dāng)搜索引擎得到“200”狀態(tài)回應(yīng)時(shí)，則會(huì)認(rèn)為該url是有效的，便會(huì)去索引，并會(huì)將其收錄到索引數(shù)據(jù)庫(kù)，這樣的結(jié)果便是這兩個(gè)不同的url具有完全相同的內(nèi)容：自定義404錯(cuò)誤頁面的內(nèi)容，這會(huì)導(dǎo)致出現(xiàn)復(fù)制網(wǎng)頁問題。對(duì)搜索引擎而言，特別是Google，不但很難獲得信任指數(shù)TrustRank，也會(huì)大大降低Google對(duì)網(wǎng)站質(zhì)量的評(píng)定。（為什么會(huì)出現(xiàn)返回“200”狀態(tài)碼的情況？？請(qǐng)參看下面內(nèi)容“自定義404錯(cuò)誤頁面的基本原則”）

我一直在使用Google Sitemap，當(dāng)我們提交XML格式網(wǎng)站地圖文件時(shí)，Google會(huì)驗(yàn)證我們的身份以確保是網(wǎng)站合法的管理者。驗(yàn)證方式有兩種：上傳指定名稱的html頁到網(wǎng)站根目錄或者在網(wǎng)頁meta區(qū)域添加一個(gè)標(biāo)識(shí)身份的meta標(biāo)簽。我通常是使用上傳html網(wǎng)頁的方式，但Google卻提示我網(wǎng)站根目錄下找不到這個(gè)網(wǎng)頁（實(shí)際上我已上傳，并且通過瀏覽器可以訪問），這是一個(gè)很可怕的問題。

(二)自定義404錯(cuò)誤頁使用Meta Refresh返回“302”狀態(tài)碼

常常看到許多網(wǎng)站的自定義404錯(cuò)誤頁面采取類似這樣的形式：首先顯示一段錯(cuò)誤信息，然后，通過Meta Refresh將頁面跳轉(zhuǎn)到網(wǎng)站首頁、網(wǎng)頁地圖或其他類似頁。根據(jù)具體實(shí)現(xiàn)方式不同，這類404頁面可能返回“200”狀態(tài)碼，也可能返回“302”，但不論哪種，從SEO技術(shù)角度看，均不是一種合適的選擇。

對(duì)“200”狀態(tài)的情況我們上面已經(jīng)談過，那么，當(dāng)404頁面返回“302”時(shí)，搜索引擎會(huì)怎么對(duì)待呢？從理論上說，對(duì)“302”錯(cuò)誤，搜索引擎認(rèn)為該網(wǎng)頁是存在的，只不過臨時(shí)改變了地址，仍然會(huì)索引收錄該頁，這樣，同樣會(huì)出現(xiàn)類似于“200”狀態(tài)碼時(shí)的重復(fù)文本問題；其次，以google為代表的主流搜索引擎對(duì)302重定向的適用范圍要求越來越嚴(yán)格，這類不當(dāng)使用302重定向的情況存在很大的風(fēng)險(xiǎn)。

確保自定義404錯(cuò)誤頁面能夠返回“404”狀態(tài)碼

在自定義404錯(cuò)誤頁面設(shè)置完畢后，一定要檢查一下其是不是能夠正確地返回“404”狀態(tài)碼。可以使用Server Header檢查工具，輸入一個(gè)不存在網(wǎng)頁的url，查看一下HTTP Header的返回情況，確信其返回的是“404 Not found”。

404錯(cuò)誤的處理方式

(一)定制404錯(cuò)誤頁面的基本原則

首先應(yīng)明確的是，404錯(cuò)誤應(yīng)工作在服務(wù)器級(jí)而不是網(wǎng)頁級(jí)。對(duì)定制使用動(dòng)態(tài)頁面如PHP腳本類型的404頁時(shí)，必須確保在PHP執(zhí)行前服務(wù)器已經(jīng)順利地送出“404”狀態(tài)碼，不然，一旦執(zhí)行到了ISAPI級(jí)別，返回的狀態(tài)碼便只能是“200”或其他如“302”之類的重定向狀態(tài)碼了。

其次，在自定義網(wǎng)站的404錯(cuò)誤頁面時(shí)，對(duì)設(shè)置的錯(cuò)誤頁面URL鏈接應(yīng)使用相對(duì)路徑而不是絕對(duì)路徑，而且自定義404頁面應(yīng)該放在網(wǎng)站根目錄下。盡管無效鏈接可能是多種形式的URL，但當(dāng)發(fā)生404訪問錯(cuò)誤時(shí)，WEB服務(wù)器會(huì)自動(dòng)將其轉(zhuǎn)到自定義的當(dāng)404錯(cuò)誤頁中，這跟URL的形似沒有關(guān)系。

(二)Apache下設(shè)置404錯(cuò)誤頁面

為Apache Server設(shè)置 404錯(cuò)誤頁面的方法很簡(jiǎn)單，只需在.htaccess 文件中加入如下內(nèi)容即可：ErrorDocument 404 /notfound.php