關(guān)于網(wǎng)站的重復(fù)內(nèi)容，10個(gè)建議發(fā)布者：本站     時(shí)間：2020-01-02 11:01:09

一直很在意網(wǎng)站重復(fù)內(nèi)容的影響和規(guī)范，今天在朱健飛的博客上看到了關(guān)于重復(fù)內(nèi)容的描述，之前已經(jīng)有讀過英文版本，這次的中文翻譯非常好讀，以下是全文外加Chris.DL的心得：）

最近，搜索引擎戰(zhàn)略會(huì)議在寒冷的芝加哥舉行。許多谷歌參加者總是被問及關(guān)于重復(fù)內(nèi)容的問題。對(duì)于這個(gè)話題，我們發(fā)現(xiàn)有許多破碎的并且有些混亂的理解。我們想在此予以澄清。

什么是內(nèi)容重復(fù)？

重復(fù)的內(nèi)容一般是指在不同域名間存在大量的相同或相似的內(nèi)容。很多時(shí)候，它并非故意或至少本無惡意。譬如說，有些論壇會(huì)生成一些專為手機(jī)屏幕的頁面；商店物品被顯示在(有時(shí)甚至是鏈接到)多種不同的URL上，等等。但有些時(shí)候,一些網(wǎng)站為了操縱搜索引擎排名，獲得更多流行或長(zhǎng)尾查詢的訪問量，大量地從其他網(wǎng)站復(fù)制內(nèi)容。（Chris.DL：一般網(wǎng)站的重復(fù)內(nèi)容有3種情況，網(wǎng)站本身的內(nèi)容重復(fù)；網(wǎng)站因?yàn)閁RL的設(shè)置問題導(dǎo)致的內(nèi)容重復(fù)；網(wǎng)站內(nèi)容采集）

什么不是重復(fù)內(nèi)容？

雖然谷歌網(wǎng)站有方便易用的翻譯功能，我們的算法不會(huì)把有著相同內(nèi)容的英文版和西班牙文版看作內(nèi)容復(fù)制。同樣，你不用擔(dān)心我們把你文章中對(duì)其他文章小片段的引用認(rèn)定為重復(fù)內(nèi)容。（Chris.DL：大片段的引用算不算呢？這篇文章算不算重復(fù)內(nèi)容呢）

為什么谷歌關(guān)心重復(fù)內(nèi)容？

谷歌用戶使用Google時(shí)通常希望看到多樣化的原創(chuàng)內(nèi)容。如果他們找到的都是內(nèi)容相同的一堆搜索結(jié)果，可以想見那是多么煩人。另外，網(wǎng)站管理員不愿意看到Google給出象example.com/contentredir?value=shorty-george?=en一樣復(fù)雜的URL。他們往往更喜歡類似example.com/en/shorty-george.htm的URL。（Chris.DL：因?yàn)閁RL設(shè)置導(dǎo)致的重復(fù)內(nèi)容是非常冤的一件事情）

谷歌做了些什么?

Google在抓取網(wǎng)頁和獲得搜索結(jié)果時(shí)，總是力圖索引并顯示內(nèi)容不同的頁面。這種過濾意味著，譬如說，如果你的網(wǎng)站有文章的正常版和打印版，并且你沒有在robots.txt里設(shè)定noindex標(biāo)記，谷歌就只會(huì)選擇一個(gè)版本顯示給谷歌用戶。對(duì)于企圖利用復(fù)制內(nèi)容來操控排名，欺騙谷歌用戶的少數(shù)情況，我們會(huì)在對(duì)相關(guān)頁面的索引和排名作出適當(dāng)調(diào)整。當(dāng)然，我們更愿意把重點(diǎn)放在過濾而不是排名調(diào)整上… 因此，在絕大多數(shù)情況下，最壞的結(jié)果就是原創(chuàng)者看到了不愿看到的版本出現(xiàn)在我們的索引里。（重點(diǎn)放在過濾而不是排名調(diào)整上）

網(wǎng)站管理員如何主動(dòng)處理內(nèi)容復(fù)制問題?

1、適當(dāng)阻止搜索引擎訪問：與其讓我們的算法來確定一個(gè)文件的”最佳”版本，你也許希望指引谷歌選取你的首選版本。譬如說，如果你不想我們索引你網(wǎng)站文章的打印版，你可以在你的robots.txt文件中寫上目錄名或正則表達(dá)式來禁止谷歌對(duì)那些打印版的抓取。

2、使用301重定向：如果你已經(jīng)重構(gòu)你的網(wǎng)站，請(qǐng)?jiān)谀愕脑W(wǎng)站的.htaccess中使用301重定向(永久性重定向)來重定向你的用戶、Google爬蟲、以及其他搜索引擎蜘蛛等。

3、鏈接要一致：努力使你的內(nèi)部鏈接保持一致; 千萬不要既有/page/，又有/page和/page/index.htm 的內(nèi)部鏈接.。（Chris.DL：可以將/page/index.htm用301重定向到/page/）

4、使用頂級(jí)域名：為了讓我們總是使用最合適的文件版本, 請(qǐng)盡可能使用國(guó)家特定的頂級(jí)域名。與諸如example.com/de或de.example.com的URL相比，谷歌肯定更清楚地知道example.de是以德文為核心的內(nèi)容。

5、小心辛迪加式的聯(lián)合供文：如果你為其他網(wǎng)站上也提供你的內(nèi)容，請(qǐng)?jiān)诿恳粋€(gè)其他網(wǎng)站的文章中包括連回原文章的鏈接。注意：即使是這樣，對(duì)一個(gè)查詢，谷歌總是顯示我們認(rèn)為是最適合的（沒被網(wǎng)站禁止的）版本, 它可能是，也有可能不是你所想要的版本。

6、使用谷歌網(wǎng)站管理員工具的首選域功能：如果其他網(wǎng)站鏈接你的URL時(shí)既使用www版本又使用無www的版本，你可以用谷歌網(wǎng)站管理員工具讓我們知道你想要哪種索引方式。

7、減少模板網(wǎng)頁上的重復(fù)內(nèi)容：拿版權(quán)聲明來說，你有兩種選擇，一種是在你的每一個(gè)頁面底部都有一個(gè)冗長(zhǎng)的版權(quán)聲明。另一種是設(shè)立一個(gè)專門的版權(quán)詳細(xì)聲明頁，然后在每頁底部寫一個(gè)非常簡(jiǎn)短的總結(jié)，并鏈接到版權(quán)聲明頁。

8、避免發(fā)布無內(nèi)容頁：用戶不喜歡看到無實(shí)際內(nèi)容的頁面。要盡量避免空架頁。以房地產(chǎn)網(wǎng)頁為例，不要發(fā)布(或至少要阻止)沒有點(diǎn)評(píng)的點(diǎn)評(píng)網(wǎng)頁，或者沒有房地產(chǎn)列表的房地產(chǎn)羅列網(wǎng)站等。只有這樣，網(wǎng)站用戶（以及Google爬蟲）才不會(huì)看到無窮多的寫著“以下是在【某城市名】中不可錯(cuò)失的待租房列表…”但其實(shí)根本沒有什么列表的網(wǎng)頁。

9、了解你的內(nèi)容管理系統(tǒng)：確保你熟悉你的網(wǎng)站是怎樣顯示內(nèi)容的，尤其是當(dāng)它包括了博客，論壇，或相關(guān)的系統(tǒng)。往往在這些系統(tǒng)中同一內(nèi)容會(huì)以多種形式出現(xiàn)。

10、不要擔(dān)心，保持快樂：不要過分受搜刮(挪用和轉(zhuǎn)載)你內(nèi)容站點(diǎn)的干擾。雖然很惱人, 它們幾乎不可能對(duì)你在谷歌中的存在產(chǎn)生負(fù)面影響。如果你實(shí)在忍無可忍, 歡迎你提出千禧年著作權(quán)法案申請(qǐng) 來聲明對(duì)你的內(nèi)容的所有權(quán)。我們會(huì)處理那些無賴網(wǎng)站。

總之, 如果你對(duì)內(nèi)容復(fù)制問題有一個(gè)大體的認(rèn)識(shí)，又能花上幾分鐘有見地地預(yù)防性維護(hù)一下你的網(wǎng)站，這將既幫助你們，也幫助我們?yōu)橛脩籼峁┆?dú)特而相關(guān)的內(nèi)容。