從《百度搜索引擎優(yōu)化指南2.0》一文中可以了解到，百度和所有搜索引擎都是喜歡獨特并且有價值的文章。而在復(fù)制粘貼技術(shù)如此方便的今天，網(wǎng)絡(luò)上很難有唯一的內(nèi)容，隨著時間的延續(xù)，相同或相近的版本會越來越多，其目的只有一個：一切為了流量。所以他們不顧版權(quán)、不顧用戶是否已經(jīng)在某些官方網(wǎng)站或門戶網(wǎng)站看過，就偷偷轉(zhuǎn)載過來，以新穎的標(biāo)題吸引讀者從來獲取流量。于是，網(wǎng)絡(luò)上充斥著大量相似網(wǎng)頁，據(jù)統(tǒng)計表明，近似重復(fù)網(wǎng)頁的數(shù)量占總網(wǎng)頁數(shù)量的比例高達全部頁面的29%，而完全相同的頁面大約占全部頁面的22%,即互聯(lián)網(wǎng)頁面中有相當(dāng)大的比例的內(nèi)容是完全相同或者大體相近的重復(fù)網(wǎng)頁，這些重復(fù)網(wǎng)頁有的是沒有一點兒改動的副本，有的在內(nèi)容上稍做修改，比如同一文章的不同版本。

　　網(wǎng)頁重復(fù)可以分為以下四種類型：

　　1、如果兩篇文檔內(nèi)容和布局格式上毫無差別，則這種重復(fù)可以叫做完全重復(fù)頁面。

　　2、如果兩篇文檔內(nèi)容相同，但是布局格式不同，則叫做內(nèi)容重復(fù)頁面。

　　3、如果兩篇文檔有部分重要的內(nèi)容相同，并且布局格式相同，則稱為布局重復(fù)頁面。

　　4、如果兩篇文檔有部分重要的內(nèi)容相同，但是布局格式不同，則稱為部分重復(fù)頁面。

　　搜索引擎對近似重復(fù)網(wǎng)頁發(fā)現(xiàn)，就是通過技術(shù)手段(如百度spider)快速全面發(fā)現(xiàn)這些重復(fù)信息的手段，如何快速準(zhǔn)確地發(fā)現(xiàn)這些內(nèi)容上相似的網(wǎng)頁已經(jīng)成為提高搜索引擎服務(wù)質(zhì)量的關(guān)鍵技術(shù)之一。

　　發(fā)現(xiàn)相似網(wǎng)頁對搜索引擎來說有以下好處：

　　1、相同網(wǎng)頁表明的實際內(nèi)容相同，所以百度可以刪除這些重復(fù)網(wǎng)頁來節(jié)約百度數(shù)據(jù)庫的空間，進而節(jié)約資源的消耗并提高用戶體驗度、減少用戶查看有價值網(wǎng)頁的時間。

　　2、通過對相同網(wǎng)頁來源網(wǎng)站進行歸納整理，對于無原創(chuàng)內(nèi)容的網(wǎng)站采用降權(quán)或減少索引的懲罰措施，保護原創(chuàng)作者的版權(quán)及搜索引擎數(shù)據(jù)庫的獨特內(nèi)容。

　　3、如果我們能夠通過對以往收集信息的分析，預(yù)先發(fā)現(xiàn)重復(fù)網(wǎng)頁，在今后的網(wǎng)頁收集過程中就可以避開這些網(wǎng)頁，從而提高網(wǎng)頁的收集速度。有研究表明重復(fù)網(wǎng)頁隨著時間不發(fā)生太大變化，所以這種從重復(fù)頁面集合中選擇部分頁面進行索引是有效的。

　　4、如果某個網(wǎng)站與其他站點內(nèi)容相似度較高，根據(jù)文章引用的思路，可以判定被抄襲的網(wǎng)站顯得比其他網(wǎng)站更有價值，搜索引擎可以適應(yīng)賦予該網(wǎng)站更高權(quán)重。

　　實際工作的搜索引擎往往是在爬蟲階段進行近似重復(fù)檢測的，下圖給出了近似重復(fù)檢測任務(wù)在搜索引擎中所處流程的說明。當(dāng)爬蟲新抓取到網(wǎng)頁時，需要和已經(jīng)建立到索引內(nèi)的網(wǎng)頁進行重復(fù)判斷，如果判斷是近似重復(fù)網(wǎng)頁，則直接將其拋棄，如果發(fā)現(xiàn)是全新的內(nèi)容，則將其加入網(wǎng)頁索引中。

　　回顧上一講我們提到的《網(wǎng)站相似度和網(wǎng)頁相似度探究》可以看出，百度星火計劃已經(jīng)初步體現(xiàn)了搜索引擎去重算法的優(yōu)勢和必然趨勢。在以后的網(wǎng)站建設(shè)和優(yōu)化過程中，不要一味的擴充網(wǎng)站內(nèi)容量，而要從質(zhì)量入手，慢慢贏得搜索引擎的信任。