地方分類信息網(wǎng)站如何避免重復(fù)信息

零、為什么要進行地方分類信息網(wǎng)站的重復(fù)信息判斷？

答案很簡單，大量的重復(fù)的垃圾信息頁面會降低你的網(wǎng)站權(quán)重。

由于目前絕大多數(shù)地方分類信息網(wǎng)站的信息排序方式，都是采用ID倒序，即按照時間順序排列，新信息在前，舊信息在后。這就無形中讓一些垃圾信息發(fā)布者為了獲得較好的排名，而每天甚至每個小時都不停的發(fā)布自己的信息，他們才不會管到底這樣會不會制造大量的重復(fù)垃圾信息，他們只想著，如果能上了你的網(wǎng)站首頁（因為很多網(wǎng)站都在首頁調(diào)用了某欄目的最新信息）或者排在其他同行的前面，累點無所謂。

雖然這樣可以增加網(wǎng)站的人氣，也能夠提高數(shù)據(jù)量，但是對于SEO方面來說，無疑是致命的。廊坊卡卡在初期，為了盡量滿足廣大信息發(fā)布者的要求，并沒有進行這方面信息的判斷，隨著信息量的上升，重復(fù)信息也越來越多，而且趨勢也越來越嚴(yán)重，直到有一天，發(fā)現(xiàn)從店鋪、促銷頻道為入口的流量，驟降50%以上，才發(fā)現(xiàn)事情的嚴(yán)重性：因為充斥著大量重復(fù)、垃圾信息（這些信息發(fā)布者往往會同時在很多分類信息網(wǎng)站發(fā)布完全相同的內(nèi)容），店鋪、促銷頻道被降權(quán)。

根據(jù)關(guān)鍵詞排行榜的統(tǒng)計，很多以前排名很好的關(guān)鍵詞，排到了第二頁、第三頁甚至完全消失。

一、避免重復(fù)信息的幾種方式

于是經(jīng)過廊坊卡卡團隊的研究，制定出了一套專門針對分類信息網(wǎng)站的重復(fù)信息判斷規(guī)則和方案，拿出來，與廣大站長共享，也期待著能夠得到大家的批評指正，從而提高方案的可行性和效率。

方法一：改變排序規(guī)則

從信息發(fā)布者的目的來看，很明確，就是要讓自己排在前面、排在首頁，在網(wǎng)站現(xiàn)有的規(guī)則下，他只有通過重新發(fā)布信息來獲得好的排名。因此，網(wǎng)站可以更改排序規(guī)則，規(guī)定店鋪信息按照用戶好評度排序，或按照瀏覽量排序，或者在首頁只調(diào)用推薦的信息，而不是最新信息，那么新發(fā)布的店鋪，是很難馬上排到前邊的，這樣自然會打擊很多信息發(fā)布者的積極性，因為不能看到效果，他們也就不會使勁的發(fā)新信息了。同時，信息發(fā)布者為了能夠獲得好的排名，反而會去推廣自己的鏈接，讓別人來頂或者瀏覽。缺點：新店鋪難有出頭之日，而信息發(fā)布者為了獲得更高的瀏覽量而去推廣鏈接，萬一推廣過度，被QQ、百度貼吧、百度知道等封了域名，可就得不償失了。

方法二：增加更新功能

該操作方法簡單易行，只需要在用戶的個人中心，發(fā)布信息的后面增加一個“更新”按鈕，則用戶點擊該按鈕，信息自動更新為當(dāng)天發(fā)布，排到最前面，這樣方便了信息發(fā)布者，也避免了制造重復(fù)頁面。當(dāng)然會有一些人一天到晚不停的在那點，排在前邊全是他的信息，怎么辦？那我們可以設(shè)置更新次數(shù)限制，一天只能更新N次，超過N次，不允許更新。當(dāng)然，如果你的網(wǎng)站人氣很旺，你甚至可以通過這個功能來收費！不過信息發(fā)布者想想就知道了，為了能夠手工的排在最前邊，還不如直接買你的廣告位劃算呢。

方法三：禁止重復(fù)信息的發(fā)布

這是截流，從根源上禁止重復(fù)信息發(fā)布，并且不提供任何的解決方案，就是告訴信息發(fā)布者，你已經(jīng)發(fā)過了，不用再發(fā)了。這樣做的缺點也很明顯：影響信息發(fā)布者的情緒。但這樣做也可能會導(dǎo)致你的廣告位銷量上升。

二、重復(fù)信息判斷規(guī)則

廊坊卡卡在經(jīng)過多重分析論證的基礎(chǔ)上，決定對不同頻道采取不同的解決方法，例如針對房產(chǎn)頻道，因為房產(chǎn)信息本身的內(nèi)容差異率就極低，如果信息再重復(fù)，那么必然會造成更大的重復(fù)，對SEO極為不利。所以，禁止重復(fù)信息發(fā)布是首要任務(wù)。

以房產(chǎn)頻道的房屋出售信息為例，我們先看一下廊坊卡卡的房產(chǎn)出售列表頁http://www.lfkaka.com/fclist-1.html，通過分析，我們發(fā)現(xiàn)，該類信息具有以下值得作為判斷依據(jù)的字段：

（1） 聯(lián)系電話

（2） 小區(qū)/樓盤名稱

（3） 地址

（4） 面積

（5） 戶型

（6） 售價

（7） 詳細(xì)介紹

（8） 標(biāo)題

（9） 所在樓層

（10） 總樓層

但是，如果我們僅僅是根據(jù)這些字段是否相同來決定一條信息是否重復(fù)，那么信息發(fā)布者肯定會通過修改詳情中的文字、標(biāo)題上加個空格之類的方法，來繞過重復(fù)判斷機制，成功發(fā)布出去。

因此，我們要把容易被修改的和不容易被修改的數(shù)據(jù)分開對待，姑且稱之為必比條件和輔助條件。其中必比條件，表示不容易被修改的信息，只要有稍微的改動，該信息就不再真實。而輔助條件，是可以被修改，進行小范圍的修改不影響信息真實性的條件。

必比條件：聯(lián)系電話、小區(qū)/樓盤名稱（廊坊卡卡已經(jīng)搜集了廊坊地區(qū)近400個小區(qū)及其別名并記錄在數(shù)據(jù)庫中，因此小區(qū)/樓盤名稱的格式基本固定）、戶型、所在樓層、總樓層

輔助條件：地址、面積（用戶很可能通過修改小數(shù)點來繞過重復(fù)判斷機制）、售價（理由同面積）、詳細(xì)介紹、標(biāo)題

我們知道，在信息真實性的前提下，當(dāng)他的必比條件有任何一個不同的時候，該信息肯定是不同的。（關(guān)于信息真實性判斷，我們另文詳述）

所以，我們在判斷重復(fù)時，首先去判斷必比條件，當(dāng)必比條件有任何一條不同時，將信息視為非重復(fù)信息；當(dāng)必比條件完全相同時，則去判斷輔助條件，由輔助條件決定信息是否重復(fù)。

由于輔助條件比較容易通過微小的修改造假，因此，無法通過完全比較來作為判斷依據(jù)，這時候要采用模糊判斷法（模糊判斷必然會造成誤差，但我們只能盡量避免）。

首先，我們判斷輔助條件中的五個條件的相似度，各個條件的判斷方法不同，對于面積和售價，我們要判斷他的一個范圍而非絕對數(shù)值或單純的去掉小數(shù)點，比如，100平米的房子，我們要去跟所有101＞N＞90之間的房子去比較，根據(jù)差值，計算相似度。而對于地址、標(biāo)題、詳情，我們要隨機的去截取足夠長的一段文字，在去除標(biāo)點符號和空格的情況下，比較其相似程度，并計算相似度。

然后，取相似度的平均數(shù)，如果該平均數(shù)超過了某一固定值M，則判斷該條信息為重復(fù)。如果未超過M，則認(rèn)為該信息不重復(fù)。（M值作為一個判斷相似力度的指標(biāo)，由網(wǎng)站管理員進行調(diào)整，M值越高，判斷機制越寬松，但也容易漏掉真正的重復(fù)信息；M值越低，則判斷機制越嚴(yán)格，但也容易誤傷真實非重復(fù)信息。因此，M值需要站長根據(jù)自己網(wǎng)站的實際情況，采取抽樣調(diào)查的方式獲得，并長期觀察用戶反應(yīng)，及時調(diào)整。）

本文觀點均參考自廊坊卡卡（http://www.lfkaka.com ）團隊會議記錄，轉(zhuǎn)載請注明。

真誠的希望廣大同行能留下您的寶貴意見和建議，不勝感激！

感謝 zilly 的投稿