想要解決好搜素引擎重復(fù)抓取的問題，不只是要解決好爬蟲自身的問題，更需要進(jìn)一步的了解爬蟲重復(fù)抓取的目的，要知道指標(biāo)才能治本，只有抓住了根本，才能在實(shí)際中解決。

對(duì)于每個(gè)搜索引擎優(yōu)化從業(yè)者來(lái)說(shuō)，爬蟲每天都來(lái)我們的網(wǎng)站抓取網(wǎng)頁(yè)，這是一個(gè)非常有價(jià)值的資源。然而，在這中間，由于爬行動(dòng)物的無(wú)序爬行，它必然會(huì)浪費(fèi)一些爬行動(dòng)物的爬行資源。在此過程中，百度優(yōu)化排名需要解決搜索引擎爬蟲反復(fù)抓取我們網(wǎng)頁(yè)的問題。

　　·產(chǎn)生很久的頁(yè)面，但近更新了

　　·新產(chǎn)生的頁(yè)面，沒有被抓取過的

　　·產(chǎn)生了一段時(shí)間，卻一直沒收錄的

　　·產(chǎn)生了一段時(shí)間，遲遲不被抓取的

　　·包含內(nèi)容更多的聚合頁(yè)面，如首頁(yè)、列表頁(yè)

　　對(duì)于上述類別，我們定義了哪個(gè)類別要按順序進(jìn)行爬網(wǎng)。

　　對(duì)于大型網(wǎng)站，搜索引擎抓取器抓取過多的資源，而對(duì)于小型網(wǎng)站，抓取稀 缺的資源。因此，我們?cè)诖藦?qiáng)調(diào)，我們不是在試圖解決搜索導(dǎo)致的重復(fù)爬行問題，而是在試圖解決搜索引擎盡可能快地爬行我們想要爬行的頁(yè)面的問題。這個(gè)想法須糾正！

　　接下來(lái)，我們來(lái)談?wù)勅绾巫屗阉饕媾老x快地抓取我們想要抓取的頁(yè)面。

　　爬蟲是抓取網(wǎng)頁(yè)并從該網(wǎng)頁(yè)中找到更多鏈接的過程。然后這一次我們需要知道，如果我們想更有可能被crawler抓取，我們需要提供更多的鏈接，以便搜索引擎crawler能夠找到我們想要抓取的網(wǎng)頁(yè)。

　　與此同時(shí)，想象有這么多頁(yè)面鏈接到新文章，鏈接傳遞權(quán)重，然后新文章被捕獲，權(quán)重不低。包容性的速度將顯著提高。

　　對(duì)于那些長(zhǎng)時(shí)間沒有被包括在內(nèi)的人，你也可以考慮體重是否太低。我會(huì)給內(nèi)部鏈條更多的支持，并傳遞一些重量。應(yīng)該有包容的可能性。當(dāng)然，也有可能不包括它，那么您須依賴于內(nèi)容本身的質(zhì)量。以前，有一篇文章專門談到內(nèi)容質(zhì)量，歡迎大家閱讀:什么內(nèi)容容易被百度評(píng)為高質(zhì)量?jī)?nèi)容？

　　新產(chǎn)生的頁(yè)面，沒有被抓取過的

　　這種頁(yè)面通常是文章頁(yè)面。對(duì)于這種頁(yè)面，我們的網(wǎng)站每天都會(huì)產(chǎn)生大量的頁(yè)面，所以我們會(huì)在更多的頁(yè)面中給出這部分鏈接。例如，主頁(yè)、頻道頁(yè)面、列/列表頁(yè)面、主題聚合頁(yè)面，甚至文章頁(yè)面本身都需要有一個(gè)新的文章部分，以便等待爬蟲在抓取我們的任何網(wǎng)頁(yè)時(shí)找到新的文章。

　　因此，為了解決搜索引擎爬蟲重復(fù)爬行的問題，我們不是終的解決方案。由于搜索引擎爬蟲本質(zhì)上是無(wú)序的，我們只能通過網(wǎng)站的架構(gòu)、推薦算法、運(yùn)營(yíng)策略等進(jìn)行干預(yù)。這樣爬蟲可以給我們更理想的抓取效果。