我所在的網(wǎng)站算是一個(gè)大型網(wǎng)站，百度收錄3000萬(wàn)，每天百度爬蟲(chóng)抓取總次數在500w次左右，單頁(yè)的百度收錄率 80%，看起來(lái)已經(jīng)是一個(gè)相當不錯的數據，但分析一下詳細的日志文件，還是可以發(fā)現一些問(wèn)題，

　　1.大型網(wǎng)站的列表頁(yè)為了方便用戶(hù)查找所需信息，通常會(huì )設置多重的篩選條件（Facet Navigation），但爬蟲(chóng)并沒(méi)有智能到可以自主判斷哪些條件可以組合，哪些條件組合起來(lái)沒(méi)有意義，只要在代碼里面有鏈接就會(huì )去抓取，導致百度爬蟲(chóng)耗費了大量資源在列表篩選頁(yè)上。分析了一個(gè)月的數據，發(fā)現百度的抓取量有30%消耗在列表頁(yè)，但是列表頁(yè)帶來(lái)的百度自然流量?jì)H占所有百度自然流量的2%，所以對網(wǎng)站的列表頁(yè)來(lái)說(shuō)，爬蟲(chóng)的投入產(chǎn)出非常低。西安網(wǎng)站多少錢(qián),西安網(wǎng)絡(luò )公司推薦閱讀>>> 禁止搜索引擎收錄的方法,

　　2.重復抓取現象嚴重。 我個(gè)人覺(jué)得，對網(wǎng)站來(lái)說(shuō)，只被爬蟲(chóng)抓取過(guò)1次的頁(yè)面（Distinct Crawl）最有價(jià)值，因為對一張本身內容質(zhì)量還可以的頁(yè)面來(lái)說(shuō)，只要被抓取過(guò)一次，收錄的幾率就超過(guò)80%。如果頁(yè)面本身質(zhì)量不行，即使被抓取過(guò)幾十次，也依然不會(huì )被收錄。 繼續分析我們網(wǎng)站的數據，發(fā)現在百度爬蟲(chóng)一天500w的抓取中，有超過(guò)一半的抓取是對相同頁(yè)面的多次抓取，如果能把這些重復的抓取轉移到那些一次都沒(méi)被抓過(guò)的頁(yè)面上，對網(wǎng)站的價(jià)值無(wú)疑更大。網(wǎng)站制作公司西安,做網(wǎng)站推薦閱讀>>> 被黑和站點(diǎn)安全,

　　如何解決這兩個(gè)問(wèn)題？

　　先說(shuō)第一個(gè)，針對篩選頁(yè)消耗爬蟲(chóng)資源問(wèn)題，很多人都建議使用nofollow標簽告訴爬蟲(chóng)，不要繼續給這些頁(yè)面分配權重，我們也這么做過(guò)。但事實(shí)證明百度爬蟲(chóng)對nofollow并不敏感，使用之后爬蟲(chóng)依舊瘋狂抓取，同時(shí)也沒(méi)有把權重從篩選頁(yè)面上轉移到規范頁(yè)面上。

　　無(wú)奈之下，我們只好考慮起用SEO的大殺器：Robots文件，把所有的篩選頁(yè)面全部disallow掉，之前沒(méi)有使用robots禁止抓取的原因是擔心萬(wàn)一爬蟲(chóng)被禁止抓取列表后，會(huì )不會(huì )其他的頁(yè)面也不抓了？畢竟列表篩選頁(yè)還是會(huì )給單頁(yè)貢獻大量入口，但基于我們網(wǎng)站單頁(yè)收錄還不錯的現狀，還是決定嘗試一下。西安網(wǎng)站建設推薦閱讀>>> 巧用robots避免蜘蛛黑洞-百度站長(cháng)平臺資訊，

　　事實(shí)證明，效果非常明顯，新版的robots上線(xiàn)三天后，列表頁(yè)的爬蟲(chóng)抓取量下降到15%；同時(shí)之前擔心的問(wèn)題也沒(méi)有發(fā)生，爬蟲(chóng)的抓取總量不但沒(méi)有下降，反而增長(cháng)了10%左右，單頁(yè)的抓取量也上升了20%，可以算是達到了我們的預期目標：把列表頁(yè)浪費的爬蟲(chóng)資源轉移到其他需要被抓取的頁(yè)面上。

　　但是如何證明抓取資源是被轉移到需要被抓取的頁(yè)面上呢，這正好也是之前提到的第二個(gè)問(wèn)題，我們看了唯一抓取率（ 只抓一次的頁(yè)面數/總抓取數）的變化，從50%增長(cháng)到74%，可以說(shuō)明爬蟲(chóng)在閱讀robots文件后，對爬蟲(chóng)資源做了更合理的分配，更多的單頁(yè)被抓取。西安做網(wǎng)站推薦閱讀>>> 帶你玩轉robots協(xié)議，新手必備，

　　總結：Robots文件相比其他手段，可以在較短時(shí)間內優(yōu)化百度爬蟲(chóng)的抓取資源分配，但這得建立在網(wǎng)站本身結構良好，內容過(guò)關(guān)的基礎之上，同時(shí)最重要的還是得反復測試，通過(guò)日志分析實(shí)際情況來(lái)調整以取得最佳效果 轉自百度站長(cháng)社區