客服
利用robots.txt禁止百度蜘蛛Baidusppider抓取
User-agent: *Disallow: /Allow: /complain/Allow: /media_partners/Allow: /about/Allow: /user_agreement/User-agent: ByteSpiderAllow: /User-agent: ToutiaoSpiderAllow: /
以上是今日頭條的robots.txt，禁止所有搜索引擎收錄，同時(shí)又允許字節蜘蛛、頭條蜘蛛抓取。比較牛，不依靠其他搜索引擎，和淘寶一樣！
robots協(xié)議文件屏蔽百度蜘蛛抓取
robots協(xié)議是一個(gè)放在網(wǎng)站根目錄下協(xié)議文件，可以通過(guò)URL地址：http://你的域名/robots.txt進(jìn)行訪(fǎng)問(wèn)。當百度蜘蛛抓取我們網(wǎng)站時(shí)，會(huì )先訪(fǎng)問(wèn)這個(gè)文件。因為里面告訴了蜘蛛哪些可以抓取，哪些不可以抓取。
robots協(xié)議文件的設置比較簡(jiǎn)單，可以通過(guò)User-Agent、Disallow、Allow這三個(gè)參數進(jìn)行設置。
User-Agent：對不同搜索引擎的聲明；
Disallow：不允許抓取的目錄或頁(yè)面；
Allow：允許抓取的目錄或頁(yè)面，一般可以省略不寫(xiě)，因為你不寫(xiě)什么是不可以抓的那就都是可以抓的；
下面我們來(lái)看一個(gè)示例，場(chǎng)景是我不希望百度抓取我網(wǎng)站所有的css文件，data目錄、seo-tag.html頁(yè)面
User-Agent: Baidusppider
Disallow: /*.css
Disallow: /data/
Disallow: /seo/seo-tag.html
如上，user-agent聲明的蜘蛛名稱(chēng)，這個(gè)意思也就是說(shuō)，針對百度蜘蛛。下面不能抓取”/*.css”，首先前面的/指的是根目錄，也就是你的域名。*是通配符，代表任意內容。其意思就是所有文件，以.css結尾的都不能抓取。下面兩個(gè)你自己體會(huì )吧。邏輯是一樣的。
相關(guān)文章：
-
帝國CMS是什么程序 帝國CMS是一套開(kāi)源的靜態(tài)頁(yè)面程序，憑借超高的擴展性，很多知名的新聞?wù)军c(diǎn)、行業(yè)站點(diǎn)都是應用的帝國CMS后端。因為帝國CMS和dedecms一樣都是生成靜態(tài)頁(yè)面的，所以非常利于...
-
域名解析DNS分為顯性URL和隱形URL，顯性URL和隱形URL有什么區別？隱形URL和顯性URL哪個(gè)更有利于SEO？顯性URL相當于域名了302重定向，隱形URL使用iframe框架技術(shù)隱藏真實(shí)目標地址，顯性URL更有利于...
-
在常見(jiàn)的CMS系統中，我對dedecms算是比較熟悉的，自己網(wǎng)站用的也是這個(gè)系統。系統功能強大使用靈活，相信這也是它受到大多數中小站長(cháng)青睞的原因。 再好的系統也有照顧不周的地方，很多站...
-
這篇文章主要為大家詳細介紹了dedecms后臺增加php導出excel功能實(shí)現辦法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下,有需要的朋友可以收藏方便以后借鑒。 不少朋友希望織夢(mèng)的后臺...
-
第一次使用的插件是 pdfobject.js 百度網(wǎng)盤(pán)下載地址：http://pan.baidu.com/s/1kUPhYdT 加載 script src=/style/js/pdfobject.js /script script type=text/javascript window.onload = function (){ var success = new PDFObject({ url: pdf文件地...
-
網(wǎng)上有一種方法是copy+unlink來(lái)移動(dòng)文件，但是遇到大文件時(shí)會(huì )消耗大量時(shí)間，對性能不怎么友好，可以使用rename()來(lái)移動(dòng)文件，速度非?？?關(guān)于rename()函數 bool rename ( string $oldname , string $newname...
-
基于我們公司可選的幾種推廣方式： 一、關(guān)鍵詞優(yōu)化排名推廣（推薦） 指定關(guān)鍵詞推廣，按天付費，推廣我們業(yè)務(wù)中最重要的一些關(guān)鍵詞，達到百度首頁(yè)才收費，大概一個(gè)關(guān)鍵詞10元/天左右。...
-
插件介紹 wordpress程序網(wǎng)站在發(fā)布文章時(shí)可以給每一片文章添加與之相關(guān)的TAG標簽，對于TAG標簽可以生成很多頁(yè)面，增加搜索引擎對內容的抓取量。 WP Auto Keywords插件就是一款能自動(dòng)給文章添加...
-
5.7 生成列表頁(yè) 改動(dòng) include/arc.listview.class.php 1.先設置 關(guān)閉副欄目（在系統----系統基本參數性能選項里） 2.一般網(wǎng)站不需要 欄目交叉 交叉 所以 找到94行注釋掉： //獲得交叉欄目ID /*if($this-Type...
-
使用preg_replace將刪除所有空白(包括制表符等) $string = user na me $string = preg_replace(/\s+/, , $string); echo $string; // username preg_replace(/\s/u, ,$string) u (PCRE8) 此修正符打開(kāi)一個(gè)與perl不兼容的附加功能. 模式...