客服
Baiduspider抓取過(guò)程中涉及的網(wǎng)絡(luò )協(xié)議
剛才提到百度搜索引擎會(huì )設計復雜的抓取策略，其實(shí)搜索引擎與資源提供者之間存在相互依賴(lài)的關(guān)系，其中搜索引擎需要站長(cháng)為其提供資源，否則搜索引擎就無(wú)法滿(mǎn)足用戶(hù)檢索需求；而站長(cháng)需要通過(guò)搜索引擎將自己的 內容推廣出去獲取更多的受眾。spider抓取系統直接涉及互聯(lián)網(wǎng)資源提供者的利益，為了使搜素引擎與站長(cháng)能夠達到雙贏(yíng)，在抓取過(guò)程中雙方必須遵守一定的 規范，以便于雙方的數據處理及對接。這種過(guò)程中遵守的規范也就是日常中我們所說(shuō)的一些網(wǎng)絡(luò )協(xié)議。西安網(wǎng)站建設推薦閱讀>>> Baiduspider 主要抓取策略類(lèi)型,
以下簡(jiǎn)單列舉：
http協(xié)議：超文本傳輸協(xié)議，是互聯(lián)網(wǎng)上應用最為廣泛的一種網(wǎng)絡(luò )協(xié)議，客戶(hù)端和服務(wù)器端請求和應答的標準?？蛻?hù)端一般情況是指終端用戶(hù)，服務(wù)器端即指網(wǎng) 站。終端用戶(hù)通過(guò)瀏覽器、蜘蛛等向服務(wù)器指定端口發(fā)送http請求。發(fā)送http請求會(huì )返回對應的httpheader信息，可以看到包括是否成功、服務(wù) 器類(lèi)型、網(wǎng)頁(yè)最近更新時(shí)間等內容。
https協(xié)議：實(shí)際是加密版http，一種更加安全的數據傳輸協(xié)議。西安網(wǎng)站建設推薦閱讀>>> 百度搜索引擎工作原理,
UA屬性：UA即user-agent，是http協(xié)議中的一個(gè)屬性，代表了終端的身份，向服務(wù)器端表明我是誰(shuí)來(lái)干嘛，進(jìn)而服務(wù)器端可以根據不同的身份來(lái)做出不同的反饋結果。
robots協(xié)議：robots.txt是搜索引擎訪(fǎng)問(wèn)一個(gè)網(wǎng)站時(shí)要訪(fǎng)問(wèn)的第一個(gè)文件，用以來(lái)確定哪些是被允許抓取的哪些是被禁止抓取的。 robots.txt必須放在網(wǎng)站根目錄下，且文件名要小寫(xiě)。詳細的robots.txt寫(xiě)法可參考 http://www.robotstxt.org 。百度嚴格按照robots協(xié)議執行，另外，同樣支持網(wǎng)頁(yè)內容中添加的名為robots的meta標 簽，index、follow、nofollow等指令。西安做網(wǎng)站推薦閱讀>>> 搜索引擎原理簡(jiǎn)單分析帶圖,
相關(guān)文章：
-
絕對地址：網(wǎng)絡(luò )中的絕對地址是指帶有網(wǎng)站域名的網(wǎng)頁(yè)地址。含有絕對地址的網(wǎng)頁(yè)能夠被搜索引擎更好的收錄。 相對地址：只包含本地路徑的網(wǎng)頁(yè)地址，地址通常以/和/表示層級關(guān)系。 在網(wǎng)頁(yè)...
-
網(wǎng)站訪(fǎng)問(wèn)的原理采用的是BS框架，即 browser server。通過(guò)Http協(xié)議向服務(wù)器請求相關(guān)頁(yè)面數據，然后通過(guò)瀏覽器進(jìn)行解析實(shí)現。所以網(wǎng)站的一個(gè)基本需求就是一個(gè)網(wǎng)站的站點(diǎn)服務(wù)器。 目前我所認知...
-
終于把dedecms和discuz整合成功了，分享一下方法 1.安裝dedecms，大家都懂的。 2.安裝discuz x2，安裝的時(shí)候我們選擇包含ucenter 我把兩個(gè)程序安裝在同一個(gè)數據庫里，安裝成功后我們進(jìn)入dx后臺，然...
-
如何修改discuz首頁(yè)logo 兩種方法簡(jiǎn)單修改discuz 論壇首頁(yè)logo，一種是直接從網(wǎng)頁(yè)后臺修改；另外一種是從ftp后臺修改。西安網(wǎng)站建設推薦閱讀 Discuz目錄文件結構表 ， 方法一：從網(wǎng)頁(yè)后臺修改...
-
在你開(kāi)始搭建一個(gè)網(wǎng)站的時(shí)候必須得準備以下幾個(gè)步湊，免得到時(shí)手忙腳亂，給網(wǎng)站帶來(lái)不好的因數： 1，域名 域名就想一個(gè)人的名字一樣，你首先得想好，必須的和你網(wǎng)站的內容相關(guān)，好讓...
-
注冊好域名租用虛擬主機或者服務(wù)器，開(kāi)始建立一個(gè)網(wǎng)站。網(wǎng)站建立成功后，可能多多少少的有些問(wèn)題?？赡苁莵y碼問(wèn)題，也可能是數據庫等等一些原因導致網(wǎng)站無(wú)法正常的訪(fǎng)問(wèn)。下面小編就...
-
不需要域名和空間的方法《如何在本地搭建一個(gè)網(wǎng)站》。其原理就是利用自己的電腦來(lái)作服務(wù)器，這里我私人總結了幾點(diǎn)好處： 1.不需要申請域名和空間。 2.方便修改主題模板。直接在搭建好...
-
Discuz目錄文件結構表最近在學(xué)習discuz的程序，真的感覺(jué)模板有點(diǎn)復雜（相比織夢(mèng)DEDE相差甚遠）。今天本人將discuz程序目錄整理了一下，希望對剛開(kāi)始接觸discuz這個(gè)程序的伙伴們有所幫助。 |...
-
一個(gè)用戶(hù)的網(wǎng)站被掛馬 很多以prn.開(kāi)頭的文件...這個(gè)文件其實(shí)是windows禁止建立的..但是可以在dos建立 所以在dos下用更改屬性 結果不讓改? 然后想恢復權限 不讓恢復 ，網(wǎng)站的跟目錄被加了幾個(gè)文...
-
域名是互聯(lián)網(wǎng)的入口，域名的重要性不言而喻。一旦域名被盜，且轉移到其他注冊商，將給域名所有人帶來(lái)巨大的損失。以下小貼士是從網(wǎng)絡(luò )上搜集的經(jīng)驗匯總，希望給處于域名被盜困境中的...