搜索引擎的工作的過(guò)程非常復雜，而簡(jiǎn)單的講搜索引擎的工作過(guò)程大體可以分成三個(gè)階段。

　　爬行和抓?。核阉饕嬷┲胪ㄟ^(guò)跟蹤鏈接訪(fǎng)問(wèn)頁(yè)面，獲取頁(yè)面HTML代碼存入數據庫。

　　預處理：搜索贏(yíng)球對抓取來(lái)的頁(yè)面數據文字進(jìn)行文字提取、中文分詞、索引等處理，以備排名程序調用。

　　排名：用戶(hù)輸入關(guān)鍵字后，排名調用索引庫數據，計算相關(guān)性，然后按一定格式生成搜索結果頁(yè)面。

　　爬行和抓取

　　爬行和抓取是搜索引擎工作的第一步，完成數據收集任務(wù)。

　　蜘蛛

　　搜索引擎用來(lái)爬行和訪(fǎng)問(wèn)頁(yè)面的程序被稱(chēng)為蜘蛛(spider)，也稱(chēng)為機器人(bot)。

　　蜘蛛代理名稱(chēng)：

　　百度蜘蛛：Baiduspider+(+http://www.baidu.com/search/spider.htm) ·

　　雅虎中國蜘蛛：Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html) ·

　　英文雅虎蜘蛛：Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

　　Google 蜘蛛：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) ·

　　微軟 Bing 蜘蛛：msnbot/1.1 (+http://search.msn.com/msnbot.htm)·

　　搜狗蜘蛛： Sogou+web+robot+(+http://www.sogou.com/docs/help/webmasters.htm#07) ·

　　搜搜蜘蛛：Sosospider+(+http://help.soso.com/webspider.htm) ·

　　有道蜘蛛：Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )

　　跟蹤鏈接

　　為了抓取網(wǎng)上盡量多的頁(yè)面，搜索引擎蜘蛛會(huì )跟蹤頁(yè)面上的鏈接，從一個(gè)頁(yè)面爬到下一個(gè)頁(yè)面，就好像蜘蛛在蜘蛛網(wǎng)上爬行那樣，這也就是搜索引擎蜘蛛這個(gè)名稱(chēng)的由來(lái)。最簡(jiǎn)單的爬行遍歷策略分為兩種，一是深度優(yōu)先，二是廣度優(yōu)先。

　　深度優(yōu)先搜索

　　深度優(yōu)先搜索就是在搜索樹(shù)的每一層始終先只擴展一個(gè)子節點(diǎn)，不斷地向縱深前進(jìn)直到不能再前進(jìn)(到達葉子節點(diǎn)或受到深度限制)時(shí)，才從當前節點(diǎn)返回到上一級節點(diǎn)，沿另一方向又繼續前進(jìn)。這種方法的搜索樹(shù)是從樹(shù)根開(kāi)始一枝一枝逐漸形成的。

　　深度優(yōu)先搜索亦稱(chēng)為縱向搜索。由于一個(gè)有解的問(wèn)題樹(shù)可能含有無(wú)窮分枝，深度優(yōu)先搜索如果誤入無(wú)窮分枝(即深度無(wú)限)，則不可能找到目標節點(diǎn)。所以，深度優(yōu)先搜索策略是不完備的。另外，應用此策略得到的解不一定是最佳解(最短路徑)。

　　廣度優(yōu)先搜索

　　在深度優(yōu)先搜索算法中，是深度越大的結點(diǎn)越先得到擴展。如果在搜索中把算法改為按結點(diǎn)的層次進(jìn)行搜索， 本層的結點(diǎn)沒(méi)有搜索處理完時(shí)，不能對下層結點(diǎn)進(jìn)行處理，即深度越小的結點(diǎn)越先得到擴展，也就是說(shuō)先產(chǎn)生 的結點(diǎn)先得以擴展處理，這種搜索算法稱(chēng)為廣度優(yōu)先搜索法。

　　在深度優(yōu)先搜索算法中，是深度越大的結點(diǎn)越先得到擴展。如果在搜索中把算法改為按結點(diǎn)的層次進(jìn)行搜索， 本層的結點(diǎn)沒(méi)有搜索處理完時(shí)，不能對下層結點(diǎn)進(jìn)行處理，即深度越小的結點(diǎn)越先得到擴展，也就是說(shuō)先產(chǎn)生 的結點(diǎn)先得以擴展處理，這種搜索算法稱(chēng)為廣度優(yōu)先搜索法。

　　吸引蜘蛛

　　哪些頁(yè)面被認為比較重要呢?有幾方面影響因素：

　　· 網(wǎng)站和頁(yè)面權重。質(zhì)量高、資格老的網(wǎng)站被認為權重比較高，這種網(wǎng)站上的頁(yè)面被爬行的深度也會(huì )比較高，所以會(huì )有更多內頁(yè)被收錄。

　　· 頁(yè)面更新度。蜘蛛每次爬行都會(huì )把頁(yè)面數據存儲起來(lái)。如果第二次爬行發(fā)現頁(yè)面與第一次收錄的完全一樣，說(shuō)明頁(yè)面沒(méi)有更新，蜘蛛也就沒(méi)有必要經(jīng)常抓取。如果頁(yè)面內容經(jīng)常更新，蜘蛛就會(huì )更加頻繁地訪(fǎng)問(wèn)這種頁(yè)面，頁(yè)面上出現的新鏈接，也自然會(huì )被蜘蛛更快跟蹤，抓取新頁(yè)面。

　　· 導入鏈接。無(wú)論是外部鏈接還是同一個(gè)網(wǎng)站的內部鏈接，要被蜘蛛抓取就必須有導入鏈接進(jìn)入頁(yè)面，否則蜘蛛根本沒(méi)有機會(huì )知道頁(yè)面的存在。高質(zhì)量的導入鏈接也經(jīng)常使頁(yè)面上的導出鏈接被爬行深度增加。一般來(lái)說(shuō)網(wǎng)站上權重最高的是首頁(yè)，大部分外部鏈接是指向首頁(yè)，蜘蛛訪(fǎng)問(wèn)最頻繁的也是首頁(yè)。離首頁(yè)點(diǎn)擊距離越近，頁(yè)面權重越高，被蜘蛛爬行的機會(huì )也越大。

　　地址庫

　　為了避免重復爬行和抓取網(wǎng)址，搜索引擎會(huì )建立一個(gè)地址庫，記錄已經(jīng)被發(fā)現還沒(méi)有抓取的頁(yè)面，以及已經(jīng)被抓取的頁(yè)面。地址庫中的uRL有幾個(gè)來(lái)源：

　　(1)人工錄入的種子網(wǎng)站。

　　(2)蜘蛛抓取頁(yè)面后，從HTML中解析出新的鏈接uRL，與地址庫中的數據進(jìn)行對比，如果是地址庫中沒(méi)有的網(wǎng)址，就存入待訪(fǎng)問(wèn)地址庫。

　　(3)站長(cháng)通過(guò)搜索引擎網(wǎng)頁(yè)提交表格提交進(jìn)來(lái)的網(wǎng)址。

　　蜘蛛按重要性從待訪(fǎng)問(wèn)地址庫中提取uRL，訪(fǎng)問(wèn)并抓取頁(yè)面，然后把這個(gè)uRL從待訪(fǎng)問(wèn)地址庫中刪除，放進(jìn)已訪(fǎng)問(wèn)地址庫中。

　　大部分主流搜索引擎都提供一個(gè)表格，讓站長(cháng)提交網(wǎng)址。不過(guò)這些提交來(lái)的網(wǎng)址都只是存入地址庫而已，是否收錄還要看頁(yè)面重要性如何。搜索引擎所收錄的絕大部分頁(yè)面是蜘蛛自己跟蹤鏈接得到的?？梢哉f(shuō)提交頁(yè)面基本t是毫無(wú)用處的，搜索引擎更喜歡自己沿著(zhù)鏈接發(fā)現新頁(yè)面。

　　文件存儲搜索引擎蜘蛛抓取的數據存入原始頁(yè)面數據庫。其中的頁(yè)面數據與用戶(hù)瀏覽器得到的HTML是完全一樣的。每個(gè)uRI，都有一個(gè)獨特的文件編號。

　　爬行時(shí)的復制內容檢測

　　檢測并刪除復制內容通常是在下面介紹的預處理過(guò)程中進(jìn)行的，但現在的蜘蛛在爬行和抓取文件時(shí)也會(huì )進(jìn)行定程度的復制內容檢測。遇到權重很低的網(wǎng)站上大量轉載或抄襲內容時(shí)，很可能不再繼續爬行。這也就是有的站長(cháng)在日志文件中發(fā)現了蜘蛛，但頁(yè)面從來(lái)沒(méi)有被真正收錄過(guò)的原因。

　　預處理

　　在一些SEO材料中，“預處理”也被簡(jiǎn)稱(chēng)為“索引”，因為索引是預處理最主要的步驟。

　　搜索引擎蜘蛛抓取的原始頁(yè)面，并不能直接用于查詢(xún)排名處理。搜索引擎數據庫中的頁(yè)面數都在數萬(wàn)億級別以上，用戶(hù)輸入搜索詞后，靠排名程序實(shí)時(shí)對這么多頁(yè)面分析相關(guān)性，計算量太大，不可能在一兩秒內返回排名結果。因此抓取來(lái)的頁(yè)面必須經(jīng)過(guò)預處理，為最后的查詢(xún)排名做好準備。

　　和爬行抓取一樣，預處理也是在后臺提前完成的，用戶(hù)搜索時(shí)感覺(jué)不到這個(gè)過(guò)程。

　　1.提取文字

　　現在的搜索引擎還是以文字內容為基礎。蜘蛛抓取到的頁(yè)面中的HTML代碼，除了用戶(hù)在瀏覽器上可以看到的可見(jiàn)文字外，還包含了大量的HTML格式標簽、 JavaScript程序等無(wú)法用于排名的內容。搜索引擎預處理首先要做的就是從HTML文件中去除標簽、程序，提取出可以用于排名處理的網(wǎng)頁(yè)面文字內 容。

　　今天愚人節哈

　　除去HTML代碼后，剩下的用于排名的文字只是這一行：

　　今天愚人節哈

　　除了可見(jiàn)文字，搜索引擎也會(huì )提取出一些特殊的包含文字信息的代碼，如Meta標簽中的文字、圖片替代文字、Flash文件的替代文字、鏈接錨文字等。

　　2.中文分詞

　　分詞是中文搜索引擎特有的步驟。搜索引擎存儲和處理頁(yè)面及用戶(hù)搜索都是以詞為基礎的。英文等語(yǔ)言單詞與單詞之間有空格分隔，搜索引擎索引程序可以直接把句子 劃分為單詞的集合。而中文詞與詞之間沒(méi)有任何分隔符，一個(gè)句子中的所有字和詞都是連在一起的。搜索引擎必須首先分辨哪幾個(gè)字組成一個(gè)詞，哪些字本身就是一 個(gè)詞。比如“減肥方法”將被分詞為“減肥”和“方法”兩個(gè)詞。

　　中文分詞方法基本上有兩種，一種是基于詞典匹配，另一種是基于統計。

　　基于詞典匹配的方法是指，將待分析的一段漢字與一個(gè)事先造好的詞典中的詞條進(jìn)行匹配，在待分析漢字串中掃描到詞典中已有的詞條則匹配成功，或者說(shuō)切分出一個(gè)單詞。

　　按照掃描方向，基于詞典的匹配法可以分為正向匹配和逆向匹配。按照匹配長(cháng)度優(yōu)先級的不同，又可以分為最大匹配和最小匹配。將掃描方向和長(cháng)度優(yōu)先混合，又可以產(chǎn)生正向最大匹配、逆向最大匹配等不同方法。西安做網(wǎng)站推薦閱讀>>> 造成Baiduspider抓取異常的原因,

　　詞典匹配方法計算簡(jiǎn)單，其準確度在很大程度上取決于詞典的完整性和更新情況。

　　基于統計的分詞方法指的是分析大量文字樣本，計算出字與字相鄰出現的統計概率，幾個(gè)字相鄰出現越多，就越可能形成一個(gè)單詞?；诮y計的方法的優(yōu)勢是對新出現的詞反應更快速，也有利于消除歧義。

　　基于詞典匹配和基于統計的分詞方法各有優(yōu)劣，實(shí)際使用中的分詞系統都是混合使用兩種方法的，快速高效，又能識別生詞、新詞，消除歧義。

　　中文分詞的準確性往往影響搜索引擎排名的相關(guān)性。比如在百度搜索“搜索引擎優(yōu)化”，從快照中可以看到，百度把“搜索引擎優(yōu)化”這六個(gè)字當成一個(gè)詞。

　　而在Google搜索同樣的詞，快照顯示Google將其分切為“搜索引擎”和“優(yōu)化”兩個(gè)詞。顯然百度切分得更為合理，搜索引擎優(yōu)化是一個(gè)完整的概念。Google分詞時(shí)傾向于更為細碎。西安做網(wǎng)站推薦閱讀>>> 搜索引擎原理簡(jiǎn)單分析帶圖,

　　這種分詞上的不同很可能是一些關(guān)鍵詞排名在不同搜索引擎有不同表現的原因之一。比如百度更喜歡將搜索詞完整匹配地出現在頁(yè)面上，也就是說(shuō)搜索“夠戲博客” 時(shí)，這四個(gè)字連續完整出現更容易在百度獲得好的排名。Google就與此不同，不太要求完整匹配。一些頁(yè)面出現“夠戲”和“博客”兩個(gè)詞，但不必完整匹配 地出現，“夠戲”出現在前面，“博客”出現在頁(yè)面的其他地方，這樣的頁(yè)面在Google搜索“夠戲博客”時(shí)，也可以獲得不錯的排名。

　　搜索引擎對頁(yè)面的分詞取決于詞庫的規模、準確性和分詞算法的好壞，而不是取決于頁(yè)面本身如何，所以SEO人員對分詞所能做的很少。唯一能做的是在頁(yè)面上用某種形 式提示搜索引擎，某幾個(gè)字應該被當做一個(gè)詞處理，尤其是可能產(chǎn)生歧義的時(shí)候，比如在頁(yè)面標題、h1標簽及黑體中出現關(guān)鍵詞。如果頁(yè)面是關(guān)于“和服”的內 容，那么可以把“和服”這兩個(gè)字特意標為黑體。如果頁(yè)面是關(guān)于“化妝和服裝”，可以把“服裝”兩個(gè)字標為黑體。這樣，搜索引擎對頁(yè)面進(jìn)行分析時(shí)就知道標為 黑體的應該是一個(gè)詞。

　　3.去停止詞

　　無(wú)論是英文還是中文，頁(yè)面內容中都會(huì )有一些出現頻率很 高，卻對內容沒(méi)有任何影響的詞，如“的”、“地”、“得”之類(lèi)的助詞，“啊”、“哈”、“呀”之類(lèi)的感嘆詞，“從而”、“以”、“卻”之類(lèi)的副詞或介詞。 這些詞被稱(chēng)為停止詞，因為它們對頁(yè)面的主要意思沒(méi)什么影響。英文中的常見(jiàn)停止詞有the，a，an，to，of等。

　　搜索引擎在索引頁(yè)面之前會(huì )去掉這些停止詞，使索引數據主題更為突出，減少無(wú)謂的計算量。

　　4.消除噪聲

　　絕 大部分頁(yè)面上還有一部分內容對頁(yè)面主題也沒(méi)有什么貢獻，比如版權聲明文字、導航條、廣告等。以常見(jiàn)的博客導航為例，幾乎每個(gè)博客頁(yè)面上都會(huì )出現文章分類(lèi)、 歷史存檔等導航內容，但是這些頁(yè)面本身與“分類(lèi)”、“歷史”這些詞都沒(méi)有任何關(guān)系。用戶(hù)搜索“歷史”、“分類(lèi)”這些關(guān)鍵詞時(shí)僅僅因為頁(yè)面上有這些詞出現而 返回博客帖子是毫無(wú)意義的，完全不相關(guān)。所以這些區塊都屬于噪聲，對頁(yè)面主題只能起到分散作用。

　　搜索引擎需要識別并消除這些噪聲，排名時(shí)不使用噪聲內容。消噪的基本方法是根據HTML標簽對頁(yè)面分塊，區分出頁(yè)頭、導航、正文、頁(yè)腳、廣告等區域，在網(wǎng)站上大量重復出現的區塊往往屬于噪聲。對頁(yè)面進(jìn)行消噪后，剩下的才是頁(yè)面主體內容。

　　5.去重

　　搜索引擎還需要對頁(yè)面進(jìn)行去重處理。

　　同 一篇文章經(jīng)常會(huì )重復出現在不同網(wǎng)站及同一個(gè)網(wǎng)站的不同網(wǎng)址上，搜索引擎并不喜歡這種重復性的內容。用戶(hù)搜索時(shí)，如果在前兩頁(yè)看到的都是來(lái)自不同網(wǎng)站的同一 篇文章，用戶(hù)體驗就太差了，雖然都是內容相關(guān)的。搜索引擎希望只返回相同文章中的一篇，所以在進(jìn)行索引前還需要識別和刪除重復內容，這個(gè)過(guò)程就稱(chēng)為“去 重”。

　　去重的基本方法是對頁(yè)面特征關(guān)鍵詞計算指紋，也就是說(shuō)從頁(yè)面主體內容中選取最有代表性的一部分關(guān)鍵詞(經(jīng)常是出現頻率最高的關(guān)鍵 詞)，然后計算這些關(guān)鍵詞的數字指紋。這里的關(guān)鍵詞選取是在分詞、去停止詞、消噪之后。實(shí)驗表明，通常選取10個(gè)特征關(guān)鍵詞就可以達到比較高的計算準確 性，再選取更多詞對去重準確性提高的貢獻也就不大了。

　　典型的指紋計算方法如MD5算法(信息摘要算法第五版)。這類(lèi)指紋算法的特點(diǎn)是，輸入(特征關(guān)鍵詞)有任何微小的變化，都會(huì )導致計算出的指紋有很大差距。

　　了 解了搜索引擎的去重算法，SEO人員就應該知道簡(jiǎn)單地增加“的”、“地”、“得”、調換段落順序這種所謂偽原創(chuàng )，并不能逃過(guò)搜索引擎的去重算法，因為這樣 的操作無(wú)法改變文章的特征關(guān)鍵詞。而且搜索引擎的去重算法很可能不止于頁(yè)面級別，而是進(jìn)行到段落級別，混合不同文章、交叉調換段落順序也不能使轉載和抄襲 變成原創(chuàng )。

　　6.正向索引

　　正向索引也可以簡(jiǎn)稱(chēng)為索引。

　　經(jīng)過(guò)文字提取、分詞、 消噪、去重后，搜索引擎得到的就是獨特的、能反映頁(yè)面主體內容的、以詞為單位的內容。接下來(lái)搜索引擎索引程序就可以提取關(guān)鍵詞，按照分詞程序劃分好的詞， 把頁(yè)面轉換為一個(gè)關(guān)鍵詞組成的集合，同時(shí)記錄每一個(gè)關(guān)鍵詞在頁(yè)面上的出現頻率、出現次數、格式(如出現在標題標簽、黑體、H標簽、錨文字等)、位置(如頁(yè) 面第一段文字等)。這樣，每一個(gè)頁(yè)面都可以記錄為一串關(guān)鍵詞集合，其中每個(gè)關(guān)鍵詞的詞頻、格式、位置等權重信息也都記錄在案。

　　搜索引擎索引程序將頁(yè)面及關(guān)鍵詞形成詞表結構存儲進(jìn)索引庫。簡(jiǎn)化的索引詞表形式如表2-1所示。

　　每個(gè)文件都對應一個(gè)文件ID，文件內容被表示為一串關(guān)鍵詞的集合。實(shí)際上在搜索引擎索引庫中，關(guān)鍵詞也已經(jīng)轉換為關(guān)鍵詞ID.這樣的數據結構就稱(chēng)為正向索引。

　　7.倒排索引

　　正向索引還不能直接用于排名。假設用戶(hù)搜索關(guān)鍵詞2，如果只存在正向索引，排名程序需要掃描所有索引庫中的文件，找出包含關(guān)鍵詞2的文件，再進(jìn)行相關(guān)性計算。這樣的計算量無(wú)法滿(mǎn)足實(shí)時(shí)返回排名結果的要求。

　　所以搜索引擎會(huì )將正向索引數據庫重新構造為倒排索引，把文件對應到關(guān)鍵詞的映射轉換為關(guān)鍵詞到文件的映射，如表2-2所示。

　　在倒排索引中關(guān)鍵詞是主鍵，每個(gè)關(guān)鍵詞都對應著(zhù)一系列文件，這些文件中都出現了這個(gè)關(guān)鍵詞。這樣當用戶(hù)搜索某個(gè)關(guān)鍵詞時(shí)，排序程序在倒排索引中定位到這個(gè)關(guān)鍵詞，就可以馬上找出所有包含這個(gè)關(guān)鍵詞的文件。

　　8.鏈接關(guān)系計算

　　鏈接關(guān)系計算也是預處理中很重要的一部分?，F在所有的主流搜索引擎排名因素中都包含網(wǎng)頁(yè)之間的鏈接流動(dòng)信息。搜索引擎在抓取頁(yè)面內容后，必須事前計算出：頁(yè) 面上有哪些鏈接指向哪些其他頁(yè)面，每個(gè)頁(yè)面有哪些導入鏈接，鏈接使用了什么錨文字，這些復雜的鏈接指向關(guān)系形成了網(wǎng)站和頁(yè)面的鏈接權重。

　　Google PR值就是這種鏈接關(guān)系的最主要體現之一。其他搜索引擎也都進(jìn)行類(lèi)似計算，雖然它們并不稱(chēng)為PR.

　　由于頁(yè)面和鏈接數量巨大，網(wǎng)上的鏈接關(guān)系又時(shí)時(shí)處在更新中，因此鏈接關(guān)系及PR的計算要耗費很長(cháng)時(shí)間。關(guān)于PR和鏈接分析，后面還有專(zhuān)門(mén)的章節介紹。西安網(wǎng)站建設推薦閱讀>>> 搜索引擎實(shí)現對頁(yè)面的索引與排名原理,

　　9.特殊文件處理

　　除 了HTML文件外，搜索引擎通常還能抓取和索引以文字為基礎的多種文件類(lèi)型，如PDF、Word、WPS、XLS、PPT、TXT文件等。我們在搜索結果 中也經(jīng)常會(huì )看到這些文件類(lèi)型。但目前的搜索引擎還不能處理圖片、視頻、Flash這類(lèi)非文字內容，也不能執行腳本和程序。

　　雖然搜索引擎在識別圖片及從Flash中提取文字內容方面有些進(jìn)步，不過(guò)距離直接靠讀取圖片、視頻、Flash內容返回結果的目標還很遠。對圖片、視頻內容的排名還往往是依據與之相關(guān)的文字內容，詳細情況可以參考后面的整合搜索部分。

　　排名

　　經(jīng)過(guò)搜索引擎蜘蛛抓取的界面，搜索引擎程序 計算得到倒排索引后，收索引擎就準備好可以隨時(shí)處理用戶(hù)搜索了。用戶(hù)在搜索框填入關(guān)鍵字后，排名程序調用索引庫數據，計算排名顯示給客戶(hù)，排名過(guò)程是與客戶(hù)直接互動(dòng)的。

　　作者：佚名