客服
百度站長(cháng)平臺lee官方版：搜索引擎索引系統概述（一）
眾所周知，搜索引擎的主要工作過(guò)程包括：抓取、存儲、頁(yè)面分析、索引、檢索等幾個(gè)主要過(guò)程。過(guò)去幾周給大家介紹了抓取相關(guān)的簡(jiǎn)要過(guò)程。今天簡(jiǎn)要介紹一下索引系統，以?xún)|為單位的網(wǎng)頁(yè)庫中查找特定的某些關(guān)鍵詞猶如大海里面撈針，也許一定的時(shí)間內可以完成查找，但是用戶(hù)等不起，從用戶(hù)體驗角度我們必須在毫秒級別給予用戶(hù)滿(mǎn)意的結果，否則用戶(hù)只能流失。怎樣才能達到這種要求呢？西安網(wǎng)站建設推薦閱讀>>> 搜索引擎原理簡(jiǎn)單分析帶圖,
如果能知道用戶(hù)查找的關(guān)鍵詞（query切詞后）都出現在哪些頁(yè)面中，那么用戶(hù)檢索的處理過(guò)程即可以想象為包含了query中切詞后不同部分的頁(yè)面集合求交的過(guò)程，而檢索即變成了頁(yè)面名稱(chēng)之間的比較、求交。這樣，在毫秒內以?xún)|為單位的檢索成為了可能。這就是通常所說(shuō)的倒排索引及求交檢索的過(guò)程。如下為建立倒排索引的基本過(guò)程：
?。?）頁(yè)面分析的過(guò)程實(shí)際上是將原始頁(yè)面的不同部分進(jìn)行識別并標記，例如：title、keywords、content、link、anchor、評論、其他非重要區域等等；
?。?）分詞的過(guò)程實(shí)際上包括了切詞分詞同義詞轉換同義詞替換等等，以對某頁(yè)面title分詞為例，得到的將是這樣的數據：term文本、termid、詞類(lèi)、詞性等等；西安做網(wǎng)站推薦閱讀>>> 搜索引擎抓取系統概述,
?。?）之前的準備工作完成后，接下來(lái)即是建立倒排索引，形成{termàdoc}，可以粗略的理解為如下，為什么是【term->doc】,而不是直接應用【doc->term】呢？
上述即是索引系統中的倒排索引過(guò)程，是搜索引擎實(shí)現毫秒級檢索非常重要的一個(gè)環(huán)節。西安做網(wǎng)站推薦閱讀>>> Baiduspider抓取過(guò)程中的策略,
相關(guān)文章：
-
搜索引擎的工作的過(guò)程非常復雜，而簡(jiǎn)單的講搜索引擎的工作過(guò)程大體可以分成三個(gè)階段。 爬行和抓?。核阉饕嬷┲胪ㄟ^(guò)跟蹤鏈接訪(fǎng)問(wèn)頁(yè)面，獲取頁(yè)面HTML代碼存入數據庫。 預處理：搜索贏(yíng)...
-
搜索引擎，通常指的是收集了因特網(wǎng)上幾千萬(wàn)到幾十億個(gè)網(wǎng)頁(yè)并對網(wǎng)頁(yè)中的每一個(gè)詞（即關(guān)鍵詞）進(jìn)行索引，建立索引數據庫的全文搜索引擎。當用戶(hù)查找某個(gè)關(guān)鍵詞的時(shí)候，所有在頁(yè)面內容...
-
從輸入關(guān)鍵詞，到百度給出搜索結果的過(guò)程，往往僅需幾毫秒即可完成。百度是如何在浩如煙海的互聯(lián)網(wǎng)資源中，以如此之快的速度將您的網(wǎng)站內容展現給用戶(hù)？這背后蘊藏著(zhù)什么樣的工作流...
-
百度站長(cháng)平臺Lee發(fā)布文章介紹了搜索引擎索引系統的大概工作流程。主要包括：Query串切詞分詞，查出含每個(gè)term的文檔集合，求交，網(wǎng)站過(guò)濾，按需進(jìn)行最終排序。,西安網(wǎng)站建設推薦閱讀 百度...
-
先上圖來(lái)簡(jiǎn)單看下搜索引擎的三板斧：數據搜集預處理【索引】排名。 數據搜集 即數據的搜集階段，將網(wǎng)頁(yè)從浩如瀚海的互聯(lián)網(wǎng)世界搜集到自己的數據庫中進(jìn)行存儲。 1、抓取維護策略 面對大...
-
站長(cháng)朋友們，今后定期都將在這里跟大家分享一些有關(guān)搜索引擎工作原理及網(wǎng)站運營(yíng)相關(guān)的內容，今天先簡(jiǎn)單介紹一下關(guān)于搜索引擎抓取系統中有關(guān)抓取系統基本框架、抓取中涉及的網(wǎng)絡(luò )協(xié)議...
-
spider在抓取過(guò)程中面對著(zhù)復雜的網(wǎng)絡(luò )環(huán)境，為了使系統可以抓取到盡可能多的有價(jià)值資源并保持系統及實(shí)際環(huán)境中頁(yè)面的一致性同時(shí)不給網(wǎng)站體驗造成壓力，會(huì )設計多種復雜的抓取策略。以下...
-
從輸入關(guān)鍵詞，到百度給出搜索結果的過(guò)程，往往僅需幾毫秒即可完成。百度是如何在浩如煙海的互聯(lián)網(wǎng)資源中，以如此之快的速度將您的網(wǎng)站內容展現給用戶(hù)？這背后蘊藏著(zhù)什么樣的工作流...
- 上一篇：搜索引擎原理簡(jiǎn)單分析帶圖
- 下一篇：搜索引擎檢索系統概述