客服
搜索引擎檢索系統概述
百度站長(cháng)平臺Lee發(fā)布文章介紹了搜索引擎索引系統的大概工作流程。主要包括：Query串切詞分詞，查出含每個(gè)term的文檔集合，求交，網(wǎng)站過(guò)濾，按需進(jìn)行最終排序。,西安網(wǎng)站建設推薦閱讀>>> 百度站長(cháng)平臺lee官方版：搜索引擎索引系統概述（一）,
以下為文章全文：
前面簡(jiǎn)要介紹過(guò)了搜索引擎的索引系統，實(shí)際上在建立倒排索引的最后還需要有一個(gè)入庫寫(xiě)庫的過(guò)程，而為了提高效率這個(gè)過(guò)程還需要將全部term以及偏移量保存在文件頭部，并且對數據進(jìn)行壓縮，這涉及到的過(guò)于技術(shù)化在此就不多提了。今天簡(jiǎn)要給大家介紹一下索引之后的檢索系統。
檢索系統主要包含了五個(gè)部分，如下圖所示：
?。?）Query串切詞分詞即將用戶(hù)的查詢(xún)詞進(jìn)行分詞，對之后的查詢(xún)做準備，以“10號線(xiàn)地鐵故障”為例，可能的分詞如下（同義詞問(wèn)題暫時(shí)略過(guò)）：
10 0x123abc
號 0x13445d
線(xiàn) 0x234d
地鐵 0x145cf
故障 0x354df
?。?）查出含每個(gè)term的文檔集合，即找出待選集合，如下：
0x123abc 1 2 3 4 7 9…..
0x13445d 2 5 8 9 10 11……
……
……
?。?）求交，上述求交，文檔2和文檔9可能是我們需要找的，整個(gè)求交過(guò)程實(shí)際上關(guān)系著(zhù)整個(gè)系統的性能，這里面包含了使用緩存等等手段進(jìn)行性能優(yōu)化；,西安做網(wǎng)站推薦閱讀>>> 搜索引擎原理簡(jiǎn)單分析帶圖,
?。?）各種過(guò)濾，舉例可能包含過(guò)濾掉死鏈、重復數據、色情、垃圾結果以及你懂的；
?。?）最終排序，將最能滿(mǎn)足用戶(hù)需求的結果排序在最前，可能包括的有用信息如：網(wǎng)站的整體評價(jià)、網(wǎng)頁(yè)質(zhì)量、內容質(zhì)量、資源質(zhì)量、匹配程度、分散度、時(shí)效性等等，之后會(huì )詳細給大家介紹。,西安做網(wǎng)站推薦閱讀>>> Baiduspider抓取過(guò)程中的策略,
相關(guān)文章：
-
搜索引擎的工作的過(guò)程非常復雜，而簡(jiǎn)單的講搜索引擎的工作過(guò)程大體可以分成三個(gè)階段。 爬行和抓?。核阉饕嬷┲胪ㄟ^(guò)跟蹤鏈接訪(fǎng)問(wèn)頁(yè)面，獲取頁(yè)面HTML代碼存入數據庫。 預處理：搜索贏(yíng)...
-
搜索引擎，通常指的是收集了因特網(wǎng)上幾千萬(wàn)到幾十億個(gè)網(wǎng)頁(yè)并對網(wǎng)頁(yè)中的每一個(gè)詞（即關(guān)鍵詞）進(jìn)行索引，建立索引數據庫的全文搜索引擎。當用戶(hù)查找某個(gè)關(guān)鍵詞的時(shí)候，所有在頁(yè)面內容...
-
從輸入關(guān)鍵詞，到百度給出搜索結果的過(guò)程，往往僅需幾毫秒即可完成。百度是如何在浩如煙海的互聯(lián)網(wǎng)資源中，以如此之快的速度將您的網(wǎng)站內容展現給用戶(hù)？這背后蘊藏著(zhù)什么樣的工作流...
-
眾所周知，搜索引擎的主要工作過(guò)程包括：抓取、存儲、頁(yè)面分析、索引、檢索等幾個(gè)主要過(guò)程。過(guò)去幾周給大家介紹了抓取相關(guān)的簡(jiǎn)要過(guò)程。今天簡(jiǎn)要介紹一下索引系統，以?xún)|為單位的網(wǎng)頁(yè)...
-
先上圖來(lái)簡(jiǎn)單看下搜索引擎的三板斧：數據搜集預處理【索引】排名。 數據搜集 即數據的搜集階段，將網(wǎng)頁(yè)從浩如瀚海的互聯(lián)網(wǎng)世界搜集到自己的數據庫中進(jìn)行存儲。 1、抓取維護策略 面對大...
-
站長(cháng)朋友們，今后定期都將在這里跟大家分享一些有關(guān)搜索引擎工作原理及網(wǎng)站運營(yíng)相關(guān)的內容，今天先簡(jiǎn)單介紹一下關(guān)于搜索引擎抓取系統中有關(guān)抓取系統基本框架、抓取中涉及的網(wǎng)絡(luò )協(xié)議...
-
spider在抓取過(guò)程中面對著(zhù)復雜的網(wǎng)絡(luò )環(huán)境，為了使系統可以抓取到盡可能多的有價(jià)值資源并保持系統及實(shí)際環(huán)境中頁(yè)面的一致性同時(shí)不給網(wǎng)站體驗造成壓力，會(huì )設計多種復雜的抓取策略。以下...
-
從輸入關(guān)鍵詞，到百度給出搜索結果的過(guò)程，往往僅需幾毫秒即可完成。百度是如何在浩如煙海的互聯(lián)網(wǎng)資源中，以如此之快的速度將您的網(wǎng)站內容展現給用戶(hù)？這背后蘊藏著(zhù)什么樣的工作流...