|
|
|
我们遇到的（de）最常见的问题之一是（shì）“Google是如何判定哪个（gè）结果（guǒ）出（chū）现（xiàn）在搜索结果的前茅？”，Matt Cutts给我们简单地揭示（shì）了如何（hé）抓取、收录和给网页评级。
抓取和收录（lù）
当（dāng）你（nǐ）看到出（chū）现在Google的搜（sōu）索结果的（de）那个（gè）网页之前，Google在后台已经做了许多步骤。Google的第一步是（shì）抓（zhuā）取和收录互（hù）联网上的数十（shí）亿的网页，这个工作（zuò）时由Google的机器人Googlebot来（lái）完成的，它浏览网络服务器抓取文件。 抓取的程序并不是漫无目的地在互联网（wǎng）上瞎（xiā）逛，它访问服务器（qì）的特（tè）定的网页，然后扫描（miáo）网页上的（de）超文本链接，如果有新的（de）文件也是这样抓取得；蜘蛛程序给每（měi）个得到的网页一个号码，这个号码指（zhǐ）向它抓取的网页（yè）。
蜘蛛程序抓取了很多的（de）网（wǎng）页（yè），但这些网页还不是便于搜索的（de）。如果（guǒ）没有一个索（suǒ）引，你要查询一个词（cí），比如“国内战争”，Google的服务器每（měi）次都要读取每一个文件的所（suǒ）有内容。
因此（cǐ），第二步（bù）就是建立索引。我们不是去（qù）扫（sǎo）描每一（yī）个文件的所有内容，我们巧妙（miào）地进行数据的“转换”，列出每（měi）一（yī）个文件所包含的特定的词，例如，“国内”这个（gè）词可能出现在（zài）文（wén）件3，8，22，56，68和92当中，而“战争（zhēng）”这个词（cí）出现在文件（jiàn）2，8，15，22，68和77中。
建立好索引（yǐn）之后，我们就可以开始（shǐ）对网（wǎng）页进行评级（jí），决定（dìng）网页的相关程度。假（jiǎ）设有人在（zài）Google的搜索栏输（shū）入“国内战争”进行查询，为了提交搜索结（jié）果（guǒ）和对结果进行（háng）评分，我们（men）要做两件事（shì）：
1. 找到（dào）包含用户查询的（de）词的网页
2. 给符合的（de）网页（yè）按（àn）照相关程（chéng）度进（jìn）行（háng）评级
Google开发出一个有趣的技巧来加速（sù）第一步：Google不是（shì）把整个（gè）索引（yǐn）存储（chǔ）在一台功能强大的计（jì）算（suàn）机上，而（ér）是用千百（bǎi）个计算机来存储这些信息。因为任务被分（fèn）解到（dào）许多的（de）计算（suàn）机（jī），可以更（gèng）快地找到所需的答案。 详（xiáng）细解释一下，假设（shè）一本书的（de）目录有30页（yè），如果一个人要在目录中（zhōng）查寻资料（liào），每（měi）次（cì）查询（xún）都要花几（jǐ）秒钟；如（rú）果用30个人每人查（chá）询一页目录，显然要比（bǐ）一个人查询的速度快很多。同样的，Google将（jiāng）数据（jù）分别存储在许（xǔ）多计算机上，这（zhè）样搜（sōu）索的速度会大大加（jiā）快（kuài）。
我们是如何找到那些包（bāo）含（hán）用户搜索的词的（de）网页呢？回到“国内战争（zhēng）”的例子，“国（guó）内”这个词出现在文（wén）件3，8， 22， 56， 68 和92; “战争”出现在文件2， 8， 15， 22， 68和77，记下（xià）同时出现这（zhè）两个词的文件。
国内 3 8 22 56 68 92
战争 2 8 15 22 68 77
国内 战争 8 22 68
这样（yàng）我们可（kě）以清楚地发现“国内”、“战争”这两个词（cí）同时出（chū）现（xiàn）的在（zài）三个（gè）文件里 (8, 22, 和68)。 含有这几个字的列表叫做“位置列表”，搜索文件包（bāo）含这两个（gè）字，这叫做（zuò）交叉搜（sōu）索位置列表。（较（jiào）快的交叉搜索的方法是同（tóng）时进行搜索，如果一个搜索列表,22到68，那另一个就可以开始搜（sōu）索其他（tā）的（de））
对结果进（jìn）行评（píng）级
现在我们已经有了一些包含用户（hù）搜索的（de）关键词（cí）的网（wǎng）页，我们要对它（tā）们的相关程（chéng）度进行评级。Google用许多参数进（jìn）行评（píng）级。这当中PR算法是众（zhòng）所周知的（de）。PageRank评（píng）估两个因素：有多少个（gè）网（wǎng）页链接到这个网页，这些链接（jiē）网页的（de）网站（zhàn）的质量如何。通过PageRank，五（wǔ）六个高质量（liàng）的站（zhàn）点（diǎn）的链接，比（bǐ）如www.cnn.com和www.nytimes.com比其他较差的网站的链接要有价（jià）值的（de）多。
但是除了PageRank，我（wǒ）们还用许（xǔ）多其它的参数来进（jìn）行评级。例如，如果一个文件包含“国（guó）内”和“战争”这两个词（cí）排在一起，这个文件可能比一个讨（tǎo）论革命（mìng）战（zhàn）争（zhēng）的文件（在（zài）文（wén）件的某个地方（fāng）使（shǐ）用“国内”）的相关（guān）程度高。还（hái）比如假设一（yī）个网页（yè）的标题是“国（guó）内战争”，比另一个（gè）标题（tí）为“19世（shì）纪（jì）美国服装”的网（wǎng）页相关度高得多。同样的，如果“国内战争”在网页中出现多（duō）次的网页比只出现一个的网页（yè）相关的程度也（yě）要高。假（jiǎ）设（shè）你是搜索引擎，选择一个词查询（xún），比如（rú）：国内（nèi）战争或回收，在Google上查询，从结果中挑选三（sān）到四页（yè）打（dǎ）印出来。从每一张打印的页面上找出你的搜索（suǒ）语句的每一个（gè）字然后用（yòng）荧（yíng）光笔标出来，然后把这（zhè）几页（yè）贴（tiē）在墙（qiáng）上（shàng），退后几步眯着（zhe）眼（yǎn）看，当你不知道页（yè）面（miàn）的内（nèi）容，仅仅能看到那些有颜色的（de）方块，你（nǐ）认为那一页是最相关的呢？是不是有（yǒu）着大的（de）标题和多次重复出现的颜色代表了（le）较（jiào）高的相（xiàng）关（guān）程度？你喜欢这些字出现在顶端还是底部（bù）？这些字出现的频率如何？这也是搜索引擎如何（hé）判（pàn）断（duàn）网（wǎng）页的相关程度。
原则（zé）上，Google总是试图找（zhǎo）出可靠（kào）的和相（xiàng）关的网（wǎng）页。如果两个网（wǎng）页按照查询的语句大（dà）致有相同的（de）信息，Google通常选择比较（jiào）信（xìn）得过（guò）的网（wǎng）站的网（wǎng）页。当（dāng）然，如果有一些因素表明这个网站的网页相关（guān）度更高，Google经常也选择PageRank较低的网站。
一旦（dàn）Google完成了文件的列表和（hé）它们的评分，就给（gěi）出（chū）得分最（zuì）高的网页（yè）。Google同时从网（wǎng）页中摘录一小段包含查询的关键词（cí）的（de）句子；给（gěi）出网页（yè）的链（liàn）接。
对（duì）于（yú）这样（yàng）的搜索工作，需要（yào）极大的数据运算量（liàng），一般（bān）说来，对于某个搜索，要有超过（guò）500台的（de）服务器（qì）协同工作以求得最佳匹配的（de）结果（guǒ），当然，结果会（huì）在半秒（miǎo）内返回用户。 |
|
