搜索引擎简史

随着互联网的发现，搜索引擎的出现是必然的。就像大学的图书馆一样，收藏的图书太多了，就容易找不到，为了更方便的寻找，就必须要进行检索和搜索。然而，实际上，搜索引擎原理很多程度上依赖了传统文件检索技术。

搜索引擎发展史1990年以前，没有任何人能搜索互联网。

1）Archie-提供在FTP上搜索文件

所有搜索引擎的祖先，是1990年由Montreal的McGill University学生Alan Emtage、Peter Deutsch、Bill Wheelan发明的Archie(Archie FAQ)。虽然当时World Wide Web还未出现，但网络中文件传输还是相当频繁的，由于大量的文件散布在各个分散的FTP主机中，查询起来非常不便，因此Alan Emtage等想到了开发一个可以用文件名查找文件的系统，于是便有了Archie。Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件。

2）搜索工具Veronica

由于Archie深受欢迎，受其启发，Nevada System Computing Services大学于1993年开发了一个Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）。Jughead是后来另一个Gopher搜索工具。

3）世界上第一个Spider程序

Robot（机器人）一词对编程者有特殊的意义。Computer Robot是指某个能以人类无法达到的速度不断重复执行某项任务的自动程序。由于专门用于检索信息的Robot程序象蜘蛛(spider)一样在网络间爬来爬去，因此，搜索引擎的Robot程序被称为spider(Spider FAQ)程序。世界上第一个Spider程序，是MIT Matthew Gray的World wide Web Wanderer，用于追踪互联网发展规模。刚开始它只用来统计互联网上的服务器数量，后来则发展为也能够捕获网址（URL）。

4）ALIWEB开放目录

与Wanderer相对应，1993年10月Martijn Koster创建了ALIWEB（Martijn Koster Annouces the Availability of Aliweb），它相当于Archie的HTTP版本。ALIWEB不使用网络搜寻Robot，如果网站主管们希望自己的网页被ALIWEB收录，需要自己提交每一个网页的简介索引信息，类似于后来大家熟知的Yahoo。

5）RBSE是第一个索引Html文件正文的搜索引擎

随着互联网的迅速发展，使得检索所有新出现的网页变得越来越困难，因此，在Wanderer基础上，一些编程者将传统的Spider程序工作原理作了些改进。其设想是，既然所有网页都可能有连向其他网站的链接，那么从一个网站开始，跟踪所有网页上的所有链接，就有可能检索整个互联网。到1993年底，一些基于此原理的搜索引擎开始纷纷涌现，其中最负盛名的三个是：Scotland的JumpStation、Colorado 大学Oliver McBryan的The World Wide Web Worm（First Mention of McBryan’s World Wide Web Worm）、NASA的Repository-Based Software Engineering (RBSE) spider。JumpStation和WWW Worm只是以搜索工具在数据库中找到匹配信息的先后次序排列搜索结果，因此毫无信息关联度可言。而RBSE是第一个索引Html文件正文的搜索引擎，也是第一个在搜索结果排列中引入关键字串匹配程度概念的引擎。

6）Excite对互联网大量信息作检索

Excite 的历史可以上溯到1993年2月，6个Stanford（斯坦福）大学生的想法是分析字词关系，以对互联网上的大量信息作更有效的检索。到1993年中，这已是一个完全投资项目Architext，他们还发布了一个供webmasters在自己网站上使用的搜索软件版本，后来被叫做Excite for Web Servers。（注：Excite后来曾以概念搜索闻名，2002年5月，被Infospace收购的Excite停止自己的搜索引擎，改用元搜索引擎Dogpile）

1994年1月，第一个既可搜索又可浏览的分类目录EINet Galaxy（Tradewave Galaxy）上线。除了网站搜索，它还支持Gopher和Telnet搜索。

7）Yahoo!目录

1994年4月，Stanford University的两名博士生，美籍华人Jerry Yang（杨致远）和David Filo共同创办了Yahoo（Jerry Yang Alerts a Usenet group to the Yahoo Database ，1996年的Yahoo）。随着访问量和收录链接数的增长，Yahoo目录开始支持简单的数据库搜索。因为Yahoo!的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。Wanderer只抓取URL，但URL信息含量太小，很多信息难以单靠URL说清楚，搜索效率很低。Yahoo!中收录的网站，因为都附有简介信息，所以搜索效率明显提高。（注：Yahoo以后陆续使用Altavista、Inktomi、Google提供搜索引擎服务）。

8）互联网上第一个支持搜索文件全部文字的全文搜索引擎WebCrawler

1994年初，Washington大学CS学生Brian Pinkerton开始了他的小项目WebCrawler（Brian Pinkerton Announces the