0引言
随着计算机网络技术的飞速发展,人们要在互联网的海量信息中查找自己所需的信息,就要使用搜索引擎,搜索引擎已经成为人们获取信息的重要手段。 搜索引擎从广义的角度来讲,是指互联网上提供用户检索接口并且具有检索功能的网站,它能帮助人们在互联网中查找到所需要的信息;从狭义的角度来讲,搜索引擎是指根据某种策略、运用特定的计算机程序从网络上搜集要查找的信息, 对信息进行组织和处理后,为用户提供检索服务,将用户检索的相关信息展现给用户的系统。
1搜索引擎的发展历程
搜索引擎是伴随互联网的发展而产生和发展的,互联网已成为人们学习、工作和生活中不可缺少的平台,几乎每个人上网都会使用搜索引擎。 搜索引擎大致经历了四代的发展。
1.1 第一代搜索引擎
1994 年第一代真正基于互联网的搜索引擎 Lycos 诞生,它以人工分类目录为主,代表厂商是 Yahoo,特点是人工分类存放网站的各种目录,用户通过多种方式寻找网站,现在也还有这种方式存在。
1.2 第二代搜索引擎
随着网络应用技术的发展,用户开始希望对内容进行查找,出现了第二代搜索引擎,也就是利用关键字来查询。最具代表性、最成功的是 Google,它建立在网页链接分析技术的基础上,使用关键字对网页搜索,能够覆盖互联网的大量网页内容,该技术可以分析网页的重要性后,将重要的结果呈现给用户。
1.3 第三代搜索引擎
随着网络信息的迅速膨胀,用户希望能快速并且准确的查找到自己所要的信息,因此出现了第三代搜索引擎。相比前两代,第三代搜索引擎更加注重个性化、专业化、智能化,使用自动聚类、分类等人工智能技术,采用区域智能识别及内容分析技术,利用人工介入,实现技术和人工的完美结合,增强了搜索引擎的查询能力。 第三代搜索引擎的代表是 Google,它以宽广的信息覆盖率和优秀的搜索性能为发展搜索引擎的技术开创了崭新的局面。
1.4 第四代搜索引擎
随着信息多元化的快速发展,通用搜索引擎在目前的硬件条件下要得到互联网上比较全面的信息是不太可能的,这时,用户就需要数据全面、更新及时、分类细致的面向主题搜索引擎,这种搜索引擎采用特征提取和文本智能化等策略, 相比前三代搜索引擎更准确有效,被称为第四代搜索引擎[1].
2搜索引擎的分类
搜索引擎按工作方式分为三类:目录索引类搜索引擎、全文搜索引擎和元搜索引擎[2].
2.1 目录索引类搜索引擎
目录索引类搜索引擎的数据库是人工建立的,工作人员访问过某个 web 网站后依据自定的一套评判准则对这个网站进行描述,并根据站点的性质和内容归类到预先分好的类别,再将其存放在对应的目录中,用户既可以通过关键词查询,也可以按目录逐层检索。由于目录索引类数据库是人工评价某个网站的内容,所以相比基于 Robot 搜索引擎搜索到的结果,用户通过目录搜索的结果更具有参考价值。 当前大部分搜索网站既提供基于 Robot 的搜索服务,又提供基于目录的搜索服务,以尽可能为用户提供全面的查询结果。
2.2 全文搜索引擎
目前全文搜索引擎是主流的搜索引擎,人们经常说的搜索引擎一般都是指全文搜索引擎,典型的代表有 Google、百度、搜狗等。 这类搜索引擎利用网络蜘蛛在网络中搜索,再抓取原始网页,存放于本地数据库并对原始网页进行加工,然后建立网页内容索引。 系统在检索阶段,索引后台数据库并寻找和用户查询条件相匹配的网页,把这些网页按照相应规则排序后将结果按顺序返回给用户。在搜索引擎的界面上,用户输入要查询的关键字,就能够找到互联网中与之相关的网页。
2.3 元搜索引擎
元搜索引擎是将用户的搜索请求同时提交给多个独立搜索引擎,然后集中处理搜索结果,按统一格式返回给用户,故又被称为搜索引擎之上的搜索引擎。 该搜索引擎的特点是本身不保存网页信息内容,如果有用户输入查询请求,它把请求转换成其它搜索引擎可以接受的命令格式,同时访问多个搜索引擎查询该关键词,最后将搜索引擎返回的结果处理后提交给用户。
总之,目录索引类搜索引擎的缺点是信息覆盖量不大、更新慢,元搜索引擎要等待所有搜索引擎提交结果并进行处理, 速度通常比较慢,因此全文搜索引擎是人们研究的重点。
3搜索引擎的工作原理
搜索引擎通常由搜索器、索引器、检索器和用户接口四部分组成[3].系统先由搜索器收集网页内容,再通过索引器分析收集的内容并建立索引,然后由检索器响应用户的检索请求,当用户输入查询关键字后,搜索器用关键字与索引器进行匹配,作相关性排序后通过用户接口给用户返回结果。
搜索引擎的工作流程可以简单的描述为:网络蜘蛛定期在互联网上爬行,当发现新的页面时,将其取出并存放到本地数据库中,用户可通过查询本地数据库得到结果。大致可概括为抓取网页、加工整理、查询服务三个阶段。
抓取网页阶段:每个独立的搜索引擎都有自己的网络蜘蛛,它每隔一定的时间自动启动,从数据库获得 URL 列表,按照某种策略抓取列表指定的网站,并将抓到的网页存入数据库,然后把新的 URL 存入数据库。 理论上,从一定范围网页出发,就可以搜集到绝大多数网页。
加工整理阶段:搜索引擎抓到网页后,再做大量的预处理工作,对网页文档建立倒排索引,将索引更新到索引数据库,并提取网页链接信息,存入链接数据库,为网页评级做准备。
查询服务阶段:搜索引擎待用户输入关键词,从索引数据库找到匹配该关键词的网页,通过网页评级对结果进行排序处理,最后将结果反馈给用户。
搜索引擎的实现过程包括四部分:从互联网抓取网页→建立索引数据库→在数据库中搜索→对搜索结果排序。
搜索引擎的网络蜘蛛会定期访问所有的网页来更新网页索引数据库,去除死链接,并根据网页链接关系和内容的变化重新排序。 最终网页内容的变化情况将反映在用户查询结果中[4].
4搜索引擎的发展趋势
4.1 提高搜索引擎的智能化水平
智能搜索引擎是利用人工智能技术对用户的查询意图、兴趣等推理,用获得的知识对信息进行过滤搜集,把用户感兴趣的信息提交给用户。 通过智能算法进行人与计算机的对话,利用机器翻译技术强化自然语言的处理能力,通过语义理解用户自然语言的需求。 智能代理技术能够不断适应用户兴趣变化,并提供个性化的服务。
4.2 提供优化的检索结果
利用搜索引擎规则,搜索引擎优化能够提高网站在搜索引擎中的排名,针对检索网页的特点,按照搜索引擎的检索原则调整网站的基本要素,使其在自然检索结果中排名靠前,从而达到推广网站的目的。
4.3 多媒体搜索引擎
随着搜索引擎技术的发展,搜索引擎除检索文本外,还要检索多媒体数据,目前许多公司投入资金解决该技术的系统模型优化、图像声音特征相关性研究、多媒体特征提取等问题,从而开发能够查询图像、图片、声音等内容的搜索引擎,这项技术是未来搜索引擎发展的必然趋势[5].
5总结
随着计算机网络搜索技术的飞速发展,人们对搜索引擎的要求也越来越高,未来的搜索引擎要求速度更快、精度更高,更能满足用户查询信息的个性化需求,使得互联网用户能够享受到更加高效的人性化的网络搜索服务。
【参考文献】
[1]高凯, 郭立炜, 许云峰。 网络信息检索技术及搜索引擎系统开发[M]. 北京: 科学出版社,2010.
[2]勾智楠, 赵丁。基于。NET 搜索引擎的研究与应用[J].数字化用户,2014(1)。
[3]李宜志。搜索引擎 Google 与 Bing 的比较[J].科技资讯,2011.
[4]谢虹,张彦芳。浅谈互联网搜索引擎的使用[J].科技信息,2009.
[5]邢国军,刘林霞。浅谈网络搜索引擎[J].科技信息,2010.
经过3~5年的飞速发展,目前桌面搜索和移动搜索几乎各占半壁江山,移动搜索大有赶超桌面搜索,成为主要搜索途径之势。2013~2014年中国搜索引擎行业竞争持续升级,百度独领风骚的同时,几大追随者毫不懈怠,持续练就内功,同时借助外力,以期对百度构成威胁...
本文从卷烟企业对信息数据检索的需求出发,论述了基于Solr开发出符合自身企业的搜索引擎的可行性,介绍了有关搜索引擎及Solr的相关知识。...
0引言信息检索系统主要为互联网用户提供对资源的检索服务,用户通过输入自己想要寻找的资源信息(诸如资源的部分名称,资源内容中相关关键词等),信息检索系统根据用户提供的检索需求进行资源匹配和资源定位,并按照一定的顺序将匹配的资源反馈给用户。搜...
1引言互联网的深入发展带来了各种类型信息资源数量的快速膨胀。截至2014年6月,我国拥有273万个网站,3.3亿个IPv4地址[1].面对浩瀚巨量的网络资源,用户通过搜索引擎快速获取所需信息尤为重要。目前,我国搜索引擎用户达4.9亿;网民平均使用...
1、引言近年来,随着数字化教育浪潮的不断推进,我国在教育资源建设方面已经取得了巨大的成就,各类教育资源的数量巨大且呈现几何级数增长。随着搜索引擎技术的发展,通用搜索引擎的功能变得日益强大,取得了很大的成功,但其仍有局限性,如搜索的深度不够,...
上世纪中页,传播学家麦克卢汉曾在《理解媒介:论人的延伸》中提出:媒介是人感觉能力的延伸或扩展。这一经典概念的重要意义,在于将人的单一感官和媒体的传播特征进行了对应。例如,从视角延伸到印刷媒介,从听觉延伸到广播以及视、听觉共同延伸到电视。而...
搜索引擎经历近30年的发展,目前在使用的有几种类型,如全文搜索引擎、分类目录搜索引擎、多元搜索引擎、集成搜索引擎等。但这些都是网络上的公用商业搜索引擎,它们往往不能满足企业的需要。...
第4章模型构建及假设提出。本章在前两章文献综述和理论分析的基础上,结合访谈的结果提出了搜索引擎优化方法和效果的维度,并构建了两者的概念模型,提出了各研究变量之间的假设关系。4.1访谈。访谈法是指研究者通过面对面、QQ等访谈方式,与受访者...
在搜索引擎技术的发展之下,智能检索作为一个新型的检索方式已经渗透到了网络数据的设计中,该种检测方式能够帮助人们检测出高质量的信息,是检索方式发展的一种必然需求,将数据挖掘技术应用在网络资源可以实现智能检索的发展,也能够为人们提供出更加具有针对性...
引言随着因特网中搜索引擎的发展和进步,油田数据的资源共享以及信息的集成都较之前更加便捷和有效了。从因特网搜索引擎的思想出发,借助SES系统的数据采集和搜索的机制,并且结合油田的信息和数据的共享的特点,制定了一套从结构体系好以及安全智能为主要...