对搜索引擎的认识（征集意见稿）
（sog我3月17日动手写这个东西，是打算弄成一个研究计划的，到现在还是这个模样，很苦恼，非常的苦恼。希望能有更多的反馈(sog.white@gmail.com)，让我把它写完了；如果你有任何的看法和点子，非常竭诚的欢迎你给我来信。这可能会影响未来搜索引擎的发展的啊！2005-3-22 22:54）
最初对搜索引擎的认识，来源于图书馆的书目文献查询系统。后来当互联网在中国比较普及之后，开始接触Yahoo。后来在学习了中图法和文献编目，以及文献检索等课程，对搜索有了进一步的认识。
因为自己知识结构的博杂，对搜索引擎的价值有更深的认识。觉得搜索引擎的存在哲学在于解决信息量的爆炸和人类有限的认知能力之间的矛盾。人的记忆能力是有限的，不可能把学过的东西精确的记下来。学习的长远效果在于掌握一种方法，并在面对具体问题的时候，知道需要查找那些知识，并且怎么去查找。并运用掌握的方法把找到的知识组织起来去解决具体的问题。搜索引擎提供了一种有效的辅助手段。
原来用于衡量搜索引擎的指标——查准率、查全率、响应速度。虽着情况的变化，最突出的矛盾集中于查准率上。目前的问题是搜索引擎返回的检索结果许多都是不相关的，需要使用者自己去判别一大堆返回信息是不是对自己有用，检索效率很低。这将是文本搜索方面期待提高的一大突破点。
对知识的深入探索，会发现事物之间的关系本身是很有意思的。借用一句禅语：“一沙一世界”来说明，我对之参读的结果是缘由“关系千万重”。可以举例阐释：在关系数据库的建模概念里，用实体——关系模型（entity-relation model）就可以描述大千世界；其实更进一步可以说实体本身相对于关系而言在模型当中的地位是不重要的，实体之间的关系才是模型的核心；实体因为自身集结的关系而存在，实体因为和自身发生联系的关系而具有属性。搜索引擎的开发和使用，就是基于对知识之间关系的发现和利用；以便在卷帙浩繁的，呈现混沌状态的信息海洋当中，发现和利用知识之间的关系规律；从而大大提高我们的认知能力。
要想在这个方面有所作为，需要充分的发现我们对世界的认知规律；对知识运用的思维规律；分析网络信息的结构，并掌握和利用自然语言的特点。
现在写东西一般都是在计算机上写，而且输入法都是用微软拼音输入法。便有这么一个体验，有的时候在遣词用字的时候，自己事先并没有想好一个恰当的用语，但是当出现联想词库让自己选择的时候，可能突然间发现某个单词更加适合表达自己的意思；结果最后实际使用的是用这个联想词库当中的词语。类似的情形在我们用搜索引擎查询某个知识的时候也会发生，查询结果的这种联想关联性，使得我们能够马上修正自己原来的认识；或者说这种模糊的信息（fuzzy information），使得我们更加进一步的去认清楚自己原本就含糊的认识；然后会发现，自己认识变得更加清晰了。这个可以称之为基于联想的知识发掘机制。
现在所有的搜索引擎都有这种基于联想词库和主题关联程度的知识发现机制，但是这种机制在许多时候表现了太多的随意性，使得查询的结果显得有点胡思乱想；这种知识发现更多的是依靠查询者自身的知识结构来进行鉴别和提炼。期待改进的地方就是使得这种联想不要太过于随意，而变得相对的精确，使得这种知识发现的作用，对于一般层级的检索者而言也变得实际可用。并且能对于检索者自身的知识发现起到一种循循善诱的作用，引导检索者去找到问题的答案。
关于“一沙一世界，关系千万重”的进一步阐释，我认为万事万物之间都是有联系的；正是因为这种联系（关系），使得我们能够得由一粒沙子而构建出来一个世界。这句话用到搜索引擎上，给我们的启发就是说，知识之间是有关系的；我们需要去发掘这种规律性的关系，以便做到知识发现；这种关系规律是一种客观存在，不因为我们没有发现他而去说它们不存在。搜索引擎的前边的任务就是找到这种知识之间的这种规律性联系，并加以好好利用。
人工智能
知识发掘 联想
网络知识百科全书
simple and effective
数学与思想和搜索引擎的关系
与数据库的关系
主题词、关键字搜索的趋势
大脑的思维的特点。网状
主题词@目录搜索法
the art of information retrieval
html的改进，只有微软才能做。
xml
人工智能
统计学
###############以下内容为临时参考的资料#######################
这篇文章有点旧，发表于2001年08月09日，但我觉得值得推荐。
------------
陆元婕/舒迅
互联网的迅速发展和广泛普及导致网上信息爆炸性增长。据权威机构统计，网上约有数十亿的网页，甚至有些专家宣称网页总数已达5500亿,，这一数字仍然在不断的快速增长。如何在庞大的互联网上获得有价值的信息已成为网民日益关注的问题。搜索技术的出现为网民快速找到所需信息带来了福音。搜索引擎是一种用于帮助因特网用户查询信息的搜索工具，它以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的。
1993年，Internet上出现了最早的Web浏览器Mosaic，次年Netscape推出了Navigator，浏览器的发展促使Web得到迅速推广，同时也推动着搜索引擎的发展。 早期的搜索引擎是把因特网中的资源服务器的地址收集起来，由其提供的资源的类型不同而分成不同的目录，再一层层地进行分类。人们要找自己想要的信息可按他们的分类一层层进入，就能最后到达目的地，找到自己想要的信息。这其实是最原始的方式，只适用于因特网信息并不多的时候。
随着因特网信息按几何式增长，出现了最早的真正意义上的搜索引擎——Lycos，它创建于1994年的春天，当时Michael Mauldin将John Leavitt的spider程序接入到其索引程序中。随着Yahoo!的出现，搜索引擎的发展也进入了黄金时代，相比以前其性能更加优越。
搜索服务提供者在研发搜索技术方面已经花费了大量的时间和精力，但是网民对于现有的搜索技术是否满意呢？ 2001年，Roper Starch的调查指出，36%的互联网用户一个星期花了超过2个小时时间在网上搜索；71%的用户在使用搜索引擎的时候遇到过麻烦；平均搜索12分钟以后发现搜索受挫；搜索受挫中46%都是因为链接错误；绝大部分(86%)的互联网用户感到应当出现更有效的、准确的信息搜索技术。
另一项由Keen所做的调查显示，人们平均每天有四个问题需要从外界获取答案；其中31%的人使用搜索引擎寻找答案；平均每周花费8.75个小时找寻答案；53.3%时间花在从旁人那里获得答案，29%的时间花在亲戚朋友身上，24.3%的是时间花在销售商那里；网上查找答案的，半数以上都不成功；他们每周将花费14.5美元以上，以获取正确的信息。
从这些调查数据中不难看出，目前的搜索引擎仍然存在不少的局限性。传统的搜索引擎技术有哪些局限性呢？主要有信息丢失、返回过多无用信息及信息无关几方面局限性。造成上述信息检索困难的原因的实质在于传统的搜索引擎对要检索的信息仅仅采用机械的关键词匹配来实现，缺乏知识处理能力和理解能力，也就是说搜索引擎无法处理在用户看来是非常普通的常识性知识，更不能处理随用户不同而变化的个性化知识、随地域不同而变化的区域性知识以及随领域不同而变化的专业性知识等等。
这使得网民仍然在期盼更完美的搜索技术的出现。网民需要搜索服务提供者研制更完美的搜索技术来满足更快、更准、更方便的查询需要。是的，这些正是搜索技术发展的最终目标：跟上Internet的发展速度，为网民提供更准确的查询结果。笔者在文中将就目前几大新兴技术在搜索技术中的应用做以展望，以设想更具完美的搜索技术的未来。
自然语言理解技术
随着社会的日益信息化，人们越来越强烈地希望用自然语言同计算机交流。自然语言理解是计算机科学中的一个引人入胜的、富有挑战性的课题。从计算机科学特别是从人工智能的观点看，自然语言理解的任务是建立一种计算机模型，这种计算机模型能够给出象人那样理解、分析并回答自然语言(即人们日常使用的各种通俗语言)的结果。
现在的计算机的智能还远远没有达到能够象人一样理解自然语言的水平，而且在可预见的将来也达不到这样的水平。因此，关于计算机对自然语言的理解一般是从实用的角度进行评判的。如果计算机实现了人机会话，或机器翻译，或自动文摘等语言信息处理功能，则认为计算机具备了自然语言理解的能力。 以自然语言理解技术为基础的新一代搜索引擎，我们称之为智能搜索引擎由于它将信息检索从目前基于关键词层面提高到基于知识（或概念）层面，对知识有一定的理解与处理能力，能够实现分词技术、同义词技术、概念搜索、短语识别以及机器翻译技术等。因而这种搜索引擎具有信息服务的智能化、人性化特征，允许网民采用自然语言进行信息的检索，为他们提供更方便、更确切的搜索服务。
与传统的目录查询、关键词查询模式相比，自然语言查询的优势体现在：一是使网络交流更加人性化；二是使信息查询变得更加方便、快速和准确。现在，已经有越来越多的搜索引擎宣布支持自然语言搜索特性，但是要建立真正的基于自然语言理解的智能答询系统，还存在很多的技术难点，如：如何理解自然语言及所代表的实际含义；如何根据问题找出用户实际想要的答案；如何建立大规模知识库等。 目前智能搜索引擎的研发主要有两大方向，其一是基于机器翻译技术，比如Google；其二是基于语义理解技术，国内有尤里卡、问一问，国外的主要代表是Ask Jeeves。
机器翻译(machine translation)，又称机译(MT)，是利用计算机把一种自然语言转变成另一种自然语言的过程。智能搜索引擎在这一领域的研究将使得用户可以使用母语搜索非母语的网页，并以母语浏览搜索结果。
语义理解通过将语言学的研究成果和搜索引擎技术结合在一起，实现了搜索引擎对搜索词在语义层次上的理解，为用户提供最确切的搜索服务。
P2P 对等网络
引发P2P革命的当推美国的Napster，2000年7月份的一场官司将Napster的声望推到顶点，用户数也在短短一年内激增至4000万，成为互联网史上一大奇迹。P2P是peer-to-peer的缩写，意为对等网络。其在加强网络上人的交流、文件交换、分布计算等方面大有前途。P2P被认为是因特网实现下一次飞跃的关键，但它将如何浮出水面仍然是个谜。长久以来，人们习惯的互联网是以服务器为中心，人们向服务器发送请求，然后浏览服务器回应的信息。
P2P所包含的技术就是使联网电脑能够进行数据交换，但数据是存储在每台电脑里，而不是存储在既昂贵又容易受到攻击的服务器里。网络成员可以在网络数据库里自由搜索、更新、回答和传送数据。所有人都共享了他们认为最有价值的东西，这将使互联网上信息的价值得到极大的提升。
P2P引导网络计算模式从集中式向分布式偏移，也就是说网络应用的核心从中央服务器向网络边缘的终端设备扩散：服务器到服务器、服务器到PC机、PC机到PC机，PC机到WAP手机……所有网络节点上的设备都可以建立P2P对话。
P2P给互联网的分布、共享精神带来了无限的遐想，有观点认为至少有100种应用能被开发出来，但从目前的应用来看，P2P的威力还主要体现在大范围的共享、搜索的优势上。P2P技术的一个优势是开发出强大的搜索工具。P2P技术使用户能够深度搜索文档，而且这种搜索无需通过Web服务器，也可以不受信息文档格式和宿主设备的限制，可达到传统目录式搜索引擎（只能搜索到20％－30％的网络资源）无可比拟的深度（理论上将包括网络上的所有开放的信息资源）。以P2P技术发展先锋Gnutella进行的搜索为例：一台PC上的Gnutella软件可将用户的搜索请求同时发给网络上另外10台PC，如果搜索请求未得到满足，这10台PC中的每一台都会把该搜索请求转发给另外10台PC，这样，搜索范围将在几秒钟内以几何级数增长，几分钟内就可搜遍几百万台PC上的信息资源。
基于P2P对等搜索理念的搜索技术会为互联网的信息搜索提供全新的解决之道。它使人们在Internet上的共享行为被提到了一个更高的层次，使人们以更主动深刻的方式参与到网络中去。
XML 可扩展标记语言
XML将使Web的搜索非常方便。XML可扩展标记语言是Web数据使用的通用语言,，具有结构化、规范性、可扩展性及简洁的特点。XML 能让开发人员将来自各种应用程序的结构化数据传送给桌面以在本地计算和表示。XML 允许为特定应用程序创建独特的数据格式；它还是结构化数据从服务器到服务器传输的理想格式。XML是在超级分布式系统之间实现多数据集传输的一种手段。它同时可以使开发人员以更具价值的新型方式聚集和组合各种来源的数据。XML将成为互联网的最重要的基础性语言。
XML通过DTD定义了文档的词法、语法和部分语义，XSL规定了文档的表现形式，而XLink和XPointer定义了文档之间的关系，从而为基于Web的各种应用提供了一个描述数据和交换数据的有效手段。如果说，HTML提供了显示全球数据的通用方法，那么XML进一步提供了处理全球数据的通用方法。XML继承了SGML的强大功能，又充分采取了HTML的"易用"原则。它实现国际性的媒体无关的电子出版，使工业界能够定义平台无关的数据交换协议，特别是电子商务中的数据交换协议。资源标注、编目和描述是信息查找的基础，结构化的资源（XML）和资源的描述框架（RDF）互相配合，将大大提高信息查找效率。XML简化元数据的提取工作，从而协助人们寻找信息，并协助信息生产者和信息消费者的相互发现。如果说在网络的支持下，HTML语言解决了在异构平台间传送数据和文档，那么，基于XML的VRML和SMIL解决了在异构平台间传送感受的可能性问题。使用XML，人们可以利用设备的智能去访问不同的网站，并对信息进行集中。XML使我们迈向将控制信息的权利交给那些需要信息的人们。由于所有文件都以XML格式存在，所有的用户都可以方便地查找和使用其中的信息，任何规模的文化机构都可以使用相同的工具与资源内容供应者、合作伙伴和信息内容消费者高效地沟通和共享信息，这样就创造出一种全新的协同工作模式。
为网民提供更完美的搜索结果不仅仅需要新兴的技术支持，更涉及搜索技术的发展方向问题。这里笔者就搜索引擎的发展趋势谈几点个人见解。
更方便易用的搜索
搜索过程的方便易用，需要搜索服务提供更好的人机交互界面技术，关联式的综合搜索结果。
1、 人机交互界面技术
人机界面技术的不同往往使得搜索引擎表现出不同的特色。当前搜索引擎涉及的人机界面技术主要有四类：搜索请求提交技术、搜索结果表现技术、搜索向导技术、搜索行为分析技术。搜索请求提交技术中有几个很有用的技术，包括多语言查询技术、编码转换技术、模糊语义查询、精确语义查询以及采用自然语言的搜索请求提交界面。 搜索结果表现技术包括搜索结果的准确度及相关度、搜索结果的母语评价等。 搜索向导技术则纯粹是网站设计上的界面技术。通过具有亲和力、易用型的界面，时刻的帮助来方便网民的搜索。 搜索行为分析技术核心是跟踪分析用户的搜索行为，充分地利用这些信息来提高用户的搜索效率。搜索行为分析技术提高搜索效率的途径主要有两种：群体行为分析和个性化搜索。
2、关联式的综合搜索
以往的搜索经验大都是在甲网站找图片，到乙网站找新闻，到丙网站找股票资讯，十分麻烦而浪费时间。那为何不考虑将这些图片、新闻、股票等等各种有关联的信息整合在同一界面，让网民一次查询，全部满足呢？所谓，关联式综合搜索，就是这样一种一站式的搜索服务，它使得网民在搜索时只需输入一次查询目标，即可在同一界面得到各种有关联的查询结果。这项服务的关键在于有一架构在XML基础上的整合资讯平台。 更精确的搜索 搜索引擎技术本身一个最重要的发展方向是提供更精确的搜索。要想大幅度地提高搜索引擎的效率和搜索结果准确度，应考虑这样几个方向：智能化搜索、个性化搜索、结构化搜索、垂直化搜索、本土化搜索等。
3、 智能化搜索
准确的搜索应建立在对收录信息和搜索请求的理解之上，也就是说，必须处理语义信息。显然，基于自然语言理解技术的搜索引擎，由于可以同用户使用自然语言交谈，并深刻理解用户的搜索请求，则查询的结果也更加准确。
4、 个性化搜索
提高搜索精确度的另一个途径是提供个性化的搜索，也就是将搜索建立在个性化的搜索环境之下，通过对用户的不断了解、分析，使得个性化搜索更符合每个用户的需求，而不仅仅是准确。
5、 结构化搜索
所谓结构化搜索，是指充分利用XML等技术使信息结构化，同时使查询结构化，从而使搜索的准确度大大提高。
6、 垂直化专业领域搜索
由于社会分工的加大，网民从事的职业有很大不同，不同网民对信息搜索也往往有自己的专业要求。比如信息技术类从业人员最希望有面向信息技术的专业搜索引擎，金融证券从业人员则希望使用金融证券类的搜索引擎。从赛迪调查结果看：一半网民认为目前搜索引擎死链接太多，四成以上的网民认为目前的搜索引擎搜索不相关信息太多，而专业垂直引擎可解决以上问题，它只针对某领域，可保证此领域信息的收录齐全与更新非常及时，另外六成左右的网民认为面向某领域的搜索引擎非常或比较重要。 垂直类搜索引擎面向某一特定专业领域，专注于自己的特长和核心技术，保证了对该领域信息的完全收录与及时更新。因此，基于专业领域的“垂直搜索引擎”开始成为搜索引擎发展的一个新趋势。 专业化的搜索引擎在提供专业信息方面有着大型综合引擎无法比拟的优势。专业搜索引擎和专门信息搜索引擎所采用的基本技术同综合引擎一样，而且基本上都是成熟的技术（某些专门信息搜索引擎可能还需要一些特殊技术），它们的发展没有技术障碍，同时正符合了互联网发展的一个趋势：互联网将更专业化、分工更细。
7、 本土化的搜索
世界上许多著名的搜索引擎都在美国，他们以英语为基础，完全按他们的思维方式和观点搜集和检索资料，这对于全球不同国家的用户来说显然是不适合的。各国的文化传统、思维方式和生活习惯不同，在对网站内容的搜索要求上也就存在差异。搜索结果要符合当地用户的要求，搜索引擎就必须本土化。 以上我们大致了解了一些新兴技术在搜索技术中的应用以及搜索引擎的几大发展趋势。随着搜索技术的不断完善与发展，我们有理由相信将来的搜索引擎一定是会朝向更方便易用的人机界面，更准确的搜索结果方向发展。
Emtage那时候不可能想到，他的发明会在未来引起人们思考方式的根本性变化。如果说搜索引擎发挥了人工记忆的功能，那么这种记忆是不断变大、不断更新的。当比尔·盖茨正式发布MSNSearch时，这种变化达到了一个最令人兴奋的时刻。这是微软蓄谋已久的搜索引擎技术，寄希望于凭借它与GOOGLE一较高下。
“搜索引擎化”的生活
GOOGLE和它的竞争者不再仅仅是把我们导向有用的网页。它们也成为在线辞典、电话目录、学术杂志以及影像图书馆中的导航者。
GOOGLE在1月份发布的一种新服务令逐条搜索电视节目成为可能，它还宣布要将牛津大学、哈佛大学、斯坦福大学等图书馆以及纽约公共图书馆的数百万册图书数字化。
在AskJeeves.com搜索引擎中输入“北京时间”，你立刻就能在世界上任何地方知道当下北京的实时时刻。而假如你在GOOGLE里输入类似“新京报”一类的关键字，你也可以轻易得到相关的信息。
对很多人来讲，生活已经“搜索引擎化”了，信息时代数以百万计的人们在某种程度上把搜索引擎当成了一种外置“大脑”，同时也是感觉、意识和记忆的扩展。我们似乎不再需要去苦苦记忆，我们也很难真正地忘记，因为所有的东西都一条条摆在那里。
人们不需要再坐在桌前面对按科目分门别类的资料，因特网的信息分类是自我支持的、有机的构成。在因特网上寻找信息的主动权掌握在我们自己手里。对于今天的搜索引擎提供商来讲，如何掌握住人们用来寻找知识的工具则是他们的力量源泉。
“完美搜索”悖论
这样就足够了吗？以GOOGLE为首的主要搜索引擎服务提供商无一例外狂热地追求一种“完美搜索”。
这样的狂热在2004年达到了空前的程度，在这一年的时间里，美国在线和雅虎分别推出了自己的搜索引擎技术。现在，微软雄心勃勃地进入了，它宣称自己的新技术将比其他的竞争者更加精确、直接和迅速。不过另外更强有力的竞争却来自于一些非传统的公司如Orase、Technorati等，他们所提倡的实时搜索技术看起来更加完美一些，我们甚至能够想象在某一天搜索我们自己所打过的网络电话内容。
但是“完美搜索”的最终结果似乎是答案产生的同时，新的问题也迅速的产生，由此而来的就是更多的疑惑。我们知识的发展速度始终比不上我们疑惑增加的速度。在这里，科学技术的发展的动力事实上是衡量我们日益增加的无知，而不是我们已经获得的或者正在扩展的知识。有人说：认识搜索引擎也许可以从下面四个关键词开始：人、知识、关系、文明。今天的因特网已经成为知识沉淀和分享的最佳平台。它被数字化、被海量存储；被人阅读后、被人理解消化后，人们有新的理解、新的智慧；然后又不断数字化，不断加入进来。直到形成一个由人参与、由信息汇集的人类知识库。而搜索引擎正在这个平台上发挥着这样的作用：整合知识与人的关系，促进着文明的前进。
1月31日，微软公司创始人比尔·盖茨在德国慕尼黑计算机国际大会上发表讲话。
“今天，因特网搜索是一个挑战”，比尔·盖茨在MSN网页上写道。2月1日，作为微软公司的主席，他亲自在重新设计的MSN网页上，发布了该公司自行研制的搜索引擎以挑战GOOGLE.这是一场关于网页点击率和网络广告额的战争，这也是关于一项简单的工具如何深入地影响了我们生活方式的反映。在过去几年中，搜索引擎已经成为了人们生活的一部分。
人工记忆
1990年，在因特网的世界里已经长得难以想象的15年以前，关于人工智能的定义似乎还只是存在于科学幻想小说里，存在于施瓦辛格的电影里。但是，在加拿大麦吉尔大学，一个叫做Alan Emtage的学生发明了ARCHIE程序，使人们可以开始在初具雏形的电脑网络上找到所需的文件，这就是最早的搜索引擎。
Google另类入口
搜索引擎老大Google是我们最常用的搜索网站，它的首页从一开始到现在都几乎没有什么变化，首页风格已深深印在了我们的脑海中。其实大家有所不知，Google的首页除了有各种语言版本的以外，还有不少另类的首页风格呢：
微软风格（http://www.google.com/microsoft/）
MAC风格（http://www.google.com/mac/）
Linux风格（http://www.google.com/linux/）
FreeBSD风格（http://www.google.com/bsd/）
政治风格（http://www.google.com/intl/xx-bork/）
宗教风格（http://www.google.com/intl/xx-elmer/）
小猪风格（http://www.google.com/intl/xx-piglatin/）
黑客风格（http://www.google.com/intl/xx-hacker/）
http://froogle.google.com/
作用： 通过特殊的搜索引擎，你可以在网上找到你想购物的网站位置。以及你可以很方便的搜索出同类产品的价格。看看世界各地的商品价格，自己再买的时候心底有数多了吧。
http://labs.google.com/gviewer.html
作用：一个小玩具，适合那些连鼠标都懒得动的懒人。当你在Google上找到了查询结果后，你可以使用google viewer让结果以自己定义的间隔时间来一条一条自动滚屏。
http://labs.google.com/cgi-bin/webquotes
作用：可以搜索出你要查询的内容在Internet上被多少其他的网站引用过，可以让你知道Internet上其他人对你要查询内容的观点，适合写论文和评论以及特殊用途人使用。
http://labs.google.com/glossary
作用：顾名思义了，就是一个查英语缩写语意的工具，Google的词汇表。
http://labs1.google.com/gvs.html
作用：给Google打一个电话，说出你要查找的内容，然后Google会把你要查询的结果显示出来，这服务也太到家了吧？呵呵。
你可以使用这个链接引用该篇文章 http://publishblog.blogchina.com/blog/tb.b?diaryID=996229