根据张俊林大神的《这就是搜索引擎》这本书中描述(推荐大家阅读)，搜索引擎从采取的技术划分为4个时代：1.史前时代：分类目录的一代这个时代成为“导航时代”，Yahoo和国内hao123是这个时代的代表。通过人工搜集整理，把属于各个类别的高质量网站或网页分类，用户通过分级目录来查找高质量的网站。这种纯人工方式并未采取什么高深的技术手段，采取分类目录的方式，一般收录的网站质量较高，但这种方式扩展性不强，绝大部分网站不能被收录。2.第一代：文本检索的一代文本检索的一代采用经典的信息检索模型，如布尔模型、向量空间模型或者概率模型，来计算用户查询关键词和网页文本内容的相关程度。早期很多搜索引擎如AltaVista、Excite等大都采用这种模式。相对分类目录，这种方式可以收录大部分网页，并按照网页内容和用户查询的匹配程度进行排序。但由于网页之间有丰富的链接关系，而这一代搜索引擎并未使用这些信息，所以搜索质量不是很好。3.第二代：链接分析的一代这一代搜索引擎充分利用了网页之间的链接关系，并深入挖掘和利用了网页链接所代表的含义。通常而言，网页链接代表了一种推荐关系，所以通过链接分析可以在海量内容中找出重要的网页。被推荐次数多的网页其实代表了其具有流行性，搜索引擎通过结合网页流行性和内容相似性来改善搜索质量。Google于1998年成立，它率先提出并使用PageRank链接分析技术，大幅度提高了搜索质量。目前几乎所有的搜索引擎都采取了链接分析技术，但是这种技术并未考虑用户的个性化要求，所以只要输入的查询请求相同，所有用户都会获得相同的搜索结果。另外很多网站为获取更高的搜索排名，针对链接分析算法提出不少链接作弊方案，这样导致搜索结果质量变差。4.第三代：用户中心的一代第三代即理解用户需求为核心的一代搜索引擎。不同用户即使输入同一个查询词，但其目的可能不一样。比如同样输入“苹果”作为搜索词，一个追捧iPhone的时尚青年和一个果农的目的会存在巨大的差异。即使一个用户，输入相同的查询词，也会因为所在时间和场合不同，需求有所冰变化。目前搜索引擎大都致力于解决如何能够理解用户发出的某个很短小的查询词背后包含的真正需求的问题。为了获取用户真正的需求，目前搜索引擎做了很多技术方面的尝试。如利用用户发送查询词时的时间和地理位置信息、利用用户过去发出的查询词及相应的点击记录等历史信息手段，来试图理解用户此时此地的真正需求。(二).搜索引擎的架构原理搜索引擎通常是用户输入查询词，搜索引擎返回搜索结果。其目标是：更全、更快、更准。搜索引擎需要对百亿计的海量网页进行获取、存储、处理，同时要保证搜索结果的质量。如何获取、存储并计算这些海量数据？如何快速响应用户的查询？如何使得搜索结果能够满足用户的信息需求？这些都是搜索引擎面对的技术挑战。搜索引擎涉及三个核心问题： 用户真正的需求是什么(用户输入的查询词非常简单，查询的平均长度是2.7个单词，如何获取用户的真实需求)、哪些信息是和用户需求真正相关的(搜索引擎的本质是一个匹配的过程，即从海量数据中匹配用户的需求内容，如何从判断内容和用户查询关键词的相关性到让计算机真正理解信息所代表的含义)、哪些信息是用户可以信赖的(互联网上所发布内容是否可信并无明确的判断标准，同一个查询的搜索结果可能完全是矛盾的答案，此时信息的可信性尤为重要，链接分析也看成对信息可信度做出的评判)。下图是一个通用的搜索引擎架构示意图：（完全参考《这就是搜索引擎》）
随着智能搜索引擎的兴起，如Ghunt。其核心技术包括自动推理技术、本体知识系统、专家系统等，它更注重于其他科学相融合、个性化搜索、智能化比较高。但我此处就不在叙述，因为知识图谱或知识计算引擎被认为是下一代搜索引擎，我更想与大家分享这部分的基础知识。换句话说，它也是非常智能、需要理解用户需求、以用户为中心的搜索技术。
(一).知识图谱的应用首先通过知识图谱的应用引入这个概念，同时体会它的优点。传统的搜索引擎搜索“姚明的身高”，返回的结果是网页内容与姚明身高的相关一些列链接。如Yahoo：
再如平时我们通过百度或搜狗搜索小说电影电视剧时的应用：
PS：其中还涉及到很多技术，我的毕业设计就是其中之一：在知识获取过程中多源知识或在线百科的实体对齐、属性对齐和属性值对齐的研究。知识图谱建立后需要考虑知识扩充、知识更新等实时修改也是其中的难点。该篇只是入门介绍，其他有机会再分享。
THE END