Google的pagerank就不多介绍了，一个能衡量网页重要程度的算法，本质上是网页相互投票的结果，基于这个特性，我们可以通过使用sitemap让搜索引擎尽可能浏览到多的网站内容，也可以通过多做外链来提高网站的PR值，达到SEO的目的。市场上大多数搜索引擎都在使用pagerank类似的方法，且为了保证公正性，都采用纯机器运行的方式，通过网页爬虫来遍历网站，这就出现了一些有趣的问题：一个网页的内容是很棒的，但是由于外链太少，爬虫在设定的深度阈值下可能无法爬到它，成为了少人问津的“暗内容”部分网站因为PR值很高，即使转载的内容或是价值不高的内容，也可能有很好的检索排名，即使技术领先的搜索引...