2016-01-13 16:13:16
一看题目,很多人都会疑问,为什么是不被收录了,这样对网站有什么好处呢?这个问题对网站的优化人员来说,就比较熟悉。在网站建设的过程中,有时在某些页面建设是不想被搜索引擎抓取到,因为有些页面被抓取到了,对网站有消极的影响。例如网站管理登录页面、备份测试页面、测试页面,这三个页面都不需要被收录的。下面就来介绍四个方面,可以让页面不被搜索引擎收录。
第一、网站在flash设计时,就不想被搜索引擎收录。站长们都知道,搜索引擎对flash的内容的识别能力是有限的,对flash内容不能完全解读抓取。但是我们不知道搜索引擎对flash内容是不是有部分内容抓取到了。而谷歌搜索引擎以及Adobe正在为实现flash的抓取进行研究。
第二、robots文件的使用。虽然这是一个比较理想的方法,但是这种方法会让页面只有进入的链接,没有出去的链接,正常情况下,一个页面都会有外链的进入以及到外部的链接。因此,搜索引擎对这些内容的抓取不明确,认为这是一个质量低的页面,网站的权重就会受到影响。
第三、可以使用nofollow标签对不想被收录的页面进行设置。但是这个方法并不保证完全不被收录。
第四、使用meta noindex标签与follow标签一起结合使用。这个方法可以避免被收录,但是可以传递权重,不过这样会花费搜索引起蜘蛛抓取内容的时间。