在robots.txt文件中，至少要有一条Disallow记录，否者“robots.txt”文件将没有任何效果。

网站使用SessionID，会使搜索引擎认为这个网站有大量的重复内容，从而减少网络蜘蛛对网页的爬行。

判断题网站使用SessionID，会使搜索引擎认为这个网站有大量的重复内容，从而减少网络蜘蛛对网页的爬行。

使用301跳转可以将原URL的权重传递给目标URL。

判断题使用301跳转可以将原URL的权重传递给目标URL。

nofollow标签属性的作用是指示搜索引擎不要抓取网页中带有nofollow标签属性的任何出站链接，以减少垃...

判断题nofollow标签属性的作用是指示搜索引擎不要抓取网页中带有nofollow标签属性的任何出站链接，以减少垃圾链接带来的网站权重的分散。