单项选择题
A.会分散网页权重，不利于排名 B.搜索引擎收录的URL可能不是最合适的URL C.重复页面过多，搜索引擎可能会认为有作弊嫌疑 D.对于搜索引擎来说，节省资源、节省宽带
在robots.txt文件中，不允许访问以“.asp”结尾的URL的代码是（）A.Allow：/*.asp$B...
单项选择题在robots.txt文件中，不允许访问以“.asp”结尾的URL的代码是（）
A.Allow：/*.asp$ B.Disallow：/*.asp$ C.Allow：/*.asp D.Disallow：/*.asp
以下不是蜘蛛陷阱的是（）A.301跳转B.302跳转C.动态URLD.Flash
单项选择题以下不是蜘蛛陷阱的是（）
A.301跳转 B.302跳转 C.动态URL D.Flash
yahoo的网络蜘蛛名是（）A.ia_archiverB.slurpC.msnbotD.scooter
单项选择题yahoo的网络蜘蛛名是（）
A.ia_archiver B.slurp C.msnbot D.scooter
