单项选择题
A.禁止搜索引擎蜘蛛抓取特定URL B.给搜索引擎蜘蛛提供网站地图文件 C.以上都对
Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可...
单项选择题Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）
A."User-agent：*Disallow：/A" B."User-agent：Allow：/A" C."User-agent：Disallow：/" D."User-agent：*Allow：/"
robots.txt支持的代码为（）。A.AllowB.DisallowC.sitemapD.nofollow
多项选择题robots.txt支持的代码为（）。
A.Allow B.Disallow C.sitemap D.nofollow
Robots文件中，以下哪个指令为禁止抓取某些内容？（）A.AllowB.DisallowC.nofollow...
单项选择题Robots文件中，以下哪个指令为禁止抓取某些内容？（）
A.Allow B.Disallow C.nofollow D.noodp
