欢迎来到牛牛题库网
牛牛题库官网
登录
注册
首页
经济师考试
会计职称考试
统计师考试
审计师考试
保险考试
全部科目
>
大学试题
>
计算机科学
>
Python程序设计
搜题找答案
填空题
网站通过一个文件（）来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
【参考答案】
robots.txt
点击查看答案
上一题
目录
下一题
相关考题
填空题
现在网站会采取一些（）措施来阻止网络爬虫的不当爬取行为。
填空题
待下载网页集合就是（）URL 列队中的网页，这些网页即将被爬虫下载。
填空题
robots.txt文件必须放置在一个站点的（）目录下，且文件名必须小写。
关注
顶部
微信扫一扫,加关注免费搜题
