欢迎来到牛牛题库网
牛牛题库官网
登录
注册
首页
经济师考试
会计职称考试
统计师考试
审计师考试
保险考试
全部科目
>
大学试题
>
计算机科学
>
Python程序设计
搜题找答案
问答题
简答题
请简述robots.txt 文件的作用。
【参考答案】
网站通过一个robots.txt文件来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
点击查看答案
上一题
目录
下一题
相关考题
问答题
请简述聚焦爬虫抓取网页的流程。
问答题
为什么选择Python 作为爬虫的实现语言？
多项选择题
按照使用场景，可以将爬虫划分为哪几种？（）
A.表层爬虫
B.聚焦网络爬虫
C.通用网络爬虫
D.深层爬虫
关注
顶部
微信扫一扫,加关注免费搜题
