问答题
网站通过一个robots.txt文件来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
请简述聚焦爬虫抓取网页的流程。
问答题请简述聚焦爬虫抓取网页的流程。
为什么选择Python 作为爬虫的实现语言？
问答题为什么选择Python 作为爬虫的实现语言？
按照使用场景，可以将爬虫划分为哪几种？（）A.表层爬虫B.聚焦网络爬虫C.通用网络爬虫D.深层爬虫
多项选择题按照使用场景，可以将爬虫划分为哪几种？（）
A.表层爬虫B.聚焦网络爬虫C.通用网络爬虫D.深层爬虫
