问答题
爬虫的出现在一定的程度上代替了手工访问网页，能够实现自动化采集互联网的数据，以更高地效率去利用互联网中的有效信息。
什么是网络爬虫？
问答题什么是网络爬虫？
请简述robots.txt 文件的作用。
问答题请简述robots.txt 文件的作用。
请简述聚焦爬虫抓取网页的流程。
问答题请简述聚焦爬虫抓取网页的流程。
