爬虫是一种编程语言。

网站中的robots.txt可以无视。

判断题网站中的robots.txt可以无视。

爬虫必须用python编写。

判断题爬虫必须用python编写。

一次HTTP通信的过程包括HTTP请求和HTTP响应。

判断题一次HTTP通信的过程包括HTTP请求和HTTP响应。