网站中的robots.txt可以无视。

爬虫必须用python编写。

判断题爬虫必须用python编写。

一次HTTP通信的过程包括HTTP请求和HTTP响应。

判断题一次HTTP通信的过程包括HTTP请求和HTTP响应。

CSS用于向网页中添加交互行为。

判断题CSS用于向网页中添加交互行为。