爬虫可以通过发送HTTP 请求的头部信息中的User-Agent 字段来（）不同的用户代理。

爬虫应该遵守网站的访问（）限制，以避免对网站造成过大的负担。

填空题爬虫应该遵守网站的访问（）限制，以避免对网站造成过大的负担。

HTTP 方法中，爬虫常用的方法包括（）和POST。

填空题HTTP 方法中，爬虫常用的方法包括（）和POST。

在爬虫中，URL 是统一资源定位符的缩写，用于标识（）上的资源。

填空题在爬虫中，URL 是统一资源定位符的缩写，用于标识（）上的资源。