Robots协议全称是“网络爬虫排除标准”，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

Python字符串不能与数字直接相加，需要先将数字通过str（）转换为字符串后，方能处理。

判断题Python字符串不能与数字直接相加，需要先将数字通过str（）转换为字符串后，方能处理。

http协议中有get方法和post方法。

判断题http协议中有get方法和post方法。

爬虫是一种编程语言。

判断题爬虫是一种编程语言。