Robots.txt协议可以限制爬虫程序采集某些网页的数据。