下列选项中，用于在robots.txt 文件中描述搜索引擎名字的是（）

用于robots.txt 文件中，标记不允许的是（）A.disallowB.User-agentC.allow

单项选择题用于robots.txt 文件中，标记不允许的是（）

下列选项中，被称为主题网络爬虫的是（）A.聚焦网络爬虫B.深层网络爬虫C.通用网络爬虫D.增量式网络爬虫

单项选择题下列选项中，被称为主题网络爬虫的是（）

下列数据中，能够被网络爬虫抓取的是（）A.互联网非公开信息B.网站后台信息C.互联网公开的且可访问到的信息D....

单项选择题下列数据中，能够被网络爬虫抓取的是（）