欢迎来到牛牛题库网 牛牛题库官网
logo
搜索
全部科目 > 大学试题 > 计算机科学 > Python程序设计

单项选择题

下列选项中，用于在robots.txt 文件中描述搜索引擎名字的是（）

A.Disallow
B.Allow
C.accept
D.User-agent

点击查看答案&解析
上一题 目录 下一题

相关考题

单项选择题
用于robots.txt 文件中，标记不允许的是（）

A.disallow
B.User-agent
C.allow
单项选择题
下列选项中，被称为主题网络爬虫的是（）

A.聚焦网络爬虫
B.深层网络爬虫
C.通用网络爬虫
D.增量式网络爬虫
单项选择题
下列数据中，能够被网络爬虫抓取的是（）

A.互联网非公开信息
B.网站后台信息
C.互联网公开的且可访问到的信息
D.用户的注册信息
微信小程序免费搜题

All Rights Reserved 版权所有©牛牛题库网(nntiku.com)

备案号：湘ICP备2022003000号-1

微信扫一扫,加关注免费搜题

微信扫一扫,加关注免费搜题