下列选项中，属于URL 的组成元素的是（）

A.根据一定的搜索策略，从URL 队列中选择下一步要抓取的网页URL
B.我们需要根据爬取需求定义聚焦爬虫的爬取目标，并进行相关的描述
C.聚焦爬虫会根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接
D.有用的链接会放入等待抓取的URL 队列

A.Disallow
B.Allow
C.accept
D.User-agent

A.disallow
B.User-agent
C.allow