单项选择题

下列哪能禁止搜索引擎抓取网站内容?()

A.使用robots文件定义
B.使用404页面
C.使用301重定向
D.使用sltemap地图