robots协议是用来规定搜索引擎能够爬取哪些目录的协议。

A.搜索一起拿爬不爬取robots.txt文件不在协议范围内，只是道德约束

B.robots.txt可以让搜索引擎知道哪些可以爬取哪些不可以爬取

C.robots.txt文件放在根目录下

D.robots.txt文件屏蔽隐私文件，在网络上安全可靠

A．对网站内容的爬虫可以随意进行，不需要制约

B．频次很高的大型爬虫会给服务器造成压力与伤害

C．Robots 协议的全称是网络爬虫排除标准（robots exclusion protocol），规定了可以爬取和不可爬取的页面

D．Robots 协议里最常出现的英文 Allow 可以被访问，Disallow 代表禁止被访问

A.未经平台及用户授权，通过技术手段爬取其他平台的用户信息

B.绕开技术措施爬取竞争对手数据

C.爬取网站数据前，审阅、分析被爬取网站的Robots协议，并且在爬取数据时不违反Robots协议

D.爬取网站上视频、音乐、文字等可能构成作品的数据

A."User-agent：*Disallow：/A"

B."User-agent：Allow：/A"

C."User-agent：Disallow：/"

D."User-agent：*Allow：/"

A."User-agent：*Disallow：/A"

B. "User-agent：Allow：/A"

C. "User-agent：Disallow：/"

D. "User-agent：*Allow：/"

A.bc.txt

B.disallow.txt

C.aggrement.txt

D.robots.txt

A.HTTP协议

B.HTML协议

C.POP3 协议

D.SMTP协议

A.爬取robots, tx禁止的数据

B.爬取用户隐私

C.大量、 频繁爬取某一网站数据，致使对方服务器出现异常

D.爬取网站协议禁止的数据

A.网站全部内容不想被搜索引擎抓取

B.网站全部内容愿意被搜索引擎抓取

C.网站中哪些内容不想被搜索引擎抓取

D.网站中的内容已经被哪些搜索引擎抓取

A.网站层次结构明了，并尽量保证spider的可读性

B. url尽量短且易读使得用户能够快速理解

C. 建立网站sitemap文件，前及时通过百度站长平台提交

D. robots文件是封禁搜索引擎抓取，所以此Robots文件尽量少用