想爬取想要的就不要管这个协议这个协议就是告诉你这个网站什么不可以爬disallow，基本上都不可以爬
Robots协议也称为爬虫协议、爬虫規则、机器人协议是网站国际界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。“规则”中将抓取网站内容的范围做了约定,包括网站是否希望被抓取,哪些内容不允许被抓取,而可以据此自动抓取或者不抓取该网页内容如果将网站视為里的一个房间,robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参觀,哪些不对搜索引擎开放
Robots协议是Web站点和搜索引擎爬虫交互的一种方式，Robots.txt是存放在站点根目录下的一个纯文本文件该文件可以指定搜索引擎爬虫只抓取指定的内容，或者是禁止搜索引擎爬虫抓取网站的部分或全部内容当一个搜索引擎爬虫访问一个站点时，它会首先檢查该站点根目录下是否存在robots.txt如果存在，搜索引擎爬虫就会按照该文件中的内容来确定访问的范围；如果该文件不存在那么搜索引擎爬虫就沿着链接抓取。
另外robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写如果搜索引擎爬虫要访问的网站地址是http：//www.w3.org/，那么robots.txt文件必须能够通过http：//www.w3.org/robots.txt打开并看到里面的内容
具体使用格式如下:
(1)User.agent:用于描述搜索引擎爬虫的名字。在Robots.txt文件中如果有多条User-agent记錄，说明有多个搜索引擎爬虫会受到该协议的限制对该文件来说，至少要有一条User-agent记录如果该项的值设为木，则该协议对任何搜索引擎爬虫均有效在Robots.txt文件中，“User-agent:*这样的记录只能有一条
(2)Disallow:用于描述不希望被访问到的一个URL。这个URL可以是一条完整的路径也可以是部分路徑，任何以Disallow开头的URL均不会被Robot访问到
搜索引擎爬虫必须要遵守Robots协议并执行Web站点的要求。因此搜索引擎爬虫需要有一个分析Robots协议的模块并严格按照Robots协议的规定抓取Web主机允许访问的目录和网页。
当然Robots.txt只是一个协议，如果搜索引擎爬虫的设计者不遵循这个协议网站管理员也无法阻止搜索引擎爬虫对于某些页面的访问，但一般的搜索引擎爬虫都会遵循这些协议而且网站管理员还可以通过其他方式来拒绝网络蜘蛛对某些网页的抓取。
搜索引擎爬虫在下载网页的时候会去识别网页的HTML代码，在其代码部分会有META标识通过这些标识，鈳以告诉搜索引擎爬虫本网页是否需要被抓取还可以告诉搜索引擎爬虫本网页中的链接是否需要被继续跟踪。例如:表示本网页不需要被抓取但是网页内的链接需要被跟踪。
现在一般的网站都希望搜索引擎能更全面地抓取自己网站的网页因为这样可以让更多的访问者能通过搜索引擎找到此网站。为了让本网站的网页更全面地被抓取到网站管理员可以建立一个网站地图，即SiteMap许多搜索引擎爬虫会把sitemap.htm文件莋为一个网站网页爬取的入口，网站管理员可以把网站内部所有网页的链接放在这个文件里面那么搜索引擎爬虫可以很方便地把整个网站抓取下来，避免遗漏某些网页也会减小对网站的负担。
“Robots的约束力固然仅限于自律无强制性，但这不等于说它背后反映的精神没有法律基础。”中国院研究中心秘书长姜奇平表示美国的电子法就规定“将决定权交给，让其切实有效地授权或者拒绝他人采集和使用其个人信息”可见遵守规则就是要遵守，不是没有强制力就可以不
robots是什么?其在网站中有什么作用呢?艏先还是先看看robot定义：robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是/robots.txt这个文件
robots协议用来告知搜索引擎哪些页面能被抓取哪些页媔不能被抓取;可以屏蔽一些网站中比较大的文件，如：图片音乐，视频等节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接方便引导蜘蛛爬取页面。
"$" 匹配行结束符
"*" 匹配0或多个任意字符。
对于一般企业可以这样的去写在Disallow掉不想被搜索引擎抓取的文件即可，比如我们的网站数据图片等等。
经验内容仅供参考如果您需解决具体问题(尤其法律、医学等领域)，建議您详细咨询相关领域专业人士
