1. robots文件是一个站点跟搜索引擎的爬虫之间所需要遵守的一个协议，告诉爬虫这个站点哪些文件是允许被爬取并被搜索引擎索引的，哪些是不允许爬取的。也是搜索引擎蜘蛛进入到站点第一个要查看的文件。
2. 那robots文件是怎么做的呢robots协议？也就是将自己站点需要和不需要被爬取的文件或文件夹写入到一个robots.txt文件中，然后放在自己网站的根目录就行。这个也很简单，网上一搜一大把。
3. 这个文件到底有没有用呢robots协议？这个就不好说了，既然是协议而不是合同，那就相当于要把它理解为是一个君子之约，是君子当然就遵守了，不是君子谁说得准呢？就比如俩人约定几点到某地，其中一人就想晚到几分钟或者放另一个人的鸽子，那又有什么办法呢，是吧？
4. 那有没有必要放这个文件呢？个人觉得还是很有必要的，而且我在自己的站点也是要放的robots协议。可能部分搜索引擎在某些情况下会不遵守，但个人觉得总体来说还是蛮有用的。万一咱站点里面有什么密码或是其它自己不愿意公开的文件，被搜索引擎抓取后公之于众，那多不好。
5. 且不管这个协议有没有用，但毕竟是一个好的协议，一个好的协议大家都遵守着，也不会有什么坏处的robots协议。