在我们的网址发布以后，一定会有一些不愿让百度搜索爬取的网页页面、文档，对于这类难题，大家就需要应用协议书去屏蔽掉。那麼这一协议书是啥？到底要怎么写这一协议书呢？
一、什么叫百度搜索引擎协议书： 百度搜索引擎协议书也就是大家常说的robots.txt。它是大家网址和百度搜索引擎中间的协议书。当百度搜索引擎赶到大家网址的情况下，会先看一看有木有这一文档，在开展下一步的爬取。可是必须留意的是，这一协议书仅仅大家单方的，百度搜索引擎遵循是否，大家管不住。可是一切正常状况下百度搜索引擎会遵循这一协议书。
robots.txt英语的语法： 1.基础英语的语法： User-agent 界定协议书的百度搜索引擎。 Disallow 不允许爬取 Allow 容许爬取 * 使用通配符，意味着全部 $ 结束符 2.详细信息解读： User-agent: * 全部的百度搜索引擎必须遵循 PS：1.英语的首写一定要英文大写。相同。2.疑问一定是英语情况下的。相同。3.疑问以后一定要有一个空格符。相同。 User-agent: Baiduspider 对于百度搜索的协议书 Disallow: / 屏蔽掉整站 Disallow: /can/ 屏蔽掉can文档下的全部文档 Allow: /can/123 屏蔽掉can文档下的全部文档，可是容许百度收录123 Disallow: /*.jpg$ 屏蔽掉全部的图片文件。 PS：使用通配符，一定要有结束符。要不然很有可能造成 一切正常的途径被屏蔽。
二、这些状况必须应用robots
1.统一途径 在大家的网址中，偏向网页页面的途径一定是有且只有一个。一旦多方式偏向一个网页页面，会造成 百度搜索不清楚百度收录哪个网页页面。因此 大家要是屏蔽掉一个，让网站收录大家想让百度收录的。 2.检索途径 如果我们网址中有输入框，那麼大家就需要把百度搜索网页页面给屏蔽。目地便是为了更好地避免 有些人应用这一输入框捣蛋。 3.标识途径 如果我们网址有标识网页页面，这一标识网页页面便是汉语的连接，汉语连接百度搜索不认识，因此 要屏蔽掉。 4.js文件 针对js文件或是别的无意义的文档，大家都能够屏蔽。
常见问题： 1.基本英语的语法中PS的点。 2.起效時间 robots是大家和百度搜索引擎中间的一个单方的协议书，并不是大家今日写上，明日百度搜索便会遵循。想让百度搜索遵循是必须一个全过程的，一般状况下是两月。可是都不清除当日写，当日起效。因此 在变更robots的情况下，一定要小心小心再当心。一旦你的robots不对，对全部网址的危害是极大的。 3.不必随意的屏蔽掉整站源码 一些初学者在建立网站的情况下，沒有整体规划，随搭随建，网址不可以一下子搞好，常常做一个半拉，因此 许多 初学者便会将大家的网址所有屏蔽。假如你确实那么干了，那麼我想祝贺你了，搜索引擎蜘蛛很有可能在未来的两月中不到浏览你的网址。就算就是你去请搜索引擎蜘蛛也不会来。因此 这儿给初学者的提议便是一定要对网站的建设好，一次性构建进行。等候百度收录。
文章内容来源于：懒猫seo博客
来源于详细地址：http://www.lanmaoseo.com/seowzyh/6995.html
robots.txt文件要怎么写才恰当呢？
曾庆平SEO在前面的文章内容中讲过robots.txt定义的情况下，留有一个难题：为何曾庆平SEO的robots.txt写的那麼繁杂?曾庆平SEO的robots.txt：http://www.xxx.com/robots.txt那样做的目地是，让百度搜索引擎来看网址更标准和权威性。
网址robots文件没搞好产生的危害不能小视
seo优化全过程很容易忽略的一个便是robots文件，由于假如网址完全不做robots文件仿佛都没有多少危害，但不搞好这一文档，造成的难题可不可以小视。
