2024年6月11日发(作者：)

robots是搜索引擎访问你网站的第一站！这是一个协议！当你网站有这个文件时就会遵循

这个协议！哪些文件需要它收录，哪些URL不需要它收录！我们应该怎么写呢？

首先，我们来了解robots文件的语法：

1、User-agent 定义搜索引擎

一般情况下，网站里面都是：User-agent: *，这里*的意思是所有，表示定义所有的搜索引

擎。比如，我想定义百度，那么就是User-agent: Baiduspider;定义google

User-agent: Googlebot。

2、Disallow 禁止爬取

如，我想禁止爬取我的admin文件夹，那就是Disallow: /admin。禁止爬取admin文件夹

下的，Disallow: /admin/。

3、Allow 允许

我们都知道，在默认情况下，都是允许的。那为什么还要允许这个语法呢?举个例子：我想

禁止admin文件夹下的所有文件，除了.html的网页，那怎么写呢?我们知道可以用Disallow一

个一个

禁止，但那样太费时间很精力了。这时候运用Allow就解决了复杂的问题，就这样写：

玩具储蓄罐/,吹膜机/

Allow: /admin/.html$

Disallow: /admin。

4、$ 结束符

例：Disallow: .php$ 这句话的意思是，屏蔽所有的以.php结尾的文件，不管前面有多长的

URL，如abc/aa/bb//也是屏蔽的。

5、* 通配符

符号*表示0或多个任意字符。例：Disallow: *?* 这里的意思是屏蔽所有带“?”文件，也

是屏蔽所有的动态URL。

文件写法举例说明

禁止Google/百度等所有搜索引擎访问整个网站

User-agent: *

Disallow: /

允许所有的搜索引擎spider访问整个网站(Disallow:可以用Allow: /替代)

User-agent: *

玩具储蓄罐/,吹膜机/