admin 发表于 2016-11-15 10:39:37

Robots语法练习实战

1、/cnblackhat/目录下面的所有动态路径都需要屏蔽,但又允许搜索引擎抓取/cnblackhat/目录下面的/heimao/和/heimao1/目录下的动态路径。同时还要屏蔽/heimao2/目录下的.html静态路径和带有.png .gif的图片


禁止百度的

User-agent:baiduspider
Allow:/cnblackhat/heimao/*?*
Allow:/cnblackhat/heimao1/*?*
Disallow:/cnblackhat/heimao2/.html$
Disallow:/cnblackhat/heimao2/*.png
Disallow:/cnblackhat/heimao2/*.gif
Disallow:/cnblackhat/*?*



2、/cnblackhat/heimao/这个目录下的所有的静态路径
注明:这个网站的静态路径全部是.html的,不包含.php的路径的静态地址


禁止谷歌的

User-agent:googlebot
Allow:/cnblackhat/heimao/.php$
Disallow:/cnblackhat/heimao/.html$
页: [1]
查看完整版本: Robots语法练习实战