Robots语法练习实战
1、/cnblackhat/目录下面的所有动态路径都需要屏蔽，但又允许搜索引擎抓取/cnblackhat/目录下面的/heimao/和/heimao1/目录下的动态路径。同时还要屏蔽/heimao2/目录下的.html静态路径和带有.png .gif的图片禁止百度的
User-agent：baiduspider
Allow：/cnblackhat/heimao/*?*
Allow：/cnblackhat/heimao1/*?*
Disallow：/cnblackhat/heimao2/.html$
Disallow：/cnblackhat/heimao2/*.png
Disallow：/cnblackhat/heimao2/*.gif
Disallow：/cnblackhat/*?*
2、/cnblackhat/heimao/这个目录下的所有的静态路径
注明：这个网站的静态路径全部是.html的，不包含.php的路径的静态地址
禁止谷歌的
User-agent：googlebot
Allow：/cnblackhat/heimao/.php$
Disallow：/cnblackhat/heimao/.html$
页:
[1]