黑帽联盟

标题: Robots语法练习实战 [打印本页]

作者: admin 时间: 2016-11-15 10:39
标题: Robots语法练习实战
1、/cnblackhat/目录下面的所有动态路径都需要屏蔽，但又允许搜索引擎抓取/cnblackhat/目录下面的/heimao/和/heimao1/目录下的动态路径。同时还要屏蔽/heimao2/目录下的.html静态路径和带有.png .gif的图片

禁止百度的

User-agent：baiduspider
Allow：/cnblackhat/heimao/*?*
Allow：/cnblackhat/heimao1/*?*
Disallow：/cnblackhat/heimao2/.html$
Disallow：/cnblackhat/heimao2/*.png
Disallow：/cnblackhat/heimao2/*.gif
Disallow：/cnblackhat/*?*

2、/cnblackhat/heimao/这个目录下的所有的静态路径
注明：这个网站的静态路径全部是.html的，不包含.php的路径的静态地址

禁止谷歌的

User-agent：googlebot
Allow：/cnblackhat/heimao/.php$
Disallow：/cnblackhat/heimao/.html$

欢迎光临黑帽联盟 (https://bbs.cnblackhat.com/)