TA的每日心情 | 慵懒 2024-12-6 00:09 |
---|
签到天数: 377 天 [LV.9]以坛为家II
|
1、/cnblackhat/目录下面的所有动态路径都需要屏蔽,但又允许搜索引擎抓取/cnblackhat/目录下面的/heimao/和/heimao1/目录下的动态路径。同时还要屏蔽/heimao2/目录下的.html静态路径和带有.png .gif的图片
禁止百度的
User-agent:baiduspider
Allow:/cnblackhat/heimao/*?*
Allow:/cnblackhat/heimao1/*?*
Disallow:/cnblackhat/heimao2/.html$
Disallow:/cnblackhat/heimao2/*.png
Disallow:/cnblackhat/heimao2/*.gif
Disallow:/cnblackhat/*?*
2、/cnblackhat/heimao/这个目录下的所有的静态路径
注明:这个网站的静态路径全部是.html的,不包含.php的路径的静态地址
禁止谷歌的
User-agent:googlebot
Allow:/cnblackhat/heimao/.php$
Disallow:/cnblackhat/heimao/.html$
|
|