黑帽联盟

标题: 禁止百度收录网站的某些图片 [打印本页]

作者: 权利的游戏    时间: 2017-7-6 17:31
标题: 禁止百度收录网站的某些图片
禁止百度收录网站的某些图片,大家可能会有疑问,为什么要禁止啊,收录图片不是更好,事实确实是这样的,但是我们有时候自己的网站有别人的广告图片,难道我们也要让广告图片也被收录吗?肯定不想是吧。还有一种就是涉及版权的问题。

如何禁止百度收录网站的某些图片

我通常采用的方法是在robots.txt里面设置禁止百度蜘蛛抓取,我分三种情况给大家介绍一下:

一、禁止百度蜘蛛抓取网站上所有图片

robots.txt文件里添加以下代码即可,格式都是这样的:Disallow: /*.图片格式$:

User-agent: Baiduspider

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$

二、允许百度蜘蛛抓取网站上某一种格式的图片

比如说,我们要抓取.jpg格式的,那就在robots.txt文件里添加以下代码即可,里面加上允许的Allow标签:

User-agent: Baiduspider

Allow: /*.jpg$

Disallow: /*.gif$

Disallow: /*.jpeg$

Disallow: /*.png$

Disallow: /*.bmp$

三、仅禁止百度蜘蛛抓取某一种格式的图片

以禁止百度蜘蛛抓取.jpg格式的图片为例,在robots.txt文件里添加以下代码:

User-agent: Baiduspider

Disallow: /*.jpg$

以上的用法同样适用于其它搜索引擎的蜘蛛。

比如说我们的广告图片是xxxxxx.com/guanggao.png,我们可以使用下面的方法

User-agent: Baiduspider
Disallow: /guanggao.png

另外,有人会说,搜索引擎蜘蛛不一定都遵循robots规则;那么我的看法是,对于绝大多数的搜索引擎还是遵循这样的原则的,在robots.txt里面设置 还是会有一定的效果的。大家也可以去实践一下,就能更加明白了。

以上是我给大家介绍的如何禁止百度收录网站的某些图片相关信息,大家也可看一下管理之前发过的robots语法


相关链接:
Robots内部语法详解

Robots语法练习实战

作者: gbproseo    时间: 2017-8-14 17:57
学习了,很强




欢迎光临 黑帽联盟 (https://bbs.cnblackhat.com/) Powered by Discuz! X2.5