TA的每日心情 | 奋斗 2019-10-18 11:20 |
---|
签到天数: 678 天 [LV.9]以坛为家II
|
用php实现让页面只能被百度gogole蜘蛛访问的方法,需要的朋友可以参考下。
普通用户与搜索引擎蜘蛛爬行的区别在于发送的user agent,
看网站日志文件能发现百度蜘蛛名字包含Baiduspider, 而google的则是Googlebot, 这样我们可以通过判断发送的user agent来决定要不要取消普通用户的访问
在要禁止访问的页面头部引用上传的附件里面的文件来做判断就ok了
php屏蔽相关蜘蛛访问.zip
(2.08 KB, 下载次数: 6, 售价: 3 黑币)
相关链接:根据user-agent判断蜘蛛跳转黑帽代码(js版与php版本) |
|