yun 发表于 2016-12-22 22:48:39

用php实现让页面只能被百度gogole蜘蛛访问

用php实现让页面只能被百度gogole蜘蛛访问的方法，需要的朋友可以参考下。

普通用户与搜索引擎蜘蛛爬行的区别在于发送的user agent，
看网站日志文件能发现百度蜘蛛名字包含Baiduspider, 而google的则是Googlebot, 这样我们可以通过判断发送的user agent来决定要不要取消普通用户的访问

在要禁止访问的页面头部引用上传的附件里面的文件来做判断就ok了




相关链接：根据user-agent判断蜘蛛跳转黑帽代码(js版与php版本)

zte123 发表于 2016-12-23 15:52:46

有什么用呢？

wozuida0001 发表于 2016-12-23 21:01:09

先下载了留着用！！！！！！！！！！！！:)
页: [1]
查看完整版本: 用php实现让页面只能被百度gogole蜘蛛访问