黑帽联盟

标题: curl实现抓取302跳转后页面 [打印本页]

作者: 定位    时间: 2017-3-12 01:52
标题: curl实现抓取302跳转后页面
curl实现抓取302跳转后页面,主要是对CURLOPT_CUSTOMREQUEST参数的运用,需要的会员可以参考下

PHP的CURL正常抓取页面程序如下


如果你抓取到的是302状态,是因为再抓取的过程中,有的跳转需要给下一个链接传递参数,而下一个链接同时也设置了如果没接收到相应的参数是为非法访问。

显示就应该正常了。

上面用来抓取功能,几乎应该没问题的。你可以查一下CURLOPT_CUSTOMREQUEST相关资料。

使用一个自定义的请求信息来代替”GET”或”HEAD”作为HTTP请求。这对于执行”DELETE” 或者其他更隐蔽的HTTP请求。有效值如”GET”,”POST”,”CONNECT”等等。也就是说,不要在这里输入整个HTTP请求。例如输入”GET /index.html HTTP/1.0\r\n\r\n”是不正确的。


作者: jaoao    时间: 2017-3-21 09:53
看看,学习一下
作者: 1546897436    时间: 2017-4-21 06:36
66666
作者: 左右为难    时间: 2017-5-26 22:54
学习学习学习。。。。。
作者: 夏天    时间: 2017-10-24 17:08
谢谢,想学习




欢迎光临 黑帽联盟 (https://bbs.cnblackhat.com/) Powered by Discuz! X2.5