查看: 1681|回复: 4

[经验] curl实现抓取302跳转后页面

895 主题	38 听众	3323 积分

管理员

Rank: 9 Rank: 9 Rank: 9

TA的每日心情

	无聊 5 天前

签到天数: 1644 天

[LV.Master]伴坛终老

电梯直达

楼主

|只看该作者 |倒序浏览

curl实现抓取302跳转后页面,主要是对CURLOPT_CUSTOMREQUEST参数的运用,需要的会员可以参考下

PHP的CURL正常抓取页面程序如下

游客，如果您要查看本帖隐藏内容请回复

如果你抓取到的是302状态，是因为再抓取的过程中，有的跳转需要给下一个链接传递参数，而下一个链接同时也设置了如果没接收到相应的参数是为非法访问。

游客，如果您要查看本帖隐藏内容请回复

显示就应该正常了。

上面用来抓取功能，几乎应该没问题的。你可以查一下CURLOPT_CUSTOMREQUEST相关资料。

使用一个自定义的请求信息来代替”GET”或”HEAD”作为HTTP请求。这对于执行”DELETE” 或者其他更隐蔽的HTTP请求。有效值如”GET”，”POST”，”CONNECT”等等。也就是说，不要在这里输入整个HTTP请求。例如输入”GET /index.html HTTP/1.0\r\n\r\n”是不正确的。

curl抓取页面, 黑帽seo

转播0 淘帖0 分享0 收藏0 赞0 踩0

帖子永久地址：

黑帽联盟 - 论坛版权1、本主题所有言论和图片纯属会员个人意见，与本论坛立场无关
2、本站所有主题由该帖子作者发表，该帖子作者与黑帽联盟享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和黑帽联盟的同意
4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
5、本帖部分内容转载自其它媒体，但并不代表本站赞同其观点和对其真实性负责
6、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意
7、黑帽联盟管理员和版主有权不事先通知发贴者而删除本文