TA的每日心情 | 开心 2019-3-26 17:04 |
---|
签到天数: 2 天 [LV.1]初来乍到
|
我用的python
1. 先使用urllib模块,爬出百度搜索结果的加密链接。
www.baidu.com/link?.*? 用正则爬
2. 再使用302的重定向,把allow_redirects=False,, 获得真实地址。
import requests:
def get_real(self,o_url):
'''获取重定向url指向的网址'''
r = requests.get(o_url, allow_redirects=False) # 禁止自动跳转
if r.status_code == 302:
try:
return r.headers['location'] # 返回指向的地址
except:
pass
return o_url # 返回源地址
|
|