黑帽联盟

 找回密码
 会员注册
查看: 1856|回复: 1
打印 上一主题 下一主题

[工具] 用python批量抓取网站的图片

[复制链接]
yun 黑帽联盟官方人员 

920

主题

37

听众

1364

积分

超级版主

Rank: 8Rank: 8

  • TA的每日心情
    奋斗
    2019-10-18 11:20
  • 签到天数: 678 天

    [LV.9]以坛为家II

    本帖最后由 yun 于 2017-1-21 15:57 编辑

    今天"无意"看美女无意溜达到一个网站,发现妹子多多,但是可恨一个page只显示一张或两张图片,于是自己写个小脚本,把图片扒下来再看,其实这个也可以用于黑帽seo当中,如果想抓取其它网站的话,自己稍微修改即可,简单实用

    先来效果展示下:(这些图片是我自己从linux系统上下载下来,windows上展示的)
    python抓取

    测试演示:(以下是自己在linux上演示的,关于python安装,直接yum install python*)
    第一张图是原代码演示的结果:

    python批量抓取

    这张图是自己修改过后的(里面的保存的路径和文件名定义,自己修改就好)

    python抓取图片

    python核心代码:
    python批量抓取图片.zip (2.6 KB, 下载次数: 4, 售价: 2 黑币)

    代码思路:
    使用urllib2.urlopen(url).open来获取页面数据,再使用etree.HTML()将页面解析成xml格式,方便使用xmlpath方式来获取特定node的值,最终遍历所有页面得到要下载的图片,将图片保存到本地。
    --=========================================================
    python包安装:(windows上安装)
    很多python包没有windows安装包,或者没有X64版本的安装包,对于新手来说,很难快速上手,可以使用pip或easy_install来安装要使用的安装包,相关安装方式:https://pypi.python.org/pypi/setuptools
    本人采用easy_install方式,我电脑安装python2.7,安装路径为:C:\Python27\python.exe,下载ez_setup.py文件后到c盘保存,然后运行cmd执行以下命令:
    C:\Python27\python.exe "c:\ez_setup.py"
    即可安装easy_install,安装结束后可以C:\Python27\Scripts下看到easy_install-2.7.exe,如果我们想在本地安装requests包,那么可以运行以下命令来试下:
    "C:\Python27\Scripts\easy_install-2.7.exe" requests
    --==========================================================

    最后过年了,给大家拜年了,看下图,哈哈哈哈:lol
    16.jpg


    帖子永久地址: 

    黑帽联盟 - 论坛版权1、本主题所有言论和图片纯属会员个人意见,与本论坛立场无关
    2、本站所有主题由该帖子作者发表,该帖子作者与黑帽联盟享有帖子相关版权
    3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和黑帽联盟的同意
    4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
    5、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责
    6、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
    7、黑帽联盟管理员和版主有权不事先通知发贴者而删除本文

    0

    主题

    0

    听众

    15

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    奋斗
    2017-10-13 17:20
  • 签到天数: 15 天

    [LV.4]偶尔看看III

    下来我玩玩
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 会员注册

    发布主题 !fastreply! 收藏帖子 返回列表 搜索
    回顶部