黑帽联盟

标题: 用python批量抓取网站的图片 [打印本页]

作者: yun 时间: 2017-1-21 15:54
标题: 用python批量抓取网站的图片
本帖最后由 yun 于 2017-1-21 15:57 编辑

今天"无意"看美女无意溜达到一个网站，发现妹子多多，但是可恨一个page只显示一张或两张图片，于是自己写个小脚本，把图片扒下来再看，其实这个也可以用于黑帽seo当中，如果想抓取其它网站的话，自己稍微修改即可，简单实用

先来效果展示下：（这些图片是我自己从linux系统上下载下来，windows上展示的）

测试演示：（以下是自己在linux上演示的，关于python安装，直接yum install python*）
第一张图是原代码演示的结果：

这张图是自己修改过后的（里面的保存的路径和文件名定义，自己修改就好）

python核心代码：

python批量抓取图片.zip (2.6 KB, 下载次数: 4, 售价: 2 黑币)

代码思路：

使用urllib2.urlopen(url).open来获取页面数据，再使用etree.HTML()将页面解析成xml格式，方便使用xmlpath方式来获取特定node的值，最终遍历所有页面得到要下载的图片，将图片保存到本地。

--=========================================================

python包安装：（windows上安装）

很多python包没有windows安装包，或者没有X64版本的安装包，对于新手来说，很难快速上手，可以使用pip或easy_install来安装要使用的安装包，相关安装方式：https://pypi.python.org/pypi/setuptools

本人采用easy_install方式，我电脑安装python2.7，安装路径为：C:\Python27\python.exe，下载ez_setup.py文件后到c盘保存，然后运行cmd执行以下命令：

C:\Python27\python.exe "c:\ez_setup.py"

即可安装easy_install，安装结束后可以C:\Python27\Scripts下看到easy_install-2.7.exe，如果我们想在本地安装requests包，那么可以运行以下命令来试下：

"C:\Python27\Scripts\easy_install-2.7.exe" requests

--==========================================================

最后过年了，给大家拜年了，看下图，哈哈哈哈:lol

作者: ahseo 时间: 2017-2-28 10:41
下来我玩玩

欢迎光临黑帽联盟 (https://bbs.cnblackhat.com/)