yun 发表于 2017-1-21 15:54:57

用python批量抓取网站的图片

本帖最后由 yun 于 2017-1-21 15:57 编辑

今天"无意"看美女无意溜达到一个网站,发现妹子多多,但是可恨一个page只显示一张或两张图片,于是自己写个小脚本,把图片扒下来再看,其实这个也可以用于黑帽seo当中,如果想抓取其它网站的话,自己稍微修改即可,简单实用
先来效果展示下:(这些图片是我自己从linux系统上下载下来,windows上展示的)
测试演示:(以下是自己在linux上演示的,关于python安装,直接yum install python*)
第一张图是原代码演示的结果:



这张图是自己修改过后的(里面的保存的路径和文件名定义,自己修改就好)



python核心代码:

代码思路:使用urllib2.urlopen(url).open来获取页面数据,再使用etree.HTML()将页面解析成xml格式,方便使用xmlpath方式来获取特定node的值,最终遍历所有页面得到要下载的图片,将图片保存到本地。--=========================================================python包安装:(windows上安装)很多python包没有windows安装包,或者没有X64版本的安装包,对于新手来说,很难快速上手,可以使用pip或easy_install来安装要使用的安装包,相关安装方式:https://pypi.python.org/pypi/setuptools本人采用easy_install方式,我电脑安装python2.7,安装路径为:C:\Python27\python.exe,下载ez_setup.py文件后到c盘保存,然后运行cmd执行以下命令:C:\Python27\python.exe "c:\ez_setup.py"即可安装easy_install,安装结束后可以C:\Python27\Scripts下看到easy_install-2.7.exe,如果我们想在本地安装requests包,那么可以运行以下命令来试下:"C:\Python27\Scripts\easy_install-2.7.exe" requests--==========================================================
最后过年了,给大家拜年了,看下图,哈哈哈哈:lol



ahseo 发表于 2017-2-28 10:41:01

下来我玩玩
页: [1]
查看完整版本: 用python批量抓取网站的图片