蜘蛛爬虫类程序抓取有防盗链的网站,简单破解防盗链网站

定位

一般防盗链措施都是判断访问来路，也就是referer，这种防盗链措施只对转载/转贴有效，对于采集程序来讲，referer很容易伪造。下面简单介绍一下使用wget和php脚本采集有防盗链措施网站的图片。

1、使用wget

wget是linux下非常好用的下载工具， --help可以看到提供了大量的参数，可以很方便自定义下载，伪造来路的参数是： -E --referer，如采集文件，完整的命令行是：

wget -E --referer http://www.xxx.com/

第一个网址是referer的参数表示从xxx.com来路访问的，后面的网址表示要下载的文件

（注：--help和--referer前面是两个-，wp把两个-自动转换成一个-了）


2、使用PHP脚本，可以使用file_get_contents函数，启用第三个参数，具体代码如下：

PHP Code

复制内容到剪贴板

<?php  
$context_options = array(  
'http' =>  
array(  
'method' => "GET",  
'header' => "User-Agent:Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.5.21022; .NET CLR 3.0.04506; CIBA) Accept:*/* Referer:http://www.xxx.com/",  
));  

$context = stream_context_create($context_options);  
$img = file_get_contents("http://www.xxx.com/logo.gif",FALSE,$context);  
file_put_contents("1.jpg",$img);  
当然php还有很多方法可以破解，比如利用curl或snoopy类都是可以的。

1、php解决网站被爬虫采集的初步解决方案

推荐被允许的爬虫
1.百度爬虫 Baiduspider+
例：220.181.108.87 – - [08/Oct/2010:09:45:25 +0800] “GET /cityjob/show/43885979 HTTP/1.1″ 200 4281 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)” -
2.google adsense爬虫 “Mediapartners-Google”
例：203.208.60.227 – - [08/Oct/2010:09:45:25 +0800] “GET /cityjob/show/43427627 HTTP/1.1″ 200 3282 “-” “Mediapartners-Google” -
推荐禁止的爬虫
php程序

url=@url=@_SERVER['HTTP_HOST'];
if(
strpos(_SERVER["HTTP_USER_AGENT"],'HPPrint') === false
&& strpos(_SERVER["HTTP_USER_AGENT"],'HPPrint') === false && strpos(_SERVER["HTTP_USER_AGENT"],'Indy') === false
&& strpos(_SERVER["HTTP_USER_AGENT"],'DigExt') === false
&& strpos(_SERVER["HTTP_USER_AGENT"],'DigExt') === false && strpos(_SERVER["HTTP_USER_AGENT"],'MJ12bot') === false
&& strpos(_SERVER["HTTP_USER_AGENT"],'WukongSpider') === false
&& strpos(_SERVER["HTTP_USER_AGENT"],'WukongSpider') === false && strpos(_SERVER["HTTP_USER_AGENT"],'51Logon.com') === false
&& strpos(_SERVER["HTTP_USER_AGENT"],'Sniffer') === false
&& strpos(_SERVER["HTTP_USER_AGENT"],'Sniffer') === false && strpos(_SERVER["HTTP_USER_AGENT"],'Gecko/20100722') === false
&& strpos(_SERVER["HTTP_USER_AGENT"],'huaweisymantec') === false
&& strpos(_SERVER["HTTP_USER_AGENT"],'huaweisymantec') === false && strpos(_SERVER["HTTP_USER_AGENT"],'Speedy Spider') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'psbot/0.1') === false
{

}else{

Header("Location: http://127.0.0.1/");
exit;
}



2、PHP抓取网页、采集网页的利器：Snoopy（史努比）

Snoopy下载地址 source地址：http://sourceforge.net/projects/snoopy/

Snoopy是什么?

Snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。


Snoopy的一些特点:
* 方便抓取网页的内容

* 方便抓取网页的文本内容 (去除HTML标签)

* 方便抓取网页的链接

* 支持代理主机

* 支持基本的用户名/密码验证

* 支持设置 user_agent, referer(来路), cookies 和 header content(头文件)

* 支持浏览器转向，并能控制转向深度

* 能把网页中的链接扩展成高质量的url(默认)

* 方便提交数据并且获取返回值

* 支持跟踪HTML框架(v0.92增加)

* 支持再转向的时候传递cookies (v0.92增加)



要想了解的更深入些，你自己Google一下吧。下面就给几个简单的例子：

1获取指定url内容
PHP代码

$url = "http://www.cnblackhat.com";

include("snoopy.php");

$snoopy = new Snoopy;

snoopy−>fetch(snoopy−>fetch(url); //获取所有内容

echo $snoopy->results; //显示结果

//可选以下

$snoopy->fetchtext //获取文本内容（去掉html代码）

$snoopy->fetchlinks //获取链接

$snoopy->fetchform //获取表单

2 表单提交
PHP代码

$formvars["username"] = "admin";

$formvars["pwd"] = "admin";

$action = "http://www.taoav.com";//表单提交地址

snoopy−>submit(snoopy−>submit(action,formvars);//formvars);//formvars为提交的数组

echo $snoopy->results; //获取表单提交后的 返回的结果

//可选以下

$snoopy->submittext; //提交后只返回 去除html的 文本

$snoopy->submitlinks;//提交后只返回 链接

既然已经提交的表单 那就可以做很多事情 接下来我们来伪装ip,伪装浏览器

3 伪装
PHP代码

$formvars["username"] = "admin";

$formvars["pwd"] = "admin";

$action = "http://www.cnblackhat.com";

include "snoopy.php";

$snoopy = new Snoopy;

$snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //伪装sessionid

$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //伪装浏览器

$snoopy->referer = "http://www.xxxx.cn"; //伪装来源页地址 http_referer

$snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http头信息

$snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //伪装ip

snoopy−>submit(snoopy−>submit(action,$formvars);

echo $snoopy->results;



原来我们可以伪装session 伪装浏览器 ，伪装ip， haha 可以做很多事情了。

例如 带验证码，验证ip 投票， 可以不停的投。

ps:这里伪装ip ，其实是伪装http头, 所以一般的通过 REMOTE_ADDR 获取的ip是伪装不了，

反而那些通过http头来获取ip的(可以防止代理的那种) 就可以自己来制造ip。

关于如何验证码 ，简单说下：

首先用普通的浏览器， 查看页面 ， 找到验证码所对应的sessionid，

同时记下sessionid和验证码值，

接下来就用snoopy去伪造 。

原理:由于是同一个sessionid 所以取得的验证码和第一次输入的是一样的。



4 有时我们可能需要伪造更多的东西,snoopy完全为我们想到了

PHP代码

$snoopy->proxy_host = "www.xxxx.cn";

$snoopy->proxy_port = "8080"; //使用代理

$snoopy->maxredirs = 2; //重定向次数

$snoopy->expandlinks = true; //是否补全链接 在采集的时候经常用到

// 例如链接为 /images/taoav.gif 可改为它的全链接 upload/200905122353246022.gif，这个地方其实可以在最后输出的时候用ereg_replace函数自己替换

$snoopy->maxframes = 5 //允许的最大框架数

//注意抓取框架的时候 $snoopy->results 返回的是一个数组

$snoopy->error //返回报错信息

上面的基本用法了解了，下面我就实例演示一次：

PHP代码

<?

//echo var_dump($_SERVER);

include("Snoopy.class.php");

$snoopy = new Snoopy;

snoopy−>agent="Mozilla/5.0(Windows;U;WindowsNT5.1;zh−CN;rv:1.9.0.5)Gecko/2008120122Firefox/3.0.5FirePHP/0.2.1";//这项是浏览器信息，前面你用什么浏览器查看cookie，就用那个浏览器的信息(ps:snoopy−>agent="Mozilla/5.0(Windows;U;WindowsNT5.1;zh−CN;rv:1.9.0.5)Gecko/2008120122Firefox/3.0.5FirePHP/0.2.1";//这项是浏览器信息，前面你用什么浏览器查看cookie，就用那个浏览器的信息(ps:_SERVER可以查看到浏 览器的信息)

$snoopy->referer = "http://bbs.phpchina.com/index.php";

$snoopy->expandlinks = true;

$snoopy->rawheaders["COOKIE"]="__utmz=17229162.1227682761.29.7.utmccn=(referral)|utmcsr=phpchina.com|utmcct=/html/index.html|utmcmd=referral; cdbphpchina_smile=1D2D0D1; cdbphpchina_cookietime=2592000; __utma=233700831.1562900865.1227113506.1229613449.1231233266.16; __utmz=233700831.1231233266.16.8.utmccn=(referral)|utmcsr=localhost:8080|utmcct=/test3.php|utmcmd=referral; __utma=17229162.1877703507.1227113568.1231228465.1231233160.58; uchome_loginuser=sinopf; xscdb_cookietime=2592000; __utmc=17229162; __utmb=17229162; cdbphpchina_sid=EX5w1V; __utmc=233700831; cdbphpchina_visitedfid=17; cdbphpchinaO766uPYGK6OWZaYlvHSuzJIP22VpwEMGnPQAuWCFL9Fd6CHp2e%2FKw0x4bKz0N9lGk; xscdb_auth=8106rAyhKpQL49eMs%2FyhLBf3C6ClZ%2B2idSk4bExJwbQr%2BHSZrVKgqPOttHVr%2B6KLPg3DtWpTMUI4ttqNNVpukUj6ElM; cdbphpchina_onlineusernum=3721";

$snoopy->fetch("http://bbs.phpchina.com/forum-17-1.html");

n=eregreplace("href=\"","href=\"http://bbs.phpchina.com/",n=eregreplace("href=\"","href=\"http://bbs.phpchina.com/",snoopy->results );

echo ereg_replace("src=\"","src=\"http://bbs.phpchina.com/",$n);

?>

这 是模拟登陆PHPCHINA论坛的过程，首先要查看自己浏览器的信息：echo var_dump(SERVER);这句代码可以看到自己浏览器的信息，把SERVER);这句代码可以看到自己浏览器的信息，把_SERVER['HTTP_USER_AGENT']后边的内容复制下来，粘在snoopy−>agent的地方，然后就是要查看自己的COOKIE了，用自己在论坛的账号登陆论坛后，在浏览器地址栏里输入javascript:document.write(document.cookie)，回车，就可以看到自己的cookie信息，复制粘贴到snoopy−>agent的地方，然后就是要查看自己的COOKIE了，用自己在论坛的账号登陆论坛后，在浏览器地址栏里输入javascript:document.write(document.cookie)，回车，就可以看到自己的cookie信息，复制粘贴到snoopy->rawheaders["COOKIE"]=的后边。（我的cookie信息为了安全起见已经删除了一段内容）


snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。

下面是它的一些特征：

1、方便抓取网页的内容

2、方便抓取网页的文字（去掉HTML代码）

3、方便抓取网页的链接

4、支持代理主机

5、支持基本的用户/密码认证模式

6、支持自定义用户agent,referer,cookies和header内容

7、支持浏览器转向，并能控制转向深度

8、能把网页中的链接扩展成高质量的url（默认）

9、方便提交数据并且获取返回值

10、支持跟踪HTML框架（v0.92增加）

11、支持再转向的时候传递cookies

12、支持sock

类属性: (缺省值在括号里)

$host 连接的主机

$port 连接的端口

$proxy_host 使用的代理主机，如果有的话

$proxy_port 使用的代理主机端口，如果有的话

$agent 用户代理伪装 (Snoopy v0.1)

$referer 来路信息，如果有的话

$cookies cookies， 如果有的话

$rawheaders 其他的头信息, 如果有的话

$maxredirs 最大重定向次数， 0=不允许 (5)

$offsiteok whether or not to allow redirects off-site. (true)

$expandlinks          是否将链接都补全为完整地址 (true)

$user 认证用户名, 如果有的话

$pass 认证用户名, 如果有的话

$accept http 接受类型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)

$error 哪里报错, 如果有的话

$response_code 从服务器返回的响应代码

$headers 从服务器返回的头信息

$maxlength 最长返回数据长度

$read_timeout 读取操作超时 (requires PHP 4 Beta 4+)

设置为0为没有超时

$timed_out 如果一次读取操作超时了，本属性返回 true (requires PHP 4 Beta 4+)

$maxframes 允许追踪的框架最大数量

$status 抓取的http的状态

$temp_dir 网页服务器能够写入的临时文件目录 (/tmp)

$curl_path cURL binary 的目录, 如果没有cURL binary就设置为 false

类方法:

fetch($URI)

-----------

这是为了抓取网页的内容而使用的方法。

$URI参数是被抓取网页的URL地址。

抓取的结果被存储在 $this->results 中。

如果你正在抓取的是一个框架，Snoopy将会将每个框架追踪后存入数组中，然后存入 $this->results。



fetchtext($URI)

---------------

本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中的文字内容。



fetchform($URI)

---------------

本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中表单内容(form)。



fetchlinks($URI)

----------------

本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。

默认情况下，相对链接将自动补全，转换成完整的URL。



submit(URI,URI,formvars)

----------------------

本方法向URL指定的链接地址发送确认表单。URL指定的链接地址发送确认表单。formvars是一个存储表单参数的数组。


submittext(URI,URI,formvars)

--------------------------

本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回登陆后网页中的文字内容。



submitlinks($URI)

----------------

本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。

默认情况下，相对链接将自动补全，转换成完整的URL。


例子:

<?php

include "Snoopy.class.php";

$url = "http://www.tudou.com/acehat";//

$snoopy = new Snoopy;

snoopy−>fetchtext(snoopy−>fetchtext(url);//抓取内容（去掉html代码）

#snoopy−>fetchlinks(snoopy−>fetchlinks(url);//抓取链接

#snoopy−>fetchform(snoopy−>fetchform(url); //获取表单

print_r($snoopy->results);打出结果



/******************************表单提交****************************/

$submit_url = "http://www.baidu.com/index.php";//提交页面

$formvars["wd"] = "QQ:1074189538";//搜索的词

snoopy−>submit(snoopy−>submit(submit_url,$formvars);

print_r($snoopy->results);//获取表单提交后的 返回的结果   

# $snoopy->submittext; //提交后只返回 去除html的 文本

# $snoopy->submitlinks;//提交后只返回 链接



/******************************来伪装ip,伪装浏览器****************************/

$formvars["username"] = "admin";

$formvars["pwd"] = "admin";

$action = "http://www.cnblackhat.com"; //提交页面

$snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //伪装sessionid

$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //伪装浏览器

$snoopy->referer = http://www.php100.com; //伪装来源页地址 http_referer

$snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http头信息

$snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //伪装ip

snoopy−>submit(snoopy−>submit(action,$formvars);

echo $snoopy->results;



原来我们可以伪装session 伪装浏览器 ，伪装ip， haha 可以做很多事情了。

例如 带验证码，验证ip 投票， 可以不停的投。

ps:这里伪装ip ，其实是伪装http头, 所以一般的通过 REMOTE_ADDR 获取的ip是伪装不了，

反而那些通过http头来获取ip的(可以防止代理的那种) 就可以自己来制造ip。

关于如何验证码 ，简单说下：

首先用普通的浏览器， 查看页面 ， 找到验证码所对应的sessionid，

同时记下sessionid和验证码值，

接下来就用snoopy去伪造 。

原理:由于是同一个sessionid 所以取得的验证码和第一次输入的是一样的。

有时我们可能需要伪造更多的东西,snoopy完全为我们想到了



$snoopy->proxy_host = "www.php100.com";

$snoopy->proxy_port = "8080"; //使用代理

$snoopy->maxredirs = 2; //重定向次数

$snoopy->expandlinks = true; //是否补全链接 在采集的时候经常用到

// 例如链接为 /images/cnblackhat.gif 可改为它的全链接

$snoopy->maxframes = 5 //允许的最大框架数

//注意抓取框架的时候 $snoopy->results 返回的是一个数组

$snoopy->error //返回报错信息


例子: 抓取一个页面并显示他的头信息和页面内容 (去掉HTML标签的页面):
include "Snoopy.class.php";

$snoopy = new Snoopy;

$snoopy->user = "joe";

$snoopy->pass = "bloe";

if($snoopy->fetch("http://www.slashdot.org/"))

{

echo "response code: ".$snoopy->response_code."<br>\n";

while(list(key,key,val) = each($snoopy->headers))

echo key.":".key.":".val."<br>\n";

echo "<p>\n";



echo "<;PRE>".htmlspecialchars($snoopy->results)."</PRE>\n";

}

else

echo "error fetching document: ".$snoopy->error."\n";

例子: 提交一个表单并且打印出头信息和去掉HTML标签的页面:

include "Snoopy.class.php";

$snoopy = new Snoopy;

$submit_url = "http://lnk.ispi.net/texis/scripts/msearch/netsearch.html";

$submit_vars["q"] = "amiga";

$submit_vars["submit"] = "Search!";

$submit_vars["searchhost"] = "Altavista";

if(snoopy−>submit(snoopy−>submit(submit_url,$submit_vars))

{

while(list(key,key,val) = each($snoopy->headers))

echo key.":".key.":".val."<br>\n";

echo "<p>\n";

echo "<;PRE>".htmlspecialchars($snoopy->results)."</PRE>\n";

}

else

echo "error fetching document: ".$snoopy->error."\n";


例子: 展示所有属性的功能:

include "Snoopy.class.php";

$snoopy = new Snoopy;

$snoopy->proxy_host = "my.proxy.host";

$snoopy->proxy_port = "8080";

$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";

$snoopy->referer = "http://www.microsnot.com/";

$snoopy->cookies["SessionID"] = 238472834723489l;

$snoopy->cookies["favoriteColor"] = "RED";

$snoopy->rawheaders["Pragma"] = "no-cache";

$snoopy->maxredirs = 2;

$snoopy->offsiteok = false;

$snoopy->expandlinks = false;

$snoopy->user = "joe";

$snoopy->pass = "bloe";

if($snoopy->fetchtext("http://www.phpbuilder.com"))

{

while(list(key,key,val) = each($snoopy->headers))

echo key.":".key.":".val."<br>\n";

echo "<p>\n";

echo "<;PRE>".htmlspecialchars($snoopy->results)."</PRE>\n";

}

else

echo "error fetching document: ".$snoopy->error."\n";

例子: 抓取框架内容并展示结果：

include "Snoopy.class.php";

$snoopy = new Snoopy;

$snoopy->maxframes = 5;

if($snoopy->fetch("http://www.ispi.net/"))

{

echo "<;PRE>".htmlspecialchars($snoopy->results[0])."</PRE>\n";

echo "<;PRE>".htmlspecialchars($snoopy->results[1])."</PRE>\n";

echo "<;PRE>".htmlspecialchars($snoopy->results[2])."</PRE>\n";

}

else

echo "error fetching document: ".$snoopy->error."\n";


3、PHP 使用 CURL 同步抓取多个网页

一般CURL 抓网页的方法， 是一页一页抓， 假设要抓 4页， 所费时间各别是 5,10,7,5 秒， 那全部总合所花的时间就是 5 + 10 + 7 + 5 = 27 秒。

若能同时间去抓取多个网页， 所花费的时间 5,10,7,5 秒， 全部总合所花的时间是 10 秒。（花费最多时间的秒数）

于JavaScript 可使用 AJAX 的 async（YAHOO.util.Connect.asyncRequest）来达成， 于 PHP 可以用 CURL 来达成此 Multi-Threading 的效果。

程序（async.php）

以下为引用的内容：

<?php

function async_get_url(urlarray,urlarray,wait_usec = 0)

{

    if (!is_array($url_array))

        return false;

    waitusec=intval(waitusec=intval(wait_usec);

    $data    = array();

    $handle  = array();

    $running = 0;

    $mh = curl_multi_init(); // multi curl handler

    $i = 0;

    foreach(urlarrayasurlarrayasurl) {

        $ch = curl_init();

        curl_setopt(ch,CURLOPTURL,ch,CURLOPTURL,url);

        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don't print

        curl_setopt($ch, CURLOPT_TIMEOUT, 30);

        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');

        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirect

        curl_setopt($ch, CURLOPT_MAXREDIRS, 7);

        curl_multi_add_handle(mh,mh,ch); // 把 curl resource 放进 multi curl handler 里

        handle[handle[i++] = $ch;

    }

    /* 执行 */

    do {

        curl_multi_exec(mh,mh,running);

        if ($wait_usec > 0) /* 每个 connect 要间隔多久 */

            usleep($wait_usec); // 250000 = 0.25 sec

    } while ($running > 0);

    /* 读取资料 */

    foreach(handleashandleasi => $ch) {

        content=curlmultigetcontent(content=curlmultigetcontent(ch);

        data[data = (curl_errno(ch)==0)?ch)==0)?content : false;

    }


    /* 移除 handle*/

    foreach(handleashandleasch) {

        curl_multi_remove_handle(mh,mh,ch);

    }


    curl_multi_close($mh);

    return $data;

}

?>


使用以下为引用的内容：

<?php

$urls = array('http://example1.com', 'http://example2.com');

print_r(async_get_url($urls)); // [0] => example1, [1] => example2

?>



测试

sleep.php # 看时间延长取得的效果

以下为引用的内容：

<?php

sleep(intval($_GET['time']));

echo intval($_GET['time']);

?>



以下为引用的内容：

<?php

$url_array = array(

        'http://example.com/sleep.php?time=5',

        'http://example.com/sleep.php?time=10',

        'http://example.com/sleep.php?time=7',

        'http://example.com/sleep.php?time=5',

        );

print_r(async_get_url($url_array));

// 总花费时间会是 10 秒, 并印出 [0] => 5, [1] => 10, [2] => 7, [3] => 5

?>