黑帽联盟

标题: 各个搜索引擎实时监测蜘蛛爬行脚本(定位原创) [打印本页]

作者: admin    时间: 2016-10-28 16:28
本主题需向作者支付 4 黑币 才能浏览
作者: 愤怒的肥皂    时间: 2016-10-28 16:39
怎么用啊!直接丢到根目录吗?
作者: admin    时间: 2016-10-28 16:43
愤怒的肥皂 发表于 2016-10-28 16:39
怎么用啊!直接丢到根目录吗?

随便哪个目录都行,给予它可执行权限,执行./文件  就可以了,之后你就能看到了
作者: 伊壁鸠鲁    时间: 2016-10-29 09:25
谢谢分享
作者: zte123    时间: 2016-11-1 16:58
谢谢分享,这个很赞!
作者: ckey    时间: 2016-11-9 12:44
谢谢分享
作者: yxs520    时间: 2016-11-10 16:32
支持原创谢谢分享

作者: psyhope    时间: 2016-11-22 09:02
[经验] 各个搜索引擎实时监测蜘蛛爬行脚本(定位原创)
本文摘自: 黑帽联盟(https://bbs.cnblackhat.com/) 详细出处请参考:https://bbs.cnblackhat.com/thread-234-1-1.html
作者: pangkee    时间: 2016-12-1 02:01
按我理解把spider给替换成其他的引擎即可……

作者: qq274535601    时间: 2016-12-9 21:26
看看哦
作者: 四维空间    时间: 2017-2-21 17:06
那应该如何查看访问的结果呢?
作者: 定位    时间: 2017-2-21 17:13
四维空间 发表于 2017-2-21 17:06
那应该如何查看访问的结果呢?

什么意思?
作者: vhacker    时间: 2017-2-24 08:03
感谢老大分享
作者: theobserver    时间: 2017-3-10 13:02
谢谢行为分享,厉害
作者: 四维空间    时间: 2017-3-13 16:41
愤怒的肥皂 发表于 2016-10-28 16:39
怎么用啊!直接丢到根目录吗?

放到根目录后,怎么查看结果呢?
作者: 四维空间    时间: 2017-3-13 16:45
定位 发表于 2017-2-21 17:13
什么意思?

就是把代码放到根目录后,我怎么查看各个搜索引擎的访问结果呢?是以什么形式展示出来,是log,还是啥别的形式?
作者: yun    时间: 2017-3-13 20:09
四维空间 发表于 2017-3-13 16:45
就是把代码放到根目录后,我怎么查看各个搜索引擎的访问结果呢?是以什么形式展示出来,是log,还是啥别的 ...

不是,直接执行其脚本,可以实时在线观察蜘蛛动态,抓取那个目录,抓取状态都可以看到
作者: laohe    时间: 2017-3-16 15:31
谢谢分享


作者: saibon    时间: 2017-3-17 11:06
看看看
作者: awkp47    时间: 2017-4-11 11:38
1111111111
作者: vince26    时间: 2017-4-20 17:33
看看学习了,谢谢
作者: 放荡不羁    时间: 2017-5-4 17:07
感谢分享!
作者: scshow    时间: 2017-5-13 01:22
学习学习!支持论坛!很强大!希望多出点软件!
作者: 权利的游戏    时间: 2017-5-16 01:57
貌似不错的样子,用用试试
作者: 左右为难    时间: 2017-5-18 10:31
学习学习学习。。。。
作者: zte123    时间: 2017-5-24 10:31
yun 发表于 2017-3-13 20:09
不是,直接执行其脚本,可以实时在线观察蜘蛛动态,抓取那个目录,抓取状态都可以看到

他的意思是问,把这个放到服务器上以后,用什么工具去查看或者在域名后面输入什么能查看蜘蛛的实时动态。
作者: yun    时间: 2017-5-24 17:33
zte123 发表于 2017-5-24 10:31
他的意思是问,把这个放到服务器上以后,用什么工具去查看或者在域名后面输入什么能查看蜘蛛的实时动态。

这是脚本,在服务器上看的,运行这个脚本
作者: wsnlm555    时间: 2017-6-15 06:19

本文摘自: 黑帽联盟(https://bbs.cnblackhat.com/) 详细出处请参考:
作者: bineans    时间: 2017-7-9 09:22
不错不错!  
作者: jsy579    时间: 2017-7-31 09:39
谢谢分享。。。
作者: zte123    时间: 2017-8-2 14:08

作者: gbproseo    时间: 2017-8-3 14:54
赞果然好东西
作者: gbproseo    时间: 2017-8-5 11:21
很棒的这个工具
作者: xxx6968    时间: 2017-8-6 21:25
zte123 发表于 2017-5-24 10:31
他的意思是问,把这个放到服务器上以后,用什么工具去查看或者在域名后面输入什么能查看蜘蛛的实时动态。

是不是要放vps里才行。虚拟独立空间可以么。我的理解是既然不是程序只是一段代码,应该不需要vps吧?
作者: 璀璨李0804    时间: 2017-8-7 00:30
这个是放在我们自己搭建的蜘蛛池执行脚本里面吗?
作者: admin    时间: 2017-8-10 21:34
璀璨李0804 发表于 2017-8-7 00:30
这个是放在我们自己搭建的蜘蛛池执行脚本里面吗?

在linux主机里面执行
作者: zbsjt    时间: 2017-9-6 14:51

谢谢分享!!
作者: qw4530847    时间: 2017-9-23 18:58
是的撒大师大师大师大师的
作者: qiaoqingyi    时间: 2017-11-4 19:48
各个搜索引擎实时监测蜘蛛爬行脚本
作者: djdj123    时间: 2017-12-11 18:10
谢谢分享!!!!
作者: chinazuke    时间: 2017-12-16 12:58
各个搜索引擎实时监测蜘蛛爬行脚本
作者: maozhang189    时间: 2018-1-6 17:54
看看会不会用
作者: 大神成长中    时间: 2018-3-27 23:24
看看看看
看俺啊啊啊啊
作者: 大神成长中    时间: 2018-3-27 23:34
放到根目录然后呢
作者: admin    时间: 2018-3-29 16:46
大神成长中 发表于 2018-3-27 23:34
放到根目录然后呢

然后添加执行权限,执行即可
作者: admin    时间: 2018-3-29 16:46
大神成长中 发表于 2018-3-27 23:34
放到根目录然后呢

然后添加执行权限,执行即可
作者: 大神成长中    时间: 2018-4-1 12:44
我是win10系统  不是LINUX 操作系统   .sh这不是 LINUX 操作系统的脚本吗
作者: 史珍香    时间: 2018-6-1 19:36
这个是怎么用的啊
作者: 清华大学    时间: 2018-6-8 13:30
回复看看学习下
作者: zxc88    时间: 2018-7-11 18:57
东西是好东西 就是没黑币
作者: bhwjz    时间: 2018-7-17 16:37

谢谢分享,这个很赞!

作者: 皮皮虾    时间: 2018-9-3 09:16
谢谢分享,刚好有需要
作者: 思维救赎    时间: 2018-9-12 18:24
刚加入 进来看看
作者: winqing    时间: 2018-9-15 03:45

本文摘自: 黑帽联盟(https://bbs.cnblackhat.com/) 详细出处请参考:https://bbs.cnblackhat.com/thread-705-1-1.html
作者: jack13    时间: 2018-9-30 09:30
bash windows能用吗
作者: ifeiyu    时间: 2018-11-18 02:37
来看看,是什么神奇
作者: 老董    时间: 2018-11-20 15:02
一直没搞明白你们在讨论些什么?蜘蛛在服务器上的C盘日志文件都可以看到啊。弄这些东西有可视化的统计吗?
作者: 无心的笑容    时间: 2018-12-17 15:10
谢谢分享,看看学习一下
作者: 泪光细语    时间: 2019-1-23 10:23
000fddddddddddddddddd
作者: hwm2015    时间: 2019-3-31 12:28
这个东东貌似好高深
作者: hwm2015    时间: 2019-3-31 12:30
新来很受益,学起来有点吃力
作者: x15881588    时间: 2019-5-24 16:32
谢谢分享。我出钱,你出渠道。
作者: dhb94    时间: 2019-9-5 08:22

谢谢分享

作者: 野生萝莉    时间: 2020-6-5 09:26
兄弟我来了  
作者: Fufuu    时间: 2020-6-7 15:09
愤怒的肥皂 发表于 2016-10-28 16:39
怎么用啊!直接丢到根目录吗?

nb啊老哥 等会回家试试!!
作者: diaozhegenyan    时间: 2020-7-13 21:44
现在拿来用不晚吧
作者: 碎冰冰    时间: 2021-7-14 00:02

谢谢分享,新人进来学习一下
作者: zhan1993    时间: 2021-9-24 12:17
好的3434嘻嘻嘻
作者: 莫问seo    时间: 2023-11-3 22:40
么用啊!直接丢到根目录吗?
作者: 定位    时间: 2023-11-4 17:51
莫问seo 发表于 2023-11-3 22:40
么用啊!直接丢到根目录吗?

日志的所在目录和日志的名称改成你那边所对应的,不然找不到对应的日志名称




欢迎光临 黑帽联盟 (https://bbs.cnblackhat.com/) Powered by Discuz! X2.5