黑帽联盟»论坛 › 黑帽学院 › 黑帽seo › 网页连接爬虫工具

查看: 2754|回复: 13

[工具] 网页连接爬虫工具

[复制链接]

权利的游戏

132 主题	11 听众	295 积分

版主

Rank: 7 Rank: 7 Rank: 7

TA的每日心情

	擦汗 2018-6-12 09:41

签到天数: 273 天

[LV.8]以坛为家I

电梯直达

楼主

|只看该作者 |正序浏览

本帖最后由权利的游戏于 2017-9-27 11:18 编辑

这是一个网页爬虫，可以分析网页中的所有链接。递归层数建议不要超过5，不然可能会很久。

其实就是一个深度优先搜索+hashmap+正则匹配。对经常找资源的应该会有帮助

支持https等协议

网址前的“http://”等是必须的，否则爬不到。双击列表项目可以选择打开网址或复制到剪贴板

左边是爬到的网页，右边是嗅探到的资源

【更新】
1、内核重写
2、添加智能跳过功能
3、性能大幅提升
4、准确性、可靠性提升
5、支持https等协议

6、智能判断编码
1、新增资源嗅探

工具下载：

网页连接爬虫工具.zip (1.41 MB, 下载次数: 36, 售价: 2 黑币)

游客，如果您要查看本帖隐藏内容请回复

网页连接爬虫工具

转播0 淘帖0 分享0 收藏0 赞0 踩0

帖子永久地址：

黑帽联盟 - 论坛版权1、本主题所有言论和图片纯属会员个人意见，与本论坛立场无关
2、本站所有主题由该帖子作者发表，该帖子作者与黑帽联盟享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和黑帽联盟的同意
4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
5、本帖部分内容转载自其它媒体，但并不代表本站赞同其观点和对其真实性负责
6、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意
7、黑帽联盟管理员和版主有权不事先通知发贴者而删除本文

使用道具举报

sunwin123

0 主题	0 听众	47 积分

黑帽菜鸟

Rank: 1

TA的每日心情

	怒 2019-7-8 15:40

签到天数: 31 天

[LV.5]常住居民I

14^#

|只看该作者

这个看上去不错

使用道具举报

无心的笑容

0 主题	0 听众	66 积分

黑帽菜鸟

Rank: 1

TA的每日心情

	慵懒 2020-7-16 15:51

签到天数: 48 天

[LV.5]常住居民I

13^#

|只看该作者

看看，学习一下

使用道具举报

houlovehuan

1 主题	0 听众	22 积分

黑帽菜鸟

Rank: 1

TA的每日心情

	怒 2019-11-27 17:44

签到天数: 13 天

[LV.3]偶尔看看II

12^#

|只看该作者

瞄一眼！~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

使用道具举报

死人

0 主题	0 听众	3 积分

黑帽菜鸟

Rank: 1

TA的每日心情

	擦汗 2018-8-23 15:55

签到天数: 3 天

[LV.2]偶尔看看I

11^#

|只看该作者

确实没看懂是怎么用的

使用道具举报

550325959

1 主题	0 听众	5 积分

黑帽菜鸟

Rank: 1

TA的每日心情

	衰 2018-7-16 22:28

签到天数: 3 天

[LV.2]偶尔看看I

10^#

|只看该作者

6666666666666666666

已有 1 人评分	黑币	收起理由
yun	-4	灌水！

总评分: 黑币 -4 查看全部评分

使用道具举报

488996863

0 主题	0 听众	9 积分

黑帽菜鸟

Rank: 1

TA的每日心情

	郁闷 2018-7-12 23:06

签到天数: 5 天

[LV.2]偶尔看看I

9^#

|只看该作者

更新】
1、内核重写
2、添加智能跳过功能
3、性能大幅提升
4、准确性、可靠性提升
5、支持https等协议

6、智能判断编码
1、新增资源嗅探

本文摘自: 黑帽联盟(https://bbs.cnblackhat.com/）详细出处请参考：https://bbs.cnblackhat.com/thread-2291-1-1.html

已有 1 人评分	黑币	收起理由
定位	-4	灌水！

总评分: 黑币 -4 查看全部评分

使用道具举报

qiaoqingyi

1 主题	0 听众	345 积分

黑帽学员

Rank: 3 Rank: 3

TA的每日心情

	怒 2020-1-22 01:58

签到天数: 115 天

[LV.6]常住居民II

8^#

|只看该作者

5435345435345

已有 1 人评分	黑币	收起理由
权利的游戏	-4	灌水！

总评分: 黑币 -4 查看全部评分

使用道具举报

fuli168

0 主题	0 听众	18 积分

黑帽菜鸟

Rank: 1

TA的每日心情

	开心 2018-5-28 16:40

签到天数: 10 天

[LV.3]偶尔看看II

7^#

|只看该作者

使用看看怎么样的。

使用道具举报

lcsem

0 主题	0 听众	12 积分

黑帽菜鸟

Rank: 1

TA的每日心情

	开心 2017-11-15 14:21

签到天数: 12 天

[LV.3]偶尔看看II

6^#

|只看该作者

有用吗？这玩意

使用道具举报

学渣改变世界

0 主题	0 听众	1 积分

黑帽菜鸟

Rank: 1

TA的每日心情

	慵懒 2017-9-30 16:41

签到天数: 1 天

[LV.1]初来乍到

搓衣板

|只看该作者

留言请求解压密码

使用道具举报

huangjia

49 主题	1 听众	248 积分

至尊VIP

Rank: 8 Rank: 8

TA的每日心情

	奋斗 2018-7-15 21:02

签到天数: 215 天

[LV.7]常住居民III

地板

|只看该作者

来看看哈，谢谢分享

使用道具举报

zhumeng

0 主题	0 听众	80 积分

黑帽新手

Rank: 2

TA的每日心情

	开心 2019-2-21 11:14

签到天数: 117 天

[LV.6]常住居民II

板凳

|只看该作者

回复看看解压码，嘿嘿...

使用道具举报

快乐的破晓惜

0 主题	1 听众	69 积分

黑帽菜鸟

Rank: 1

TA的每日心情

	怒 2019-4-17 14:45

签到天数: 85 天

[LV.6]常住居民II

沙发

|只看该作者

嗯嗯，这是个好东西，虽然是易语言写得

使用道具举报

返回列表

		自动登录	找回密码
密码			会员注册

[工具] 网页连接爬虫工具

个人中心