权利的游戏 发表于 2017-9-27 11:01:30

网页连接爬虫工具

本帖最后由 权利的游戏 于 2017-9-27 11:18 编辑

这是一个网页爬虫，可以分析网页中的所有链接。递归层数建议不要超过5，不然可能会很久。

其实就是一个深度优先搜索+hashmap+正则匹配。对经常找资源的应该会有帮助

支持https等协议

网址前的“http://”等是必须的，否则爬不到。双击列表项目可以选择打开网址或复制到剪贴板

左边是爬到的网页，右边是嗅探到的资源



【更新】
1、内核重写
2、添加智能跳过功能
3、性能大幅提升
4、准确性、可靠性提升
5、支持https等协议

6、智能判断编码
1、新增资源嗅探


工具下载：


**** Hidden Message *****

快乐的破晓惜 发表于 2017-9-27 11:36:13

嗯嗯，这是个好东西，虽然是易语言写得:lol

zhumeng 发表于 2017-9-27 16:33:24

回复看看解压码，嘿嘿...

huangjia 发表于 2017-9-28 11:23:09

来看看哈，谢谢分享

学渣改变世界 发表于 2017-9-30 16:46:53

留言请求解压密码

lcsem 发表于 2017-10-12 11:57:30

有用吗？这玩意

fuli168 发表于 2018-4-1 13:39:55

使用看看怎么样的。

qiaoqingyi 发表于 2018-6-9 21:09:51

5435345435345

488996863 发表于 2018-6-28 07:47:32

更新】
1、内核重写
2、添加智能跳过功能
3、性能大幅提升
4、准确性、可靠性提升
5、支持https等协议

6、智能判断编码
1、新增资源嗅探

本文摘自: 黑帽联盟(https://bbs.cnblackhat.com/） 详细出处请参考：https://bbs.cnblackhat.com/thread-2291-1-1.html

550325959 发表于 2018-7-14 17:47:36

6666666666666666666

死人 发表于 2018-7-17 14:22:11

确实没看懂是怎么用的

houlovehuan 发表于 2019-3-29 16:22:34

瞄一眼！~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

无心的笑容 发表于 2019-4-13 15:23:45

看看，学习一下

sunwin123 发表于 2020-12-26 05:23:03

这个看上去不错
页: [1]
查看完整版本: 网页连接爬虫工具