黑帽联盟

标题: 网页连接爬虫工具 [打印本页]

作者: 权利的游戏 时间: 2017-9-27 11:01
标题: 网页连接爬虫工具
本帖最后由权利的游戏于 2017-9-27 11:18 编辑

这是一个网页爬虫，可以分析网页中的所有链接。递归层数建议不要超过5，不然可能会很久。

其实就是一个深度优先搜索+hashmap+正则匹配。对经常找资源的应该会有帮助

支持https等协议

网址前的“http://”等是必须的，否则爬不到。双击列表项目可以选择打开网址或复制到剪贴板

左边是爬到的网页，右边是嗅探到的资源

【更新】
1、内核重写
2、添加智能跳过功能
3、性能大幅提升
4、准确性、可靠性提升
5、支持https等协议

6、智能判断编码
1、新增资源嗅探

工具下载：

网页连接爬虫工具.zip (1.41 MB, 下载次数: 36, 售价: 2 黑币)

作者: 快乐的破晓惜 时间: 2017-9-27 11:36
嗯嗯，这是个好东西，虽然是易语言写得

作者: zhumeng 时间: 2017-9-27 16:33
回复看看解压码，嘿嘿...

作者: huangjia 时间: 2017-9-28 11:23
来看看哈，谢谢分享

作者: 学渣改变世界 时间: 2017-9-30 16:46
留言请求解压密码

作者: lcsem 时间: 2017-10-12 11:57
有用吗？这玩意

作者: fuli168 时间: 2018-4-1 13:39
使用看看怎么样的。

作者: qiaoqingyi 时间: 2018-6-9 21:09
5435345435345

作者: 488996863 时间: 2018-6-28 07:47
更新】
1、内核重写
2、添加智能跳过功能
3、性能大幅提升
4、准确性、可靠性提升
5、支持https等协议

6、智能判断编码
1、新增资源嗅探

本文摘自: 黑帽联盟(https://bbs.cnblackhat.com/）详细出处请参考：https://bbs.cnblackhat.com/thread-2291-1-1.html

作者: 550325959 时间: 2018-7-14 17:47
6666666666666666666

作者: 死人 时间: 2018-7-17 14:22
确实没看懂是怎么用的

作者: houlovehuan 时间: 2019-3-29 16:22
瞄一眼！~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

作者: 无心的笑容 时间: 2019-4-13 15:23
看看，学习一下

作者: sunwin123 时间: 2020-12-26 05:23
这个看上去不错

欢迎光临黑帽联盟 (https://bbs.cnblackhat.com/)