黑帽联盟

 找回密码
 会员注册
查看: 2759|回复: 13
打印 上一主题 下一主题

[工具] 网页连接爬虫工具

  [复制链接]

132

主题

11

听众

295

积分

版主

Rank: 7Rank: 7Rank: 7

  • TA的每日心情
    擦汗
    2018-6-12 09:41
  • 签到天数: 273 天

    [LV.8]以坛为家I

    本帖最后由 权利的游戏 于 2017-9-27 11:18 编辑

    这是一个网页爬虫,可以分析网页中的所有链接。递归层数建议不要超过5,不然可能会很久。

    其实就是一个深度优先搜索+hashmap+正则匹配。对经常找资源的应该会有帮助

    支持https等协议

    网址前的“http://”等是必须的,否则爬不到。双击列表项目可以选择打开网址或复制到剪贴板

    左边是爬到的网页,右边是嗅探到的资源

    23.png

    【更新】
    1、内核重写
    2、添加智能跳过功能
    3、性能大幅提升
    4、准确性、可靠性提升
    5、支持https等协议

    6、智能判断编码
    1、新增资源嗅探


    工具下载: 网页连接爬虫工具.zip (1.41 MB, 下载次数: 36, 售价: 2 黑币)


    游客,如果您要查看本帖隐藏内容请回复
    帖子永久地址: 

    黑帽联盟 - 论坛版权1、本主题所有言论和图片纯属会员个人意见,与本论坛立场无关
    2、本站所有主题由该帖子作者发表,该帖子作者与黑帽联盟享有帖子相关版权
    3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和黑帽联盟的同意
    4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
    5、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责
    6、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
    7、黑帽联盟管理员和版主有权不事先通知发贴者而删除本文

    0

    主题

    1

    听众

    69

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情

    2019-4-17 14:45
  • 签到天数: 85 天

    [LV.6]常住居民II

    嗯嗯,这是个好东西,虽然是易语言写得
    回复

    使用道具 举报

    0

    主题

    0

    听众

    80

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    开心
    2019-2-21 11:14
  • 签到天数: 117 天

    [LV.6]常住居民II

    回复看看解压码,嘿嘿...
    回复

    使用道具 举报

    49

    主题

    1

    听众

    248

    积分

    至尊VIP

    Rank: 8Rank: 8

  • TA的每日心情
    奋斗
    2018-7-15 21:02
  • 签到天数: 215 天

    [LV.7]常住居民III

    来看看哈,谢谢分享
    回复

    使用道具 举报

    0

    主题

    0

    听众

    1

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    慵懒
    2017-9-30 16:41
  • 签到天数: 1 天

    [LV.1]初来乍到

    留言请求解压密码
    回复

    使用道具 举报

    0

    主题

    0

    听众

    12

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    开心
    2017-11-15 14:21
  • 签到天数: 12 天

    [LV.3]偶尔看看II

    有用吗?这玩意
    回复

    使用道具 举报

    0

    主题

    0

    听众

    18

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    开心
    2018-5-28 16:40
  • 签到天数: 10 天

    [LV.3]偶尔看看II

    使用看看怎么样的。
    回复

    使用道具 举报

    1

    主题

    0

    听众

    345

    积分

    黑帽学员

    Rank: 3Rank: 3

  • TA的每日心情

    2020-1-22 01:58
  • 签到天数: 115 天

    [LV.6]常住居民II

    5435345435345
    已有 1 人评分黑币 收起 理由
    权利的游戏 -4 灌水!

    总评分: 黑币 -4   查看全部评分

    回复

    使用道具 举报

    0

    主题

    0

    听众

    9

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    郁闷
    2018-7-12 23:06
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    更新】
    1、内核重写
    2、添加智能跳过功能
    3、性能大幅提升
    4、准确性、可靠性提升
    5、支持https等协议

    6、智能判断编码
    1、新增资源嗅探

    本文摘自: 黑帽联盟(https://bbs.cnblackhat.com/) 详细出处请参考:https://bbs.cnblackhat.com/thread-2291-1-1.html
    已有 1 人评分黑币 收起 理由
    定位 -4 灌水!

    总评分: 黑币 -4   查看全部评分

    回复

    使用道具 举报

    1

    主题

    0

    听众

    5

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情

    2018-7-16 22:28
  • 签到天数: 3 天

    [LV.2]偶尔看看I

    6666666666666666666
    已有 1 人评分黑币 收起 理由
    yun -4 灌水!

    总评分: 黑币 -4   查看全部评分

    回复

    使用道具 举报

    0

    主题

    0

    听众

    3

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    擦汗
    2018-8-23 15:55
  • 签到天数: 3 天

    [LV.2]偶尔看看I

    确实没看懂是怎么用的
    回复

    使用道具 举报

    1

    主题

    0

    听众

    22

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情

    2019-11-27 17:44
  • 签到天数: 13 天

    [LV.3]偶尔看看II

    瞄一眼!~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    回复

    使用道具 举报

    0

    主题

    0

    听众

    66

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    慵懒
    2020-7-16 15:51
  • 签到天数: 48 天

    [LV.5]常住居民I

    看看,学习一下
    回复

    使用道具 举报

    0

    主题

    0

    听众

    47

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情

    2019-7-8 15:40
  • 签到天数: 31 天

    [LV.5]常住居民I

    这个看上去不错
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 会员注册

    发布主题 !fastreply! 收藏帖子 返回列表 搜索
    回顶部