TA的每日心情 | 擦汗 2018-6-12 09:41 |
---|
签到天数: 273 天 [LV.8]以坛为家I
|
本帖最后由 权利的游戏 于 2017-9-27 11:18 编辑
这是一个网页爬虫,可以分析网页中的所有链接。递归层数建议不要超过5,不然可能会很久。
其实就是一个深度优先搜索+hashmap+正则匹配。对经常找资源的应该会有帮助
支持https等协议
网址前的“http://”等是必须的,否则爬不到。双击列表项目可以选择打开网址或复制到剪贴板
左边是爬到的网页,右边是嗅探到的资源
【更新】
1、内核重写
2、添加智能跳过功能
3、性能大幅提升
4、准确性、可靠性提升
5、支持https等协议
6、智能判断编码
1、新增资源嗅探
工具下载:
网页连接爬虫工具.zip
(1.41 MB, 下载次数: 36, 售价: 2 黑币)
|
|