设为首页收藏本站黑币充值VIP购买

黑帽联盟

 找回密码
 会员注册
黑帽联盟»论坛 › 黑帽学院 › 黑帽seo › 各个搜索引擎实时监测蜘蛛爬行脚本（定位原创）
1234下一页
返回列表 发新帖
查看: 21297|回复: 69
打印 上一主题 下一主题

[经验] 各个搜索引擎实时监测蜘蛛爬行脚本（定位原创）

  [复制链接]
admin 黑帽联盟官方人员 

295

主题

18

听众

965

积分

管理员

Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    难过
    2024-11-13 00:16

    • 签到天数: 370 天

    [LV.9]以坛为家II
    跳转到指定楼层
    楼主
    |只看该作者 |倒序浏览
    以下是360蜘蛛实时监测脚本，其他搜索引擎的以此类推，如果实在不会写，我分享到网盘里面。

    监测蜘蛛爬行脚本

    #!/bin/bash

    cd /home/wwwlogs

    SpiderNum=`cat bbs.cnblackhat.com.log | grep 360Spider | wc -l`

    spider() {

    SpiderIp="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' '  '{print $1}' | sed -n $i'p'`"

    SpiderTime="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $4}' | sed -n $i'p'`"

    SpiderTarget="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $7}' | sed -n $i'p'`"

    SpiderStatus="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $9}' | sed -n $i'p'`"

    SpiderType="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $20}' | sed -n $i'p'`"


    echo "$SpiderIp : $SpiderTime : $SpiderTarget : $SpiderStatus : $SpiderType"
    }

    for ((i=1; i<=$SpiderNum; i++))
    do
    spider
    done


    其它搜索引擎脚本下载地址：

    购买主题 已有 24 人购买  本主题需向作者支付 4 黑币 才能浏览
    蜘蛛爬行脚本, 搜索引擎脚本, 黑帽seo程序
    帖子永久地址： 

    黑帽联盟 - 论坛版权1、本主题所有言论和图片纯属会员个人意见，与本论坛立场无关
    2、本站所有主题由该帖子作者发表，该帖子作者与黑帽联盟享有帖子相关版权
    3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和黑帽联盟的同意
    4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
    5、本帖部分内容转载自其它媒体，但并不代表本站赞同其观点和对其真实性负责
    6、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意
    7、黑帽联盟管理员和版主有权不事先通知发贴者而删除本文

    相关帖子
    回复

    使用道具 举报

    愤怒的肥皂  

    12

    主题

    5

    听众

    192

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    擦汗
    2017-10-11 12:07

    • 签到天数: 125 天

    [LV.7]常住居民III
    沙发
    |只看该作者
    怎么用啊！直接丢到根目录吗？

    点评

    Fufuu  nb啊老哥 等会回家试试！！  详情 回复 发表于 2020-6-7 15:09
    四维空间  放到根目录后，怎么查看结果呢？  详情 回复 发表于 2017-3-13 16:41
    admin  随便哪个目录都行，给予它可执行权限，执行./文件 就可以了，之后你就能看到了  详情 回复 发表于 2016-10-28 16:43
    回复

    使用道具 举报

    admin 黑帽联盟官方人员 

    295

    主题

    18

    听众

    965

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    难过
    2024-11-13 00:16

    • 签到天数: 370 天

    [LV.9]以坛为家II
    板凳
    |只看该作者
    愤怒的肥皂 发表于 2016-10-28 16:39
    怎么用啊！直接丢到根目录吗？

    随便哪个目录都行，给予它可执行权限，执行./文件  就可以了，之后你就能看到了
    回复

    使用道具 举报

    伊壁鸠鲁  

    0

    主题

    0

    听众

    89

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    开心
    2019-4-7 15:07

    • 签到天数: 62 天

    [LV.6]常住居民II
    地板
    |只看该作者
    谢谢分享
    回复

    使用道具 举报

    zte123  

    5

    主题

    1

    听众

    104

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    衰
    2019-3-21 19:51

    • 签到天数: 75 天

    [LV.6]常住居民II
    搓衣板
    |只看该作者
    谢谢分享，这个很赞！
    回复

    使用道具 举报

    ckey  

    0

    主题

    0

    听众

    66

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    奋斗
    2018-7-5 17:37

    • 签到天数: 60 天

    [LV.6]常住居民II
    6#
    |只看该作者
    谢谢分享
    回复

    使用道具 举报

    yxs520  

    3

    主题

    1

    听众

    89

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    怒
    2019-8-28 22:10

    • 签到天数: 74 天

    [LV.6]常住居民II
    7#
    |只看该作者
    支持原创谢谢分享
    来自安卓客户端来自安卓客户端
    回复

    使用道具 举报

    psyhope  

    13

    主题

    2

    听众

    63

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    开心
    2019-1-29 16:03

    • 签到天数: 25 天

    [LV.4]偶尔看看III
    8#
    |只看该作者
    [经验] 各个搜索引擎实时监测蜘蛛爬行脚本（定位原创）
    本文摘自: 黑帽联盟(https://bbs.cnblackhat.com/） 详细出处请参考：https://bbs.cnblackhat.com/thread-234-1-1.html
    已有 1 人评分黑币 收起 理由
    admin -8

    总评分: 黑币 -8   查看全部评分

    回复

    使用道具 举报

    pangkee  

    4

    主题

    3

    听众

    302

    积分

    黑帽学员

    Rank: 3Rank: 3

  • TA的每日心情
    郁闷
    2019-5-8 02:08

    • 签到天数: 265 天

    [LV.8]以坛为家I
    9#
    |只看该作者
    按我理解把spider给替换成其他的引擎即可&hellip;&hellip;
    来自安卓客户端来自安卓客户端
    回复

    使用道具 举报

    qq274535601  

    0

    主题

    0

    听众

    4

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    擦汗
    2016-12-9 21:22

    • 签到天数: 1 天

    [LV.1]初来乍到
    10#
    |只看该作者
    看看哦
    回复

    使用道具 举报

    四维空间  

    1

    主题

    0

    听众

    26

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    奋斗
    2017-3-28 11:51

    • 签到天数: 16 天

    [LV.4]偶尔看看III
    11#
    |只看该作者
    那应该如何查看访问的结果呢？

    点评

    定位  什么意思？  详情 回复 发表于 2017-2-21 17:13
    回复

    使用道具 举报

    定位 黑帽联盟官方人员 

    895

    主题

    38

    听众

    3323

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    无聊
    5 天前

    • 签到天数: 1644 天

    [LV.Master]伴坛终老
    12#
    |只看该作者
    四维空间 发表于 2017-2-21 17:06
    那应该如何查看访问的结果呢？

    什么意思？

    点评

    四维空间  就是把代码放到根目录后，我怎么查看各个搜索引擎的访问结果呢？是以什么形式展示出来，是log,还是啥别的形式？  详情 回复 发表于 2017-3-13 16:45
    勿忘初心，方得始终！
    回复

    使用道具 举报

    vhacker  

    1

    主题

    1

    听众

    88

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    开心
    2020-1-7 20:52

    • 签到天数: 32 天

    [LV.5]常住居民I
    13#
    |只看该作者
    感谢老大分享
    回复

    使用道具 举报

    theobserver  

    0

    主题

    0

    听众

    113

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    擦汗
    2019-2-12 23:02

    • 签到天数: 76 天

    [LV.6]常住居民II
    14#
    |只看该作者
    谢谢行为分享，厉害
    回复

    使用道具 举报

    四维空间  

    1

    主题

    0

    听众

    26

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    奋斗
    2017-3-28 11:51

    • 签到天数: 16 天

    [LV.4]偶尔看看III
    15#
    |只看该作者
    愤怒的肥皂 发表于 2016-10-28 16:39
    怎么用啊！直接丢到根目录吗？

    放到根目录后，怎么查看结果呢？
    回复

    使用道具 举报

    四维空间  

    1

    主题

    0

    听众

    26

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    奋斗
    2017-3-28 11:51

    • 签到天数: 16 天

    [LV.4]偶尔看看III
    16#
    |只看该作者
    定位 发表于 2017-2-21 17:13
    什么意思？

    就是把代码放到根目录后，我怎么查看各个搜索引擎的访问结果呢？是以什么形式展示出来，是log,还是啥别的形式？

    点评

    yun  不是，直接执行其脚本，可以实时在线观察蜘蛛动态，抓取那个目录，抓取状态都可以看到  详情 回复 发表于 2017-3-13 20:09
    回复

    使用道具 举报

    yun 黑帽联盟官方人员 

    920

    主题

    37

    听众

    1364

    积分

    超级版主

    Rank: 8Rank: 8

  • TA的每日心情
    奋斗
    2019-10-18 11:20

    • 签到天数: 678 天

    [LV.9]以坛为家II
    17#
    |只看该作者
    四维空间 发表于 2017-3-13 16:45
    就是把代码放到根目录后，我怎么查看各个搜索引擎的访问结果呢？是以什么形式展示出来，是log,还是啥别的 ...

    不是，直接执行其脚本，可以实时在线观察蜘蛛动态，抓取那个目录，抓取状态都可以看到

    点评

    zte123  他的意思是问，把这个放到服务器上以后，用什么工具去查看或者在域名后面输入什么能查看蜘蛛的实时动态。  详情 回复 发表于 2017-5-24 10:31
    回复

    使用道具 举报

    laohe  

    4

    主题

    0

    听众

    109

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    怒
    2017-5-29 00:09

    • 签到天数: 54 天

    [LV.5]常住居民I
    18#
    |只看该作者
    谢谢分享

    回复

    使用道具 举报

    saibon  

    0

    主题

    0

    听众

    13

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    开心
    2017-3-30 09:35

    • 签到天数: 6 天

    [LV.2]偶尔看看I
    19#
    |只看该作者
    看看看
    回复

    使用道具 举报

    awkp47  

    0

    主题

    0

    听众

    26

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    慵懒
    2017-4-11 09:24

    • 签到天数: 1 天

    [LV.1]初来乍到
    20#
    |只看该作者
    1111111111
    回复

    使用道具 举报

    1234下一页
    返回列表 发新帖
    高级模式
    B Color Image Link Quote Code Smilies
    您需要登录后才可以回帖 登录 | 会员注册

    发布主题 !fastreply! 收藏帖子 返回列表 搜索

    Archiver手机版

    Copyright © 2013-2023 黑帽联盟 (https://bbs.cnblackhat.com/) 版权所有 All Rights Reserved.

    免责声明: 本网不承担任何由内容提供商提供的信息所引起的争议和法律责任。客服QQ: 1074189538

    黑帽联盟 苏ICP备16048252号-2

    回顶部