查看: 9275|回复: 65

[经验] 各个搜索引擎实时监测蜘蛛爬行脚本(定位原创)

  [复制链接]

256

主题

16

听众

553

积分

管理员

Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    奋斗
    4 天前
  • 签到天数: 285 天

    [LV.8]以坛为家I

    |显示全部楼层
    以下是360蜘蛛实时监测脚本,其他搜索引擎的以此类推,如果实在不会写,我分享到网盘里面。

    监测蜘蛛爬行脚本

    监测蜘蛛爬行脚本


    #!/bin/bash

    cd /home/wwwlogs

    SpiderNum=`cat bbs.cnblackhat.com.log | grep 360Spider | wc -l`

    spider() {

    SpiderIp="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' '  '{print $1}' | sed -n $i'p'`"

    SpiderTime="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $4}' | sed -n $i'p'`"

    SpiderTarget="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $7}' | sed -n $i'p'`"

    SpiderStatus="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $9}' | sed -n $i'p'`"

    SpiderType="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $20}' | sed -n $i'p'`"


    echo "$SpiderIp : $SpiderTime : $SpiderTarget : $SpiderStatus : $SpiderType"
    }

    for ((i=1; i<=$SpiderNum; i++))
    do
    spider
    done


    其它搜索引擎脚本下载地址:

    购买主题 已有 23 人购买  本主题需向作者支付 4 黑币 才能浏览

    12

    主题

    5

    听众

    192

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    擦汗
    2017-10-11 12:07
  • 签到天数: 125 天

    [LV.7]常住居民III

    怎么用啊!直接丢到根目录吗?

    点评

    Fufuu  nb啊老哥 等会回家试试!!  详情 回复 发表于 2020-6-7 15:09
    四维空间  放到根目录后,怎么查看结果呢?  详情 回复 发表于 2017-3-13 16:41
    admin  随便哪个目录都行,给予它可执行权限,执行./文件 就可以了,之后你就能看到了  详情 回复 发表于 2016-10-28 16:43
    回复

    使用道具 举报

    256

    主题

    16

    听众

    553

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    奋斗
    4 天前
  • 签到天数: 285 天

    [LV.8]以坛为家I

    愤怒的肥皂 发表于 2016-10-28 16:39
    怎么用啊!直接丢到根目录吗?

    随便哪个目录都行,给予它可执行权限,执行./文件  就可以了,之后你就能看到了
    回复

    使用道具 举报

    0

    主题

    0

    听众

    89

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    开心
    2019-4-7 15:07
  • 签到天数: 62 天

    [LV.6]常住居民II

    谢谢分享
    回复

    使用道具 举报

    5

    主题

    1

    听众

    103

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情

    2019-3-21 19:51
  • 签到天数: 75 天

    [LV.6]常住居民II

    谢谢分享,这个很赞!
    回复

    使用道具 举报

    0

    主题

    0

    听众

    66

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    奋斗
    2018-7-5 17:37
  • 签到天数: 60 天

    [LV.6]常住居民II

    谢谢分享
    回复

    使用道具 举报

    3

    主题

    1

    听众

    89

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情

    2019-8-28 22:10
  • 签到天数: 74 天

    [LV.6]常住居民II

    支持原创谢谢分享
    来自安卓客户端来自安卓客户端
    回复

    使用道具 举报

    13

    主题

    2

    听众

    63

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    开心
    2019-1-29 16:03
  • 签到天数: 25 天

    [LV.4]偶尔看看III

    [经验] 各个搜索引擎实时监测蜘蛛爬行脚本(定位原创)
    本文摘自: 黑帽联盟(http://bbs.cnblackhat.com/) 详细出处请参考:http://bbs.cnblackhat.com/thread-234-1-1.html
    已有 1 人评分黑币 收起 理由
    admin -8

    总评分: 黑币 -8   查看全部评分

    回复

    使用道具 举报

    4

    主题

    3

    听众

    302

    积分

    黑帽学员

    Rank: 3Rank: 3

  • TA的每日心情
    郁闷
    2019-5-8 02:08
  • 签到天数: 265 天

    [LV.8]以坛为家I

    按我理解把spider给替换成其他的引擎即可&hellip;&hellip;
    来自安卓客户端来自安卓客户端
    回复

    使用道具 举报

    0

    主题

    0

    听众

    4

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    擦汗
    2016-12-9 21:22
  • 签到天数: 1 天

    [LV.1]初来乍到

    看看哦
    回复

    使用道具 举报

    1

    主题

    0

    听众

    26

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    奋斗
    2017-3-28 11:51
  • 签到天数: 16 天

    [LV.4]偶尔看看III

    那应该如何查看访问的结果呢?

    点评

    定位  什么意思?  详情 回复 发表于 2017-2-21 17:13
    回复

    使用道具 举报

    736

    主题

    33

    听众

    2412

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    擦汗
    2020-10-9 21:13
  • 签到天数: 1138 天

    [LV.10]以坛为家III

    四维空间 发表于 2017-2-21 17:06
    那应该如何查看访问的结果呢?

    什么意思?

    点评

    四维空间  就是把代码放到根目录后,我怎么查看各个搜索引擎的访问结果呢?是以什么形式展示出来,是log,还是啥别的形式?  详情 回复 发表于 2017-3-13 16:45
    勿忘初心,方得始终!
    回复

    使用道具 举报

    1

    主题

    1

    听众

    88

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    开心
    2020-1-7 20:52
  • 签到天数: 32 天

    [LV.5]常住居民I

    感谢老大分享
    回复

    使用道具 举报

    0

    主题

    0

    听众

    113

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    擦汗
    2019-2-12 23:02
  • 签到天数: 76 天

    [LV.6]常住居民II

    谢谢行为分享,厉害
    回复

    使用道具 举报

    1

    主题

    0

    听众

    26

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    奋斗
    2017-3-28 11:51
  • 签到天数: 16 天

    [LV.4]偶尔看看III

    愤怒的肥皂 发表于 2016-10-28 16:39
    怎么用啊!直接丢到根目录吗?

    放到根目录后,怎么查看结果呢?
    回复

    使用道具 举报

    1

    主题

    0

    听众

    26

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    奋斗
    2017-3-28 11:51
  • 签到天数: 16 天

    [LV.4]偶尔看看III

    定位 发表于 2017-2-21 17:13
    什么意思?

    就是把代码放到根目录后,我怎么查看各个搜索引擎的访问结果呢?是以什么形式展示出来,是log,还是啥别的形式?

    点评

    yun  不是,直接执行其脚本,可以实时在线观察蜘蛛动态,抓取那个目录,抓取状态都可以看到  详情 回复 发表于 2017-3-13 20:09
    回复

    使用道具 举报

    yun 黑帽联盟官方人员 

    920

    主题

    35

    听众

    1362

    积分

    超级版主

    Rank: 8Rank: 8

  • TA的每日心情
    奋斗
    2019-10-18 11:20
  • 签到天数: 678 天

    [LV.9]以坛为家II

    四维空间 发表于 2017-3-13 16:45
    就是把代码放到根目录后,我怎么查看各个搜索引擎的访问结果呢?是以什么形式展示出来,是log,还是啥别的 ...

    不是,直接执行其脚本,可以实时在线观察蜘蛛动态,抓取那个目录,抓取状态都可以看到

    点评

    zte123  他的意思是问,把这个放到服务器上以后,用什么工具去查看或者在域名后面输入什么能查看蜘蛛的实时动态。  详情 回复 发表于 2017-5-24 10:31
    回复

    使用道具 举报

    4

    主题

    0

    听众

    109

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情

    2017-5-29 00:09
  • 签到天数: 54 天

    [LV.5]常住居民I

    谢谢分享

    回复

    使用道具 举报

    0

    主题

    0

    听众

    13

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    开心
    2017-3-30 09:35
  • 签到天数: 6 天

    [LV.2]偶尔看看I

    看看看
    回复

    使用道具 举报

    0

    主题

    0

    听众

    26

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    慵懒
    2017-4-11 09:24
  • 签到天数: 1 天

    [LV.1]初来乍到

    1111111111
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 会员注册

    站长推荐上一条 /1 下一条