黑帽联盟

 找回密码
 会员注册
查看: 18441|回复: 69
打印 上一主题 下一主题

[经验] 各个搜索引擎实时监测蜘蛛爬行脚本(定位原创)

  [复制链接]

293

主题

18

听众

955

积分

管理员

Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    奋斗
    2023-10-26 13:13
  • 签到天数: 358 天

    [LV.8]以坛为家I

    以下是360蜘蛛实时监测脚本,其他搜索引擎的以此类推,如果实在不会写,我分享到网盘里面。

    监测蜘蛛爬行脚本

    #!/bin/bash

    cd /home/wwwlogs

    SpiderNum=`cat bbs.cnblackhat.com.log | grep 360Spider | wc -l`

    spider() {

    SpiderIp="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' '  '{print $1}' | sed -n $i'p'`"

    SpiderTime="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $4}' | sed -n $i'p'`"

    SpiderTarget="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $7}' | sed -n $i'p'`"

    SpiderStatus="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $9}' | sed -n $i'p'`"

    SpiderType="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $20}' | sed -n $i'p'`"


    echo "$SpiderIp : $SpiderTime : $SpiderTarget : $SpiderStatus : $SpiderType"
    }

    for ((i=1; i<=$SpiderNum; i++))
    do
    spider
    done


    其它搜索引擎脚本下载地址:

    购买主题 已有 24 人购买  本主题需向作者支付 4 黑币 才能浏览
    帖子永久地址: 

    黑帽联盟 - 论坛版权1、本主题所有言论和图片纯属会员个人意见,与本论坛立场无关
    2、本站所有主题由该帖子作者发表,该帖子作者与黑帽联盟享有帖子相关版权
    3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和黑帽联盟的同意
    4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
    5、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责
    6、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
    7、黑帽联盟管理员和版主有权不事先通知发贴者而删除本文

    852

    主题

    38

    听众

    3180

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    奋斗
    昨天 13:06
  • 签到天数: 1541 天

    [LV.Master]伴坛终老

    莫问seo 发表于 2023-11-3 22:40
    么用啊!直接丢到根目录吗?

    日志的所在目录和日志的名称改成你那边所对应的,不然找不到对应的日志名称
    勿忘初心,方得始终!
    回复

    使用道具 举报

    0

    主题

    0

    听众

    4

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情

    2018-7-3 16:02
  • 签到天数: 1 天

    [LV.1]初来乍到

    么用啊!直接丢到根目录吗?

    点评

    定位  日志的所在目录和日志的名称改成你那边所对应的,不然找不到对应的日志名称  详情 回复 发表于 2023-11-4 17:51
    回复

    使用道具 举报

    0

    主题

    0

    听众

    12

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    奋斗
    2019-7-31 22:10
  • 签到天数: 6 天

    [LV.2]偶尔看看I

    好的3434嘻嘻嘻
    回复

    使用道具 举报

    0

    主题

    0

    听众

    6

    积分

    黑帽菜鸟

    Rank: 1

    该用户从未签到


    谢谢分享,新人进来学习一下
    回复

    使用道具 举报

    0

    主题

    0

    听众

    6

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    开心
    2020-7-14 21:14
  • 签到天数: 4 天

    [LV.2]偶尔看看I

    现在拿来用不晚吧
    回复

    使用道具 举报

    2

    主题

    1

    听众

    8

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    无聊
    2020-6-15 10:18
  • 签到天数: 3 天

    [LV.2]偶尔看看I

    愤怒的肥皂 发表于 2016-10-28 16:39
    怎么用啊!直接丢到根目录吗?

    nb啊老哥 等会回家试试!!
    回复

    使用道具 举报

    1

    主题

    0

    听众

    6

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    奋斗
    2020-6-5 09:20
  • 签到天数: 4 天

    [LV.2]偶尔看看I

    兄弟我来了  
    回复

    使用道具 举报

    0

    主题

    0

    听众

    48

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    开心
    2020-6-13 11:44
  • 签到天数: 28 天

    [LV.4]偶尔看看III


    谢谢分享
    回复

    使用道具 举报

    头像被屏蔽

    0

    主题

    0

    听众

    3

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    郁闷
    2019-5-24 15:13
  • 签到天数: 2 天

    [LV.1]初来乍到

    谢谢分享。我出钱,你出渠道。
    回复

    使用道具 举报

    0

    主题

    0

    听众

    4

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    开心
    2019-3-31 12:18
  • 签到天数: 1 天

    [LV.1]初来乍到

    新来很受益,学起来有点吃力
    回复

    使用道具 举报

    0

    主题

    0

    听众

    4

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    开心
    2019-3-31 12:18
  • 签到天数: 1 天

    [LV.1]初来乍到

    这个东东貌似好高深
    回复

    使用道具 举报

    0

    主题

    0

    听众

    9

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    慵懒
    2019-2-11 14:26
  • 签到天数: 9 天

    [LV.3]偶尔看看II

    000fddddddddddddddddd
    已有 1 人评分黑币 收起 理由
    yun -4 灌水!

    总评分: 黑币 -4   查看全部评分

    回复

    使用道具 举报

    0

    主题

    0

    听众

    66

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    慵懒
    2020-7-16 15:51
  • 签到天数: 48 天

    [LV.5]常住居民I

    谢谢分享,看看学习一下
    回复

    使用道具 举报

    0

    主题

    1

    听众

    40

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    郁闷
    2018-11-20 14:40
  • 签到天数: 33 天

    [LV.5]常住居民I

    一直没搞明白你们在讨论些什么?蜘蛛在服务器上的C盘日志文件都可以看到啊。弄这些东西有可视化的统计吗?
    回复

    使用道具 举报

    1

    主题

    0

    听众

    40

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情

    2023-3-5 23:02
  • 签到天数: 42 天

    [LV.5]常住居民I

    来看看,是什么神奇
    回复

    使用道具 举报

    1

    主题

    0

    听众

    20

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情

    2018-12-11 16:37
  • 签到天数: 15 天

    [LV.4]偶尔看看III

    bash windows能用吗
    回复

    使用道具 举报

    0

    主题

    0

    听众

    1

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    奋斗
    2018-9-15 03:40
  • 签到天数: 1 天

    [LV.1]初来乍到


    本文摘自: 黑帽联盟(https://bbs.cnblackhat.com/) 详细出处请参考:https://bbs.cnblackhat.com/thread-705-1-1.html
    已有 1 人评分黑币 收起 理由
    定位 -4 灌水!

    总评分: 黑币 -4   查看全部评分

    回复

    使用道具 举报

    0

    主题

    0

    听众

    13

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    擦汗
    2020-5-12 16:12
  • 签到天数: 15 天

    [LV.4]偶尔看看III

    刚加入 进来看看
    回复

    使用道具 举报

    0

    主题

    0

    听众

    16

    积分

    黑帽菜鸟

    Rank: 1

  • TA的每日心情
    慵懒
    2019-6-9 18:36
  • 签到天数: 23 天

    [LV.4]偶尔看看III

    谢谢分享,刚好有需要
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 会员注册

    发布主题 !fastreply! 收藏帖子 返回列表 搜索
    回顶部