黑帽联盟

 找回密码
 会员注册
楼主: admin
打印 上一主题 下一主题

[经验] 各个搜索引擎实时监测蜘蛛爬行脚本(定位原创)

  [复制链接]

293

主题

18

听众

955

积分

管理员

Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    奋斗
    2023-10-26 13:13
  • 签到天数: 358 天

    [LV.8]以坛为家I

    以下是360蜘蛛实时监测脚本,其他搜索引擎的以此类推,如果实在不会写,我分享到网盘里面。

    监测蜘蛛爬行脚本

    #!/bin/bash

    cd /home/wwwlogs

    SpiderNum=`cat bbs.cnblackhat.com.log | grep 360Spider | wc -l`

    spider() {

    SpiderIp="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' '  '{print $1}' | sed -n $i'p'`"

    SpiderTime="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $4}' | sed -n $i'p'`"

    SpiderTarget="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $7}' | sed -n $i'p'`"

    SpiderStatus="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $9}' | sed -n $i'p'`"

    SpiderType="`cat bbs.cnblackhat.com.log | grep 360Spider | awk -F ' ' '{print $20}' | sed -n $i'p'`"


    echo "$SpiderIp : $SpiderTime : $SpiderTarget : $SpiderStatus : $SpiderType"
    }

    for ((i=1; i<=$SpiderNum; i++))
    do
    spider
    done


    其它搜索引擎脚本下载地址:

    购买主题 已有 24 人购买  本主题需向作者支付 4 黑币 才能浏览
    帖子永久地址: 

    黑帽联盟 - 论坛版权1、本主题所有言论和图片纯属会员个人意见,与本论坛立场无关
    2、本站所有主题由该帖子作者发表,该帖子作者与黑帽联盟享有帖子相关版权
    3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和黑帽联盟的同意
    4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
    5、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责
    6、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
    7、黑帽联盟管理员和版主有权不事先通知发贴者而删除本文

    293

    主题

    18

    听众

    955

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    奋斗
    2023-10-26 13:13
  • 签到天数: 358 天

    [LV.8]以坛为家I

    愤怒的肥皂 发表于 2016-10-28 16:39
    怎么用啊!直接丢到根目录吗?

    随便哪个目录都行,给予它可执行权限,执行./文件  就可以了,之后你就能看到了
    回复

    使用道具 举报

    293

    主题

    18

    听众

    955

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    奋斗
    2023-10-26 13:13
  • 签到天数: 358 天

    [LV.8]以坛为家I

    璀璨李0804 发表于 2017-8-7 00:30
    这个是放在我们自己搭建的蜘蛛池执行脚本里面吗?

    在linux主机里面执行
    回复

    使用道具 举报

    293

    主题

    18

    听众

    955

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    奋斗
    2023-10-26 13:13
  • 签到天数: 358 天

    [LV.8]以坛为家I

    大神成长中 发表于 2018-3-27 23:34
    放到根目录然后呢

    然后添加执行权限,执行即可
    回复

    使用道具 举报

    293

    主题

    18

    听众

    955

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    奋斗
    2023-10-26 13:13
  • 签到天数: 358 天

    [LV.8]以坛为家I

    大神成长中 发表于 2018-3-27 23:34
    放到根目录然后呢

    然后添加执行权限,执行即可
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 会员注册

    发布主题 !fastreply! 收藏帖子 返回列表 搜索
    回顶部