木头虫在家

  • 系统
  • 安全
  • 应用
  • 技术
蜘蛛
安全

Bytespider爬虫记录

今天看面板的时候发现流量不太对,然后看了下日志发现了以下IP访问比较频繁,来自一个Bytespider的爬虫 netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'     比较有嫌疑的IP段是 60.8.9.0/24 60.8.165.0/24 111.225.0.0/24 220.243.0.0/24   直接防火墙屏蔽掉立马消停。   iptables -I INPUT -s 111.22…

2019年6月18日 0条评论 272点热度 0人点赞 admin 阅读全文
安全

Nginx 屏蔽垃圾蜘蛛、攻擊、惡意來源 IP

服務器資源有限,受不了垃圾蜘蛛一天到晚的爬取,本配置文件適合 nginx,apache 可以自己對照著修改,IP 不斷更新中,大家可以根據自己的需要添加或刪除,由於有些來源 IP 純屬肉雞,因此僅供參考。 本文件較嚴格,基本都是一個網段一起屏蔽,如果你是企業網站、官網之類的大型站點,請斟酌。 用法: ① 下載配置文件,放到適當的位置,比如: cd /usr/local/nginx/conf/vhost/ && wget https://raw.githubusercontent.com/virclo…

2019年6月18日 0条评论 268点热度 0人点赞 admin 阅读全文
安全

网站如何屏蔽垃圾蜘蛛爬取?

网站一般欢迎蜘蛛访问,因为蜘蛛意味着搜索排名和流量,但有时候,大量垃圾蜘蛛甚至爬虫访问很影响性能,特别是服务器配置不高的情况下,那么我们该怎样屏蔽掉垃圾蜘蛛呢? 一般来说,屏蔽蜘蛛的爬取有三种方法: Robots 禁封 UA 禁封 IP 禁封 一、Robots 禁封 Robots 协议(也称为爬虫协议、机器人协议等)的全称是 “网络爬虫排除标准”(Robots Exclusion Protocol),用来告诉搜索引擎、爬虫哪些页面可以抓取,哪些页面不能抓取。 Robots 协议在网站中体现在根目录下的 robots…

2019年6月18日 0条评论 426点热度 0人点赞 admin 阅读全文
分类
  • 值的推
  • 域名主机
  • 安全
  • 应用
  • 技术
  • 系统
  • 网络
  • 运维
标签聚合
linux windows centos Chrome 蜘蛛 宝塔 juniper vmware 无线网络 打印机 excel win10 Nginx mysql数据库 Windows Server 2012 freebsd 服务器 h3c iRedMail 防火墙 免费SSL证书 虚拟机 AC debian
最新 热点 随机
最新 热点 随机
Palo Alto 基于VM-Series ESXI虚拟防火墙部署 网络安全之无线WiFi密码爆破字典下载 windows更新 下载并安装 灰色 无法更新解决办法 Juniper EX3400 告警 Rescue configuration is not set Juniper EX系列交换机基础配置文件 Windows 10系统business editions和consumer editions版本区别 安装win11无法跳过,提示为你连接到网络问题 解决办法 VMware 16磁盘映射只能读取不能写入解决办法 Win10离线安装.NET Framework 3.5的方法 Zabbix无法选择中文语言包,如何修改成中文
网络安全之无线WiFi密码爆破字典下载Palo Alto 基于VM-Series ESXI虚拟防火墙部署
Windows 10系统business editions和consumer editions版本区别 fail2ban服务器手动解绑ip及添加黑白名单IP juniper srx防火墙查看CPU、新建连接数、并发连接 宝塔服务器面板,一键全能部署及管理,送你¥3188礼包 Juniper SRX防火墙 IPV6 配置 iRedmail添加多域名以及增加DKIM 通过find命令配合rm删除某目录下所有子目录中的某类文件 Windows 无法加载这个硬件的设备驱动程序。驱动程序可能已损坏或不见了。 (代码 39) [Windows] Office 2013 Pro Plus Vol 版MAK激活密钥,非破解,直接激活. itunes更改手机默认备份目录到别的位置

COPYRIGHT © 2023 blog.qmun.com. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

浙ICP备11036795号