木头虫在家

  • 系统
  • 安全
  • 应用
  • 技术
蜘蛛
安全

Bytespider爬虫记录

今天看面板的时候发现流量不太对,然后看了下日志发现了以下IP访问比较频繁,来自一个Bytespider的爬虫 netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'     比较有嫌疑的IP段是 60.8.9.0/24 60.8.165.0/24 111.225.0.0/24 220.243.0.0/24   直接防火墙屏蔽掉立马消停。   iptables -I INPUT -s 111.22…

2019年6月18日 0条评论 232点热度 0人点赞 admin 阅读全文
安全

Nginx 屏蔽垃圾蜘蛛、攻擊、惡意來源 IP

服務器資源有限,受不了垃圾蜘蛛一天到晚的爬取,本配置文件適合 nginx,apache 可以自己對照著修改,IP 不斷更新中,大家可以根據自己的需要添加或刪除,由於有些來源 IP 純屬肉雞,因此僅供參考。 本文件較嚴格,基本都是一個網段一起屏蔽,如果你是企業網站、官網之類的大型站點,請斟酌。 用法: ① 下載配置文件,放到適當的位置,比如: cd /usr/local/nginx/conf/vhost/ && wget https://raw.githubusercontent.com/virclo…

2019年6月18日 0条评论 220点热度 0人点赞 admin 阅读全文
安全

网站如何屏蔽垃圾蜘蛛爬取?

网站一般欢迎蜘蛛访问,因为蜘蛛意味着搜索排名和流量,但有时候,大量垃圾蜘蛛甚至爬虫访问很影响性能,特别是服务器配置不高的情况下,那么我们该怎样屏蔽掉垃圾蜘蛛呢? 一般来说,屏蔽蜘蛛的爬取有三种方法: Robots 禁封 UA 禁封 IP 禁封 一、Robots 禁封 Robots 协议(也称为爬虫协议、机器人协议等)的全称是 “网络爬虫排除标准”(Robots Exclusion Protocol),用来告诉搜索引擎、爬虫哪些页面可以抓取,哪些页面不能抓取。 Robots 协议在网站中体现在根目录下的 robots…

2019年6月18日 0条评论 287点热度 0人点赞 admin 阅读全文
分类
  • 值的推
  • 域名主机
  • 安全
  • 应用
  • 技术
  • 系统
  • 网络
  • 运维
标签聚合
宝塔 防火墙 免费SSL证书 juniper iRedMail 打印机 h3c 端口 linux Windows Server 2012 freebsd windows win10 服务器 蓝屏 vmware Nginx Chrome mysql数据库 centos 虚拟机 debian ssh 蜘蛛
最新 热点 随机
最新 热点 随机
VMware 16磁盘映射只能读取不能写入解决办法 Win10离线安装.NET Framework 3.5的方法 Zabbix无法选择中文语言包,如何修改成中文 ovf导入到Esxi上出现“文件条目(行1)无效,sha256……”的解决办法 juniper srx防火墙查看CPU、新建连接数、并发连接 Juniper SRX通用配置手册 硬盘PMR和CMR选哪个,哪个好? 查看品牌台式机、笔记本出厂序列号 Windows 10打印机共享,提示操作失败错误为0x0000011b juniper 日常操作命令
Juniper SRX通用配置手册juniper srx防火墙查看CPU、新建连接数、并发连接ovf导入到Esxi上出现“文件条目(行1)无效,sha256……”的解决办法Zabbix无法选择中文语言包,如何修改成中文Win10离线安装.NET Framework 3.5的方法VMware 16磁盘映射只能读取不能写入解决办法
CentOS 设置网络(修改IP&修改网关&修改DNS) 一份freebsd内核优化参数表 0x000000ed 蓝屏故障 服务器 {AB8902B4-09CA-4BB6-B78D-A8F59079A8D5} 没有在要求的超时时间内向 DCOM 注册。 EMOS-slockd反垃圾邮件领先技术 谷歌浏览器chrome离线安装包下载 Centos 配置eth0 提示Device does not seem to be present Junos的Commit 定时提交命令 win10程序假死无响应解决办法 微软Surface 笔记本如何进入U盘启动设置教程

COPYRIGHT © 2023 blog.qmun.com. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

浙ICP备11036795号