记一次利用GrayLog实现采集与备份云服务器Web访问日志的实现过程

一
、记次集备业务场景及主要需求

如图所示：

采集AWS云服务器(Web服务器)的利用nginx访问日志 ，并进行日志分析 。现采现过由于AWS云Web服务器(Web服务器)上磁盘空间有限 ，份云服务访问nginx日志做了logrotate轮转 ，日志只保留了最近5天 ，记次集备但是利用又想做日志长久留存(不仅仅是源码库安全要求) ，所以想通过同步或者备份的现采现过方式在内网的服务器上对nginx Web日志进行增量备份。

二 、份云服务访问具体实现的日志思路

由于AWS云服务器在内网可以SSH访问(AWS云服务器安全组上已经将出口公网IP加入SSH端口的白名单)
。建站模板

内网部署一台GrayLog服务器，记次集备将Graylog日志服务器的利用Syslog接收端口2514能过出口防火墙映射到公网。AWS云服务器通过rsyslog服务采集本地的现采现过nginx日志，并发送上一步中到映射到公网的份云服务访问Syslog UDP端口上
 ，也就是免费模板日志发送GrayLog。利用GrayLog服务器的磁盘空间，rsync+SSH+crontab的方式实现文件增量同步备份。

三、具体实现步骤

1
、AWS云服务器配置rsyslog

说明:本文使用的云计算115.58.180.214公网IP为虚构IP 。

复制vi /etc/rsyslog.d/toGraylog.confmodule(load="imfile" PollingInterval="1")

# Input for FILE1

#wildcard is

allowed at file level only

input( type="imfile" tag="Nginxlog" ruleset="filelog" Facility="local0" Severity="info" PersistStateInterval="1" reopenOnTruncate="on" freshStartTail="on" file="/var/log/nginx/access.log")

# Define a template for file events

template(name="GraylogFormatFilelog" type="string" string="%msg%\n")#Replace the Target and Port values with your GrayLog IP address and

port.

ruleset(name="filelog") { action( type="omfwd" protocol="udp" target="115.58.180.214" port="2514" template="GraylogFormatFilelog" queue.type="LinkedList" queue.filename="fileq1" queue.saveonshutdown="on" action.resumeRetryCount="-1" )

stop

}1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.

重启rsyslog服务 ：

复制systemctl restart rsyslog1.

2
 、GrayLog上验证是否收到日志

效果如下 ：

可以对提取出来的access访问IP做GEOIP查询 。

3、实现日志增量备份

先测试一下免密登录是否OK AWS服务器上生成密钥对。高防服务器

复制ssh-keygen -t rsa -b 4096cat id_rsa.pub >> /root/.ssh/authorized_keys1.2.

GrayLog服务器上验证使用私钥是否可以免密登录到AWS服务器。

复制ssh -i /home/id_rsa root@115.58.180.2141.

接下来利用rsync+SSH+crontab实现备份。

复制vi /opt/aws_logs_backup.sh#!/bin/

bash

LOCK=/var/log/aws_logs_rsync_record.logecho "备份日期:" >> ${ LOCK} 2>&1echo `date +%Y-%m-%d_%T` >> ${ LOCK} 2>&1echo "================= AWS logs Rsync starting===============================" >> ${ LOCK} 2>&1rsync --progress -avz -e "ssh -p 22 -i /home/id_rsa" root@115.58.180.214:/var/log/nginx/access.log* /opt/AWS_logs_backup/ >> ${ LOCK} 2>&1echo "================= AWS logs Rsync Finished===============================" >> ${ LOCK} 2>&11.2.3.4.5.6.7.8.

赋予脚本执行权限。

复制chmod 755 /opt/aws_logs_backup.shcrontab -

e

[root@graylog ~]# crontab -

l

00 0,6,12,18,23 * * * /opt/aws_logs_backup.shsh /opt/aws_logs_backup.sh1.2.3.4.5.

尝试手动同步是否OK。

后续再观察增量同步备份是否OK 。源码下载

rsync参考之前文章 ：部署CwRsyncServer实现Linux下文件同步到WindowsServer服务器。