Linux日志文件总管——logrotate, MySQL慢日志分割, 配置 logrotate 的终极指导

apt-get install logrotate cron

yum install logrotate crontabs

# touch /var/log/log-file
# head -c 10M < /dev/urandom > /var/log/log-file

由于现在日志文件已经准备好，我们将配置logrotate来轮循该日志文件。让我们为该文件创建一个配置文件。

# vim /etc/logrotate.d/log-file

/var/log/log-file {
    monthly
    rotate 5
    compress
    delaycompress
    missingok
    notifempty
    create 644 root root
    postrotate
        /usr/bin/killall -HUP rsyslogd
    endscript
}

这里：

• monthly: 日志文件将按月轮循。其它可用值为‘daily’，‘weekly’或者‘yearly’。
• rotate 5: 一次将存储5个归档日志。对于第六个归档，时间最久的归档将被删除。
• compress: 在轮循任务完成后，已轮循的归档将使用gzip进行压缩。
• delaycompress: 总是与compress选项一起用，delaycompress选项指示logrotate不要将最近的归档压缩，压缩将在下一次轮循周期进行。这在你或任何软件仍然需要读取最新归档时很有用。
• missingok: 在日志轮循期间，任何错误将被忽略，例如“文件无法找到”之类的错误。
• notifempty: 如果日志文件为空，轮循不会进行。
• create 644 root root: 以指定的权限创建全新的日志文件，同时logrotate也会重命名原始日志文件。
• postrotate/endscript: 在所有其它指令完成后，postrotate和endscript里面指定的命令将被执行。在这种情况下，rsyslogd 进程将立即再次读取其配置并继续运行。

上面的模板是通用的，而配置参数则根据你的需求进行调整，不是所有的参数都是必要的。

样例二

在本例中，我们只想要轮循一个日志文件，然而日志文件大小可以增长到50MB。

# vim /etc/logrotate.d/log-file

/var/log/log-file {
    size=50M
    rotate 5
    create 644 root root
    postrotate
        /usr/bin/killall -HUP rsyslogd
    endscript
}

样例三

我们想要让旧日志文件以创建日期命名，这可以通过添加dateext常熟实现。

# vim /etc/logrotate.d/log-file

/var/log/log-file {
    monthly
    rotate 5
    dateext
    create 644 root root
    postrotate
        /usr/bin/killall -HUP rsyslogd
    endscript
}

这将让归档文件在它们的文件名中包含日期信息。

排障

这里提供了一些logrotate设置的排障提示。

1. 手动运行logrotate

logrotate可以在任何时候从命令行手动调用。

要调用为/etc/lograte.d/下配置的所有日志调用logrotate：

# logrotate /etc/logrotate.conf

要为某个特定的配置调用logrotate：

# logrotate /etc/logrotate.d/log-file

2. 演练

排障过程中的最佳选择是使用‘-d’选项以预演方式运行logrotate。要进行验证，不用实际轮循任何日志文件，可以模拟演练日志轮循并显示其输出。

# logrotate -d /etc/logrotate.d/log-file

正如我们从上面的输出结果可以看到的，logrotate判断该轮循是不必要的。如果文件的时间小于一天，这就会发生了。

3. 强制轮循

即使轮循条件没有满足，我们也可以通过使用‘-f’选项来强制logrotate轮循日志文件，‘-v’参数提供了详细的输出。

# logrotate -vf /etc/logrotate.d/log-file 

reading config file /etc/logrotate.d/log-file
reading config info for /var/log/log-file
 
Handling 1 logs
 
rotating pattern: /var/log/log-file  forced from command line (5 rotations)
empty log files are rotated, old logs are removed
considering log /var/log/log-file
  log needs rotating
rotating log /var/log/log-file, log->rotateCount is 5
dateext suffix '-20140916'
glob pattern '-[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]'
renaming /var/log/log-file.5.gz to /var/log/log-file.6.gz (rotatecount 5, logstart 1, i 5),
old log /var/log/log-file.5.gz does not exist
renaming /var/log/log-file.4.gz to /var/log/log-file.5.gz (rotatecount 5, logstart 1, i 4),
old log /var/log/log-file.4.gz does not exist
. . .
renaming /var/log/log-file.0.gz to /var/log/log-file.1.gz (rotatecount 5, logstart 1, i 0),
old log /var/log/log-file.0.gz does not exist
log /var/log/log-file.6.gz doesn't exist -- won't try to dispose of it
renaming /var/log/log-file to /var/log/log-file.1
creating new /var/log/log-file mode = 0644 uid = 0 gid = 0
running postrotate script
compressing log with: /bin/gzip

4. Logrotate的记录日志

logrotate自身的日志通常存放于/var/lib/logrotate/status目录。如果处于排障目的，我们想要logrotate记录到任何指定的文件，我们可以指定像下面这样从命令行指定

# logrotate -vf –s /var/log/logrotate-status /etc/logrotate.d/log-file

5. Logrotate定时任务

logrotate需要的cron任务应该在安装时就自动创建了，我把cron文件的内容贴出来，以供大家参考。

# cat /etc/cron.daily/logrotate 

#!/bin/sh
 
# Clean non existent log file entries from status file
cd /var/lib/logrotate
test -e status || touch status
head -1 status > status.clean
sed 's/"//g' status | while read logfile date
do
    [ -e "$logfile" ] && echo "\"$logfile\" $date"
done >> status.clean
mv status.clean status
 
test -x /usr/sbin/logrotate || exit 0
/usr/sbin/logrotate /etc/logrotate.conf

小结一下，logrotate工具对于防止因庞大的日志文件而耗尽存储空间是十分有用的。配置完毕后，进程是全自动的，可以长时间在不需要人为干预下运行。本教程重点关注几个使用logrotate的几个基本样例，你也可以定制它以满足你的需求。

一般来说，日志是任何故障排除过程中非常重要的一部分，但这些日志会随着时间增长。在这种情况下，我们需要手动执行日志清理以回收空间，这是一件繁琐的管理任务。为了解决这个问题，我们可以在 Linux 中配置 logrotate 程序，它可以自动执行日志文件的轮换、压缩、删除和用邮件发出。

我们可以配置 logrotate 程序，以便每个日志文件可以在每天、每周、每月或当它变得太大时处理。

logrotate 是如何工作的

默认情况下，logrotate 命令作为放在 /etc/cron.daily 中的 cron 任务，每天运行一次，它会帮助你设置一个策略，其中超过某个时间或大小的日志文件被轮换。

命令： /usr/sbin/logrotate

配置文件： /etc/logrotate.conf

这是 logrotate 的主配置文件。logrotate 还在 /etc/logrotate.d/ 中存储了特定服务的配置。确保下面的那行包含在 /etc/logrotate.conf 中，以读取特定服务日志配置。

include  /etc/logrotate.d`

logrotate 历史： /var/lib/logrotate.status

重要的 logrotate 选项：

compress             --> 压缩日志文件的所有非当前版本
daily,weekly,monthly --> 按指定计划轮换日志文件
delaycompress        --> 压缩所有版本，除了当前和下一个最近的
endscript            --> 标记 prerotate 或 postrotate 脚本的结束
errors "emailid"     --> 给指定邮箱发送错误通知
missingok            --> 如果日志文件丢失，不要显示错误
notifempty           --> 如果日志文件为空，则不轮换日志文件
olddir "dir"         --> 指定日志文件的旧版本放在 “dir” 中
postrotate           --> 引入一个在日志被轮换后执行的脚本
prerotate            --> 引入一个在日志被轮换前执行的脚本
rotate 'n'           --> 在轮换方案中包含日志的 n 个版本
sharedscripts        --> 对于整个日志组只运行一次脚本
size='logsize'       --> 在日志大小大于 logsize（例如 100K，4M）时轮换

配置

让我们为我们自己的示例日志文件 /tmp/sample_output.log 配置 logrotate。

第一步：在 /etc/logrotate.conf 中添加以下行。

/tmp/sample_output.log {
  size 1k
  create 700 root root
  rotate 4
  compress
}

在上面的配置文件中：

• size 1k – logrotate 仅在文件大小等于（或大于）此大小时运行。
• create – 轮换原始文件并创建具有指定权限、用户和组的新文件。
• rotate – 限制日志文件轮转的数量。因此，这将只保留最近的 4 个轮转的日志文件。
• compress – 这将压缩文件。

第二步：通常，你需要等待一天才能等到 logrotate 由 /etc/cron.daily 执行。除此之外，你可以用下面的命令在命令行中运行：

/usr/sbin/logrotate  /etc/logrotate.conf

在执行 logrotate 命令之前的输出：

[root@rhel1 tmp]# ls -l /tmp/
total 28
-rw-------. 1 root root 20000 Jan 1 05:23 sample_output.log

在执行 logrotate 之后的输出：

[root@rhel1 tmp]# ls -l /tmp
total 12
-rwx------. 1 root root 0 Jan 1 05:24 sample_output.log
-rw-------. 1 root root 599 Jan 1 05:24 sample_output.log-20170101.gz
[root@rhel1 tmp]#

这样就能确认 logrotate 成功实现了。

本文：Linux日志文件总管——logrotate, MySQL慢日志分割, 配置 logrotate 教程