IIS服务器配置NXLog进行syslog转发（并解决GMT+8小时时差问题）

Z时代
2024-01-10
分类：综合

NXLog是个跨平台日志传输插件，支持linux、windows平台的大部分系统日志及常见的web日志，支持tcp、udp、http(s)等协议传输。

本文通过NXLog将IIS的日志以syslog的形式转发至日志审计服务器。

一、系统环境

操作系统：Window Server2012 R2 DataCenter

IIS：8.5

NXLog：nxlog-ce-2.10.2150

下载地址：https://nxlog.co/products/nxlog-community-edition/download （Windows请选择msi文件下载）

二、NXLog的整体实现原理

NXLog整体采用插件架构模式，通过加载可调用的模块，实现从各种不同的日志来源读取日志数据(Input)，对日志数据进行解析和转换(Prosessor)，最后进行输出(Output)。

IIS的日志为文本类型的逐行文件，各字段使用“空格符”进行分割，而其中的日期和时间分属于两个不同的字段。因此IIS的日志可以通过Input的im_file模块进行读取，并经过一定的处理后输出（转发）。

在NXLog的安装路径C:Program Files

xlog（或C:Program Files (x86)

xlog）下找到conf

xlog.conf，用文本编辑器进行编辑。

三、具体配置方法

1. 查看本地IIS日志格式（在IIS管理器中可以对W3C日志记录字段进行更改。）

#Software: Microsoft Internet Information Services 8.5

#Version: 1.0

#Date: 2020-04-26 06:14:01

#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) cs-host sc-status sc-substatus sc-win32-status time-taken

2. 设置W3C扩展日志格式（这里的第一个$datetime是将$date和$time进行了合并，具体见下面input中的操作。）

Module xm_csv

Fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $s-port, $cs-username, $c-ip, $csUser-Agent, $cs-Referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken

FieldTypes string, string, string, string, string, string, string, string, string, string, string, string, string, string, string

Delimiter " "

QuoteChar """

EscapeControl TRUE

UndefValue -

</Extension>

3. 增加Input日志来源

<Input IISin>
   Module   im_file
   # IIS日志目录，文件名支持通配符，文件夹不支持
   File     "C:inetpublogsLogFilesW3SVC1u_ex*.log"
   SavePos  TRUE
   # 忽略以#开头的日志行
   # 编码转换为GBK（我的日志审计服务器默认为GBK编码，而IIS日志的编码为UTF-8，请按实际情况设置）
   # 利用替换法将日期与时间合并为一个字段
   # 解析为CSV格式
   # 通过xm_csv模块对W3C扩展日志进行解析
   # 将合并后的日期与时间作为EventTime（发生时间），并增加GMT标志(+00:00)解决IIS8小时时差问题
   Exec if $raw_event =~ /^#/ drop();                              
        else                                                       
        {                                                          
          convert_fields("AUTO", "GBK");                           
          $raw_event = replace($raw_event, " ", "@", 1);           
          w3c->parse_csv();                                        
          $raw_event = replace($raw_event, " ", "	");             
          $raw_event = replace($raw_event, "@", " ", 1);           
          $EventTime = parsedate(replace($datetime, "@", " ", 1) + "+00:00"); 
        }
</Input>

4. 增加Output日志输出（内网通过UDP方式输出可以提高运行效率；如果需要高可靠性可采用TCP，但容易造成工作负载过大。使用to_syslog_bsd后，在input段设置的$EventTime才能有效。）

<Output IISout>
   Module om_udp
   Host 10.168.100.1
   Port 514
   Exec to_syslog_bsd();
</Output>

5. 增加转发规则

<Route 1>
   Path IISin => IISout
</Route>

　　
四、启动NXLog

可以通过服务管理器services.msc中启动nxlog服务，或者在安装路径中双击nxlog.exe运行。

五、排错

检查安装路径data

xlog.log日志文件，并进行排错。如果提示如下内容（ERROR if-else failed），大多数是因为<Extension w3c>段中配置的字段和日志中的字段不匹配。

2020-04-26 14:04:24 ERROR if-else failed at line 43, character 315 in C:Program Files (x86)

xlogconf

xlog.conf. statement execution has been aborted; procedure "parse_csv" failed at line 43, character 181 in C:Program Files (x86)

xlogconf

xlog.conf. statement execution has been aborted; Too many fields in CSV input, expected 15, got 16 in input "...此处略去具体日志内容..."

六、实际效果

七、完整配置文件：conf

xlog.conf

Panic Soft
#NoFreeOnExit TRUE
define ROOT     C:Program Files (x86)
xlog
define CERTDIR  %ROOT%cert
define CONFDIR  %ROOT%conf
define LOGDIR   %ROOT%data
define LOGFILE  %LOGDIR%
xlog.log
LogFile %LOGFILE%
Moduledir %ROOT%modules
CacheDir  %ROOT%data
Pidfile   %ROOT%data
xlog.pid
SpoolDir  %ROOT%data
<Extension w3c>
    Module xm_csv
    Fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $s-port, $cs-username, $c-ip, $csUser-Agent, $cs-Referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken
    FieldTypes string, string, string, string, string, string, string, string, string, string, string, string, string, string, string
    Delimiter " "
    QuoteChar """
    EscapeControl TRUE
    UndefValue -
</Extension>
<Extension _syslog>
    Module      xm_syslog
</Extension>
<Extension _charconv>
    Module      xm_charconv
    AutodetectCharsets iso8859-2, utf-8, utf-16, utf-32
</Extension>
<Extension _exec>
    Module      xm_exec
</Extension>
<Extension _fileop>
    Module      xm_fileop
    # Check the size of our log file hourly, rotate if larger than 5MB
    <Schedule>
        Every   1 hour
        Exec    if (file_exists("%LOGFILE%") and 
                   (file_size("%LOGFILE%") >= 5M)) 
                    file_cycle("%LOGFILE%", 8);
    </Schedule>
    # Rotate our log file every week on Sunday at midnight
    <Schedule>
        When    @weekly
        Exec    if file_exists("%LOGFILE%") file_cycle("%LOGFILE%", 8);
    </Schedule>
</Extension>
<Input IISin>
   Module   im_file
   # IIS日志目录，文件名支持通配符，文件夹不支持
   File     "C:inetpublogsLogFilesW3SVC1u_ex*.log"
   SavePos  TRUE
   # 忽略以#开头的日志行
   # 编码转换为GBK（我的日志审计服务器默认为GBK编码，而IIS日志的编码为UTF-8，请按实际情况设置）
   # 合并日期与时间为一个字段
   # 解析为CSV格式
   # 通过xm_csv模块对W3C扩展日志进行解析
   # 将合并后的日期与时间作为EventTime（发生时间），并增加GMT标志(+00:00)解决IIS8小时时差问题
   Exec if $raw_event =~ /^#/ drop();                              
        else                                                       
        {                                                          
          convert_fields("AUTO", "GBK");                           
          $raw_event = replace($raw_event, " ", "@", 1);           
          w3c->parse_csv();                                        
          $raw_event = replace($raw_event, " ", "	");             
          $raw_event = replace($raw_event, "@", " ", 1);           
          $EventTime = parsedate(replace($datetime, "@", " ", 1) + "+00:00"); 
        }
</Input>
<Output IISout>
   Module om_udp
   Host 10.168.100.1
   Port 514
   Exec to_syslog_bsd();
</Output>
<Route 1>
   Path IISin => IISout
</Route>