Nginx纯配置实现日志实时上报的思路与方法

IT博客 操作系统 linux 370

基本信息收藏 - 举报 - 海报

详细介绍

前言

Nginx 作为常用的负载均衡网关. 会产生大量的日志. 但是由于 Nginx 的配置文件是一种声明式的编程范式, 不方便描述流程控制, 因此不能通过简单的指令实现日志的上报.

通常 Nginx 的日志上报是需要写一个shell脚本或其他语言的脚本来定时解析 Nginx 的 log 文件, 然后进行上报.

利用 NJS 模块, 可以实现实时的日志上报.

但是由于 NJS 模块支持的指令的限制, 无法通过单一指令很好的实现日志上报. 通过多个指令的组合可以实现非阻塞性的实时日志上报.

该方案在 Nginx 中实现, 不依赖Node, Python 等其他进程

实现思路

Nginx 指令繁多, 以下为最近探索出的一种实现方式. 如果有更优雅的实现方法, 欢迎留言交流.

虽然拥有了强大的 Njs 模块可以写 JS 脚本, 但是 NJS 模块的指令有诸多限制, 并不像 Node 一样可以实现任意的功能.

如果要实现日志的实时上报, 需要满足以下2个能力:

每个请求都可以触发后台上报, 不阻塞当前请求的处理进程

常用的 js_set 指令虽然可以在每个请求时都触发, 但是只支持同步的操作. 无法使用 fetch, subrequest 方法.

js_content 指令中可以使用 fetch 函数. 但只能在 location 中使用. 因此可以利用其他指令将请求转发到 js_content 的路径中, 在该指令中完成日志的上报.

而 http_auth_request_module 模块的 auth_request 指令用于做请求的权限校验, 如 jwt 校验等. 该指令在每个请求时都会触发, 创建一个子请求, 根据该请求的返回结果决定权限校验的结果.

因此可以结合这两个模块来实现日志的上报.

实现步骤

1. 编译 Nginx

实现该功能需要 Nginx 支持 ngx_http_js_module 和 ngx_http_auth_request_module 模块. 这2个模块是默认不安装的. 需要自己编译实现

NJS 模块安装可以参考当JS邂逅Nginx http_auth_request_module 模块只要在编译时增加参数 --with-http_auth_request_module 即可

编译

./configure --add-module=[NJS 模块路径]/NJS/nginx --with-http_auth_request_module 

make && make install

2. 配置文件如下

http {
    js_import  http.js;   # 引入 js 文件
   
    server {
        listen 80;
    
        auth_request /proxy_report; # 该指令对于每个请求开始时都会触发, 创建一个子请求转发到 proxy_report 路径上
        location / { 
            index  index.html index.htm;
        }
        
        location /proxy_report {
            internal; # 限制仅接受内部请求
            # 把原请求的 uri 和 method 数据保存在 header 中. 因为auth_request 请求会修改这些数据.            
            proxy_set_header X-Original-URI $request_uri;
            proxy_set_header X-Original-METHOD $request_method;
            # 转发到另外一个 server 上
            proxy_pass http://localhost:8080/report;
        }
    }
    
    server {
        listen 8080;
        # 上报接口放在另外一个 server 中, 且该 server 中无 auth_request 指令, 避免循环触发请求
        location /report {
            # 通过 js_content 指令引入一个 js 处理脚本, 完成上报操作
            js_content http.report;
        }
    }
}

// http.js 文件

import qs from "querystring";

async function report (r) {
    let args = {
        // 从 header 中取原始的 uri 和 method 等请求数据
        uri: r.headersIn["X-Original-URI"],
        method: r.headersIn["X-Original-METHOD"],
        remoteAddress: r.remoteAddress,
        status: r.status,
        headersIn: JSON.stringifry(r.headersIn),
    }
    // 发出异步请求, 不阻塞当前请求的进程, 在后台完成上报
    ngx.fetch(`http://[上报服务路径]?${qs.stringify(args)}`, {
        method: "GET",
    })
    // 返回200的状态码使校验指令成功
    r.return(200)
}

export default { report }