Nginx纯配置实现日志实时上报的思路与方法

前言

Nginx 作为常用的负载均衡网关. 会产生大量的日志. 但是由于 Nginx 的配置文件是一种声明式的编程范式, 不方便描述流程控制, 因此不能通过简单的指令实现日志的上报.

通常 Nginx 的日志上报是需要写一个shell脚本或其他语言的脚本来定时解析 Nginx 的 log 文件, 然后进行上报.

利用 NJS 模块, 可以实现实时的日志上报.

但是由于 NJS 模块支持的指令的限制, 无法通过单一指令很好的实现日志上报. 通过多个指令的组合可以实现非阻塞性的实时日志上报.

该方案在 Nginx 中实现, 不依赖Node, Python 等其他进程

实现思路

Nginx 指令繁多, 以下为最近探索出的一种实现方式. 如果有更优雅的实现方法, 欢迎留言交流.

虽然拥有了强大的 Njs 模块可以写 JS 脚本, 但是 NJS 模块的指令有诸多限制, 并不像 Node 一样可以实现任意的功能.

如果要实现日志的实时上报, 需要满足以下2个能力:

1. 每个请求都可以触发
2. 后台上报, 不阻塞当前请求的处理进程

常用的 js_set 指令虽然可以在每个请求时都触发, 但是只支持同步的操作. 无法使用 fetch, subrequest 方法.

js_content 指令中可以使用 fetch 函数. 但只能在 location 中使用. 因此可以利用其他指令将请求转发到 js_content 的路径中, 在该指令中完成日志的上报.

而 http_auth_request_module 模块的 auth_request 指令用于做请求的权限校验, 如 jwt 校验等. 该指令在每个请求时都会触发, 创建一个子请求, 根据该请求的返回结果决定权限校验的结果.

因此可以结合这两个模块来实现日志的上报.

实现步骤

1. 编译 Nginx

实现该功能需要 Nginx 支持 ngx_http_js_module 和
下载地址:
linux修改文件所属用户和组的实例方法
利用njs模块在nginx配置中引入js脚本