一次nginx崩潰事件的實(shí)戰(zhàn)記錄-魔扣目錄

一、事件描述

2023年春節(jié)復(fù)工第一天，項(xiàng)目組同事反饋說(shuō)業(yè)務(wù)系統(tǒng)中圖像處理代理Nginx服務(wù)于1月23日發(fā)生崩潰，完成了重啟操作，檢查nginx的日志有如下報(bào)錯(cuò)：

2023/01/23 11:07:07 [crit] 3237#3237: *2253009 pwritev() "/var/cache/nginx/client_temp/0000743846"
failed (28: No space left on device),
client: 10.14.32.3, server: localhost,
request: "POST /Test HTTP/1.1", host: "10.14.32.2:5500"

二、檢查分析

1）檢查當(dāng)前文件系統(tǒng)使用情況，未出現(xiàn)分區(qū)使用超限情況，應(yīng)該是nginx重啟后緩存釋放了；

2）檢查nginx配置文件，為對(duì)緩存進(jìn)行額外配置，在編譯時(shí)配置了緩存目錄，如下：

nginx version: nginx/1.16.1
built by gcc 4.4.7 20120313 (Red Hat 4.4.7-4) (GCC)
built with OpenSSL 1.1.1k 25 Mar 2021
TLS SNI support enabled
configure arguments: –prefix=/etc/nginx –sbin-path=/usr/sbin/nginx –modules-path=/usr/lib64/nginx/modules –conf-path=/etc/nginx/nginx.conf –error-log-path=/var/log/nginx/error.log –http-log-path=/var/log/nginx/access.log –pid-path=/var/run/nginx.pid –lock-path=/var/run/nginx.lock –http-client-body-temp-path=/var/cache/nginx/client_temp –http-proxy-temp-path=/var/cache/nginx/proxy_temp –http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp –http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp –http-scgi-temp-path=/var/cache/nginx/scgi_temp –user=nginx –group=nginx –with-compat –with-file-aio –with-threads –with-http_addition_module –with-http_auth_request_module –with-http_dav_module –with-http_flv_module –with-http_gunzip_module –with-http_gzip_static_module –with-http_mp4_module –with-http_random_index_module –with-http_realip_module –with-http_secure_link_module –with-http_slice_module –with-http_ssl_module –with-http_stub_status_module –with-http_sub_module –with-http_v2_module –with-openssl=/home/software/openssl-1.1.1k –with-mail –with-mail_ssl_module –with-stream –with-stream_realip_module –with-stream_ssl_module –with-stream_ssl_preread_module –with-cc-opt=‘-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector –param=ssp-buffer-size=4 -m64 -mtune=generic -fPIC’ –with-ld-opt=‘-Wl,-z,relro -Wl,-z,now -pie’

配置項(xiàng)說(shuō)明：執(zhí)行對(duì)應(yīng)模塊時(shí)nginx所保留的臨時(shí)文件
–http-client-body-temp-path=/var/cache/nginx/client_temp
–http-proxy-temp-path=/var/cache/nginx/proxy_temp
–http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp
–http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp
–http-scgi-temp-path=/var/cache/nginx/scgi_temp

一次nginx崩潰事件的實(shí)戰(zhàn)記錄

3) 配置Nginx靜態(tài)文件緩存

##代理cache##
proxy_connect_timeout 500;
#跟后端服務(wù)器連接的超時(shí)時(shí)間_發(fā)起握手等候響應(yīng)超時(shí)時(shí)間
proxy_read_timeout 600;
#連接成功后_等候后端服務(wù)器響應(yīng)的時(shí)間_即已經(jīng)進(jìn)入后端的排隊(duì)之中等候處理的過(guò)程時(shí)間
proxy_send_timeout 500;
#后端服務(wù)器數(shù)據(jù)回傳時(shí)間_即在規(guī)定時(shí)間內(nèi)后端服務(wù)器必須傳完所有數(shù)據(jù)的時(shí)長(zhǎng)
proxy_buffer_size 128k;
#代理請(qǐng)求緩存區(qū)_這個(gè)緩存區(qū)間會(huì)保存用戶的頭信息以供Nginx進(jìn)行規(guī)則處理_一般只要能保存下頭信息即可
proxy_buffers 4 128k;
#同上 告訴Nginx保存單個(gè)用戶的幾個(gè)Buffer最大用多大空間
proxy_busy_buffers_size 256k;
#如果系統(tǒng)很忙的時(shí)候可以申請(qǐng)更大的proxy_buffers 官方推薦*2
proxy_temp_file_write_size 128k;
#proxy緩存臨時(shí)文件的大小
proxy_temp_path /usr/local/nginx/temp;
#用于指定本地目錄用來(lái)緩沖較大的代理請(qǐng)求的目錄，如果編譯配置了--http-proxy-temp-path，也可以采取默認(rèn)
proxy_cache_path /usr/local/nginx/cache levels=1:2 keys_zone=cache_proxy:200m inactive=1d max_size=30g;
#設(shè)置web緩存區(qū)名為cache_proxy,內(nèi)存緩存空間大小為200M，自動(dòng)清除超過(guò)1天沒(méi)有被訪問(wèn)過(guò)的緩存數(shù)據(jù)，硬盤(pán)緩存空間大小30g;levels=1:2定義目錄深度，并且第一層目錄為1個(gè)字符，第二層目錄為2個(gè)字符
#這里配置的需要緩存的靜態(tài)資源后綴名
location ~* “\.(jpg|jpeg|png|gif|html|css|js|woff2|woff|map)?$” {
proxy_pass http://fdfs;
proxy_cache cache_proxy;
proxy_cache_valid 200 24h; #200狀態(tài)緩存24小時(shí)
proxy_cache_valid 302 10m; #302狀態(tài)緩存10分鐘
proxy_set_header Host $host;
expires -1;
add_header X-Cache-Status $upstream_cache_status; #在http頭部增加一個(gè)字>段顯示是否命中緩存
}
#reload后，當(dāng)出現(xiàn)cache manager process進(jìn)程時(shí)表明緩存已經(jīng)建立成功

一次nginx崩潰事件的實(shí)戰(zhàn)記錄

三、處理

1）針對(duì)本次場(chǎng)景，最簡(jiǎn)單就是遷移目錄到存儲(chǔ)空間更大的存儲(chǔ)上；

2）配置定期清理緩存，nginx緩存雖然可帶來(lái)吞吐量和性能的提升，但有時(shí)候緩存過(guò)期后并不會(huì)釋放，這時(shí)我們可借助nginx + ngx_cache_purge 模塊，手動(dòng)清理緩存；

wget http://labs.frickle.com/files/ngx_cache_purge-2.3.tar.gz
tar -zxvf ngx_cache_purge-2.3.tar.gz
cp /sbin/nginx /sbin/nginx.back
nginx -V
./configure --prefix=/etc/nginx (略) --add-module=/root/app/ngx_cache_purge-2.3 
make -j2 #是 make 編譯， 不是 make install ，make install 會(huì)覆蓋原來(lái)已經(jīng)安裝好的內(nèi)容。編譯必須沒(méi)有錯(cuò)誤
objs/nginx -V  //驗(yàn)證編譯完成后，復(fù)制到sbin目錄下
/sbin/nginx -s reload
#清理緩存配置
location ~ /clear_cache(.*) {
     #proxy_cache_purge imooc_cache $host$1$is_args$args;
     #刪除指定緩存區(qū)域cache_one的特定緩存文件$1$is_args$args
     proxy_cache_purge cache_one $1$is_args$args;
     #運(yùn)行本機(jī)和10.0.16.0/24;網(wǎng)段的機(jī)器訪問(wèn)，拒絕其它所有
     allow           127.0.0.1;
     allow           10.0.16.0/24;
     deny          all;
}
#這樣清理某個(gè)緩存文件的時(shí)候地址前面加上 /clear_cache 即可，比如瀏覽器訪問(wèn)：
http://10.0.16.12:5500/clear_cache//api/index.php

一次nginx崩潰事件的實(shí)戰(zhàn)記錄

沒(méi)有緩存返回結(jié)果如下：

一次nginx崩潰事件的實(shí)戰(zhàn)記錄

#示例2：控制滿足條件不緩存
server
{
    ……
    location /api/ {
       set $a 0; #設(shè)置初始值
       if ( $request_uri ~ /api/noapi/(.*) ){
           set $a 1; #如果滿足不緩存 設(shè)置為1
       }

       proxy_no_cache $a;
     ……
    }
    location ~ /clear_cache(.*) {
         allow   all;
         proxy_cache_purge imooc_cache $host$1$is_args$args;
    }
}

#示例3：
add_header      Nginx-Cache     "$upstream_cache_status";
proxy_ignore_headers Expires;
proxy_ignore_headers Cache-Control;

set $nocache 0;
# 以 aaa,bbb,ccc 開(kāi)頭的不緩存
if ($request_uri ~ ^/(aaa|bbb|ccc)) {
    set $nocache 1;
}
proxy_cache_bypass $nocache;

# cookie 里面設(shè)置了nocache，或者 參數(shù)傳值里有aaa，bbb 的不緩存，滿足一個(gè)即可

proxy_no_cache $cookie_nocache $arg_aaa $arg_bbb;

#client_body模塊配置, nginx對(duì)客戶端請(qǐng)求緩沖區(qū)大小有個(gè)默認(rèn)限制，如果超過(guò)了該值（比如在上傳大文件時(shí)），會(huì)報(bào)500錯(cuò)誤。
client_body_buffer_size SIZE // 指定客戶端請(qǐng)求體緩沖區(qū)大小，如果請(qǐng)求大于該值，會(huì)報(bào)“500 Internal Server Error”錯(cuò)誤。
client_body_temp_path	 /var/tmp/nginx DIR  [l1][lve2][lve3] //指定請(qǐng)求體臨時(shí)文件的存放目錄,可有多級(jí)。
client_max_body_size  SIZE //允許客戶端請(qǐng)求的最大單文件字節(jié)數(shù)，如果請(qǐng)求體大于該值，會(huì)報(bào)“413 Request Entity Too Large”錯(cuò)誤。

3）也可以借助 tmpwatch命令加入定時(shí)任務(wù)來(lái)清理，其實(shí)，系統(tǒng)/tmp目錄，默認(rèn)情況下每日會(huì)處理一次，原理就是使用了tmpwatch。該命令會(huì)在/etc/cron.daily/目錄下生成一個(gè)tmpwatch文件

yum  install -y tmpwatch
cat /etc/cron.daily/tmpwatch
#! /bin/sh
flags=-umc
/usr/sbin/tmpwatch "$flags" -x /tmp/.X11-unix -x /tmp/.XIM-unix \
	-x /tmp/.font-unix -x /tmp/.ICE-unix -x /tmp/.Test-unix \
	-X '/tmp/hsperfdata_*' 10d /tmp   #tmp目錄會(huì)刪除240小時(shí)未訪問(wèn)過(guò)的文件，它可從指定的目錄中遞歸地搜索并刪除指定的目錄中一段時(shí)間未訪問(wèn)的文件。
/usr/sbin/tmpwatch "$flags" 30d /var/tmp  #刪除30天前的文件
for d in /var/{cache/man,catman}/{cat?,X11R6/cat?,local/cat?}; do
    if [ -d "$d" ]; then
	/usr/sbin/tmpwatch "$flags" -f 30d "$d"
    fi
done
#
/usr/sbin/tmpwatch -afv 3 /tmp //清除/tmp下三小時(shí)以內(nèi)沒(méi)有使用的文件,并將結(jié)果輸出。

一次nginx崩潰事件的實(shí)戰(zhàn)記錄