建站
咨詢
售后
建站咨詢
新聞中心
通過(guò)訪問(wèn)日志，你可以得到用戶地域來(lái)源、跳轉(zhuǎn)來(lái)源、使用終端、某個(gè)URL訪問(wèn)量等相關(guān)信息；通過(guò)錯(cuò)誤日志，你可以得到系統(tǒng)某個(gè)服務(wù)或server的性能瓶頸等。因此，將日志好好利用，你可以得到很多有價(jià)值的信息。
創(chuàng)新互聯(lián)長(zhǎng)期為上1000家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開(kāi)放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為荊州企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)，荊州網(wǎng)站改版等技術(shù)服務(wù)。擁有10余年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。
Nginx 日志相關(guān)配置有 2 個(gè)地方：access_log 和 log_format 。
默認(rèn)的格式：
access_log /data/logs/nginx-access.log;
log_format old '$remote_addr [$time_local] $status $request_time $body_bytes_sent '
'"$request" "$http_referer" "$http_user_agent"';
相信大部分用過(guò) Nginx 的人對(duì)默認(rèn) Nginx 日志格式配置都很熟悉，對(duì)日志的內(nèi)容也很熟悉。但是默認(rèn)配置和格式雖然可讀，但是難以計(jì)算。
Nginx 日志刷盤(pán)相關(guān)策略可配置：
比如，設(shè)置 buffer，buffer 滿 32k 才刷盤(pán)；假如 buffer 不滿 5s 鐘強(qiáng)制刷盤(pán)的配置如下：
access_log /data/logs/nginx-access.log buffer=32k flush=5s;
這決定了是否實(shí)時(shí)看到日志以及日志對(duì)磁盤(pán) IO 的影響。
Nginx 日志能夠記錄的變量還有很多沒(méi)出現(xiàn)在默認(rèn)配置中：
比如：
-
請(qǐng)求數(shù)據(jù)大?。?request_length
-
返回?cái)?shù)據(jù)大小：$bytes_sent
-
請(qǐng)求耗時(shí)：$request_time
-
所用連接序號(hào)：$connection
-
當(dāng)前連接發(fā)生請(qǐng)求數(shù)：$connection_requests
Nginx 的默認(rèn)格式不可計(jì)算，需要想辦法轉(zhuǎn)換成可計(jì)算格式，比如用控制字符 ^A (Mac 下 ctrl+v ctrl+a 打出)分割每個(gè)字段。
log_format 的格式可以變成這樣：
log_format new '$remote_addr^A$http_x_forwarded_for^A$host^A$time_local^A$status^A'
'$request_time^A$request_length^A$bytes_sent^A$http_referer^A$request^A$http_user_agent';
這樣之后就通過(guò)常見(jiàn)的 Linux 命令行工具進(jìn)行分析了：
查找訪問(wèn)頻率最高的 URL 和次數(shù)：
cat access.log | awk -F ‘^A’ ‘{print $10}’ | sort | uniq -c
查找當(dāng)前日志文件 500 錯(cuò)誤的訪問(wèn)：
cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’
查找當(dāng)前日志文件 500 錯(cuò)誤的數(shù)量：
cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’ | wc -l
查找某一分鐘內(nèi) 500 錯(cuò)誤訪問(wèn)的數(shù)量:
cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’ | grep ’09:00’ | wc-l
查找耗時(shí)超過(guò) 1s 的慢請(qǐng)求：
tail -f access.log | awk -F ‘^A’ ‘{if($6>1) print $0}’
假如只想查看某些位：
tail -f access.log | awk -F ‘^A’ ‘{if($6>1) print $3″|”$4}’
查找 502 錯(cuò)誤最多的 URL：
cat access.log | awk -F ‘^A’ ‘{if($5==502) print $11}’ | sort | uniq -c
查找 200 空白頁(yè)
cat access.log | awk -F ‘^A’ ‘{if($5==200 && $8 print $3″|”$4″|”$11″|”$6}’
查看實(shí)時(shí)日志數(shù)據(jù)流
tail -f access.log | cat -e
或者
tail -f access.log | tr ‘^A’ ‘|’
總結(jié)
照著這個(gè)思路可以做很多其他分析，比如 UA 最多的訪問(wèn)；訪問(wèn)頻率最高的 IP；請(qǐng)求耗時(shí)分析；請(qǐng)求返回包大小分析；等等。
這就是一個(gè)大型 Web 日志分析系統(tǒng)的原型，這樣的格式也是非常方便進(jìn)行后續(xù)大規(guī)模 batching 和 streaming 計(jì)算
本文名稱：手動(dòng)分析Nginx日志
本文地址：http://www.5511xx.com/article/ccoedie.html
