新聞中心
隨著互聯(lián)網技術的不斷發(fā)展,服務器的運維管理也變得越來越復雜。面對龐大的服務器群,如何快速定位和解決各種故障成為運維工作中的一大挑戰(zhàn)。在這個過程中,日志分析工具成為了不可或缺的一部分。

創(chuàng)新互聯(lián)長期為上1000+客戶提供的網站建設服務,團隊從業(yè)經驗10年,關注不同地域、不同群體,并針對不同對象提供差異化的產品和服務;打造開放共贏平臺,與合作伙伴共同營造健康的互聯(lián)網生態(tài)環(huán)境。為西崗企業(yè)提供專業(yè)的網站建設、網站制作,西崗網站改版等技術服務。擁有十余年豐富建站經驗和眾多成功案例,為您定制開發(fā)。
日志分析是一種基于日志的數據挖掘技術。通過對應用程序、操作系統(tǒng)和網絡設備等系統(tǒng)產生的各種日志進行收集、過濾、統(tǒng)計、分析和展示,從中獲取有價值的信息。
Linux系統(tǒng)中,常用的日志文件包括/var/log/messages、/var/log/secure、/var/log/mllog等,記錄了系統(tǒng)故障、安全事件、郵件發(fā)送等各種操作。
為了更好地分析這些日志數據,Linux社區(qū)開發(fā)了很多開源的日志分析工具,如ELK、Graylog、Fluentd等。在此,我們介紹其中一款經典的日志分析工具——Logwatch的使用方法。
一、Logwatch介紹
Logwatch是一款基于Perl語言編寫的開源日志分析工具,可以定期對Linux系統(tǒng)的日志文件進行統(tǒng)計和分析,并生成詳細的報告。其主要特點為:易于安裝、使用方便、數據格式清晰、定制性強。
二、安裝Logwatch
在CentOS系統(tǒng)中,我們可以使用yum命令安裝Logwatch,命令如下:
“`
sudo yum install logwatch -y
“`
安裝完成后,我們需要進行一些配置。
三、配置Logwatch
Logwatch的配置文件為/etc/logwatch/conf/logwatch.conf。我們可以根據系統(tǒng)具體情況進行定制。
1. 郵件通知設置
Logwatch可以將分析結果發(fā)送至指定的郵箱中。我們可以在配置文件中添加以下內容,用于設置郵件服務器信息和接收日志報告的郵箱地址:
“`
MlTo = yourname@example.com
MlFrom = logwatch@example.com
# TP服務器地址
MlServer = tp.example.com
“`
2. 日志文件設置
我們需要在配置文件中添加需要分析的日志文件路徑,一般主要包括/var/log/messages、/var/log/secure、/var/log/mllog等,具體示例如下:
“`
LogFile = /var/log/messages
LogFile = /var/log/secure
LogFile = /var/log/mllog
“`
3. 日志報告定制
Logwatch默認會生成一份全面的日志報告,但我們可以根據需要進行精簡或添加一些特定的信息。以下示例為添加Apache服務器的日志信息:
“`
# Apache日志統(tǒng)計
$ cat /var/log/httpd/access_log | logresolve |awk ‘($9 !~ /200|304/){print}’ | sort | uniq -c | sort -n > /tmp/access_log_summary
cat /tmp/access_log_summary
“`
這條命令實際上是將Apache日志文件進行了過濾、統(tǒng)計和排序,最后將結果保存到了/tmp/access_log_summary文件中。我們可以將其添加到配置文件中,使Logwatch在生成報告時自動包含該信息。
四、使用Logwatch
1. 手動運行Logwatch命令
Logwatch的常用命令為logwatch,我們可以手動運行該命令以執(zhí)行日志分析:
“`
logwatch
“`
執(zhí)行完成后,Logwatch將輸出一份詳細的報告,其中包括系統(tǒng)概覽、登錄嘗試、磁盤使用情況、郵件發(fā)送統(tǒng)計等各種信息。
2. 定時運行Logwatch
為了方便、自動地獲取日志分析結果,我們可以通過crontab定時執(zhí)行Logwatch命令。以下示例為每天凌晨1點自動運行Logwatch命令:
“`
0 1 * * * /usr/in/logwatch
“`
五、小結
Logwatch是一款簡單易用、功能強大的開源日志分析工具,可以幫助Linux系統(tǒng)管理員快速定位和解決故障。通過本文的介紹,相信讀者已經掌握了Logwatch的安裝、配置和使用方法,可以在實際工作中更加高效地處理日常的運維問題。
相關問題拓展閱讀:
- Linux系統(tǒng)日志怎么查看
- linux日志 audit
Linux系統(tǒng)日志怎么查看
1. 前言
在Linux日常管理中,我們肯定有查看某些服務的日志需求,或者是系統(tǒng)本身的日志。本文主要介紹如何查看Linux的
系統(tǒng)日志
,包括文件的路徑、工具的使用等等。會看Linux日志是非常重要的,不僅在日常操作中可以迅速排錯,也可以快速的定位。
2. 如何查看Linux日志
Linux日志文件的路徑一般位于,/var/log/,比如ngix的日志路徑為/var/log/nginx/,如果要查看某服務的日志,還可以使用systemctl status xxx,比如查看ssh服務的壯態(tài),systemctl status sshd
查看Linux某服務的日志
Liunx的
配置文件
在/etc/rsyslog.d里,可以看到如下信息
在
linux系統(tǒng)
當中,有三個主要的日志子系統(tǒng):
1、連接時間日志:由多個程序執(zhí)行,把記錄寫入到/var/log/wtmp和/var/run/utmp,
login等程序會更新wtmp和utmp文件,使系統(tǒng)管理員能夠跟蹤誰在何時登錄到系統(tǒng)。
2、進程統(tǒng)計:由系統(tǒng)內核執(zhí)行,當一個進程終止時,為每個進程往進程統(tǒng)計文件中寫一個記錄。進程統(tǒng)計的目的是為系統(tǒng)中的基本服務提供命令使用統(tǒng)計
3、錯誤日志:由rsyslogd守護程序執(zhí)行,各種系統(tǒng)
守護進程
、用戶程序和內核通過rsyslogd守護程序向文件/var/log/messages報告值得注意的時間。另外有許多l(xiāng)inux程序創(chuàng)建日志,像HTTP和FTP這樣提供的服務器也保持詳細的日志。
4、其他日志……
查看Linux日志默認路徑
可以看到在/var/log目錄下存在很多的日志文件,接下來就對里面的一些常用日志文件進行分析
主要日志文件介紹:
內核及公共消息日志:/var/log/messages
計劃任務日志:/var/log/cron
系統(tǒng)引導日志:/var/log/dmesg
郵件系統(tǒng)日志:/var/log/maillog
用戶登錄日志:/var/log/lastlog
/var/log/boot.log(記錄系統(tǒng)在引導過程中發(fā)生的時間)
/var/log/secure (用戶驗證相關的安全性事件)
/var/log/wtmp(當前登錄用戶詳細信息)
/var/log/btmp(記錄失敗的的記錄)
/var/run/utmp(用戶登錄、注銷及系統(tǒng)開、關等事件)
日志文件詳細介紹:
/var/log/secure
Linux系統(tǒng)安全日志,記錄用戶和工作組的情況、用戶登陸認證情況
例子:我創(chuàng)建了一個zcwyou的用戶,然后改變了該用戶的密碼,于是該信息就被記錄到該日志下
Linux系統(tǒng)安全日志默認路徑
該日志就詳細的記錄了作的過程。
內核及公共信息日志,是許多進程日志文件氏答唯的匯總,從該文件中可以看出系統(tǒng)任何變化
查看
Linux內核
及公共信息日志
系統(tǒng)引導日志
該日志使用dmesg命令快速查看最后一次系統(tǒng)引導的引導日志
查看Linux系統(tǒng)系統(tǒng)引導日志
最近的用戶登錄事件,一般記錄最后一次的登錄事件
該日志不能用諸如cat、tail等查看,因為該日志里面是二進制文件,可以用lastlog命令查看,它根據UID排序顯示登錄名、
端口號
(tty)和上次登錄時間。如果一個用戶從未登錄過,lastlog顯示 Never logged。
該日志文件永久記錄每個用戶登錄、注銷殲培及系統(tǒng)的啟動、停機的事件。該日志為二進制文件,不能用諸如tail/cat/等命令,使用last命令查看。
記錄郵件的收發(fā)
此文件是記錄錯誤登錄的日志,可以記錄有人使用暴力破解ssh服務的日志。該文件用lastb打開
該日志記錄當前用戶登錄的情況,不會永久保存記錄??梢杂脀ho/w命令來查看
3. 常用的日志分析工具與使用方法
3.1 統(tǒng)計一個文本中包含字符個數
3.2 查看當天訪問排行前10的url
3.3 查看apache的進程數
3.4 訪問量前10的IP
cut部分表示取第1列即IP列,取第4列則為URL的訪問量
3.5 查看最耗時的舉薯頁面
按第2列響應時間逆序排序
3.6 使用grep查找文件中指定字符出現的次數
-o 指示grep顯示所有匹配的地方,并且每一個匹配單獨一行輸出。這樣只要統(tǒng)計輸出的行數就可以知道這個字符出現的次數了。
4. 總結
查看Linux日志需求了解和熟悉使用一些常用的工具方能提升我們的查找和定位效率。比如使用 Grep 搜索,使用Tail命令,使用Cut,使用AWK 和 Grok 解析日志和使用 Rsyslog 和 AWK 過濾等等,只要能掌握這些工具。我們才能高效地處理和定位故障點。
linux日志 audit
我們知道在Linux系統(tǒng)中有大量的日志文件可以用于查看
應用程序
的各種信息,但是對于用戶的操作行為(如某用者螞源戶修改刪除了某文件)卻無法通過這些日志文件來查看,如果我們想實現監(jiān)管企業(yè)員工的操作行為就需要開啟審計功能,也就是audit。
1、首先執(zhí)行以下命令開啟auditd服務
| 1 | service auditd start |
2、接著首態(tài)查看看auditd的服務狀態(tài),有兩種方法可以實現,使用auditctl命令時主要看enabled是否為1,1為開啟,0為關閉
“# service auditd status` |
`auditd (pid) is running…
“# auditctl -s
| 5 | AUDIT_STATUS: enabled=1 flag=1 pid=20234 rate_limit=0 backlog_limit=320 lost=0 backlog=0 |
3、開啟了autid服務后,所有的審計日志會記錄在/var/log/audit/audit.log文件中,該文件記錄格式是每行以type開頭,其中紅框處是事件發(fā)生的時間(代表從1970年1月1日到現在過了多久,可以用date命令轉換格式),冒號后面的數字是事件ID,同一個事件ID是一樣的。
4、audit可以自定義對指定的文件或命令進行審計(如監(jiān)視rm命令被執(zhí)行、/etc/passwd文件內容被改變),只要配置好對應規(guī)則即可,配置規(guī)則可以通過
命令行
(臨時生效)或者編輯
配置文件物肢
(永久生效)兩種方式來實現。
命令行語法(臨時生效****)****:
| 1 | auditctl -w /bin/“rm -p x -k removefile “#-w指定所要監(jiān)控的文件或命令 |
| 2 | #-p指定監(jiān)控屬性,如x執(zhí)行、w修改 |
| 3 | #-k是設置一個關鍵詞用于查詢 |
編輯配置文件(****永久生效)****:
auditd的配置文件為/etc/audit/audit下的auditd.conf 和audit.rules,auditd.conf 主要是定義了auditd服務日志和性能等相關配置,audit.rules才是定義規(guī)則的文件,下面是一個例子,其實就是把auditctl的命令直接拿過來即可,auditctl里支持的選項都可以在這個文件里指定
修改完后重啟服務
| 1 | service auditd restart |
5、如果直接使用tailf等查看工具進行日志分析會比較麻煩,好在audit已經提供了一個更好的事件查看工具——
ausea****rch,
使用auserach -h查看下該命令的用法:
這里列出幾個常用的選項:
-a number #只顯示事件ID為指定數字的日志信息,如只顯示926事件:ausearch -a 926
-c commond #只顯示和指定命令有關的事件,如只顯示rm命令產生的事件:auserach -c rm
-i #顯示出的信息更清晰,如事件時間、相關
用戶名
都會直接顯示出來,而不再是數字形式
-k #顯示出和之前auditctl -k所定義的關鍵詞相匹配的事件信息
通過下圖可以看到每個事件被虛線分開,用戶名和執(zhí)行的操作也都能清晰的看到了:
6、使用auditctl還可以查看和清空規(guī)則
查看源碼
摘自
| 1 | auditctl -l 查看定義的規(guī)則 |
linux 開源日志分析工具的介紹就聊到這里吧,感謝你花時間閱讀本站內容,更多關于linux 開源日志分析工具,「輕松掌握」Linux開源日志分析工具使用方法,Linux系統(tǒng)日志怎么查看,linux日志 audit的信息別忘了在本站進行查找喔。
成都網站推廣找創(chuàng)新互聯(lián),老牌網站營銷公司
成都網站建設公司創(chuàng)新互聯(lián)(www.cdcxhl.com)專注高端網站建設,網頁設計制作,網站維護,網絡營銷,SEO優(yōu)化推廣,快速提升企業(yè)網站排名等一站式服務。IDC基礎服務:云服務器、虛擬主機、網站系統(tǒng)開發(fā)經驗、服務器租用、服務器托管提供四川、成都、綿陽、雅安、重慶、貴州、昆明、鄭州、湖北十堰機房互聯(lián)網數據中心業(yè)務。
分享題目:「輕松掌握」Linux開源日志分析工具使用方法 (linux 開源日志分析工具)
分享路徑:http://www.5511xx.com/article/dhpopep.html


咨詢
建站咨詢
