日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時間:8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
別小看Log日志,它難住了我們組的架構(gòu)師

本文轉(zhuǎn)載自微信公眾號「 淺羽的IT小屋 」,作者淺羽Eric  。轉(zhuǎn)載本文請聯(lián)系 淺羽的IT小屋 公眾號。  

站在用戶的角度思考問題,與客戶深入溝通,找到巴南網(wǎng)站設(shè)計與巴南網(wǎng)站推廣的解決方案,憑借多年的經(jīng)驗,讓設(shè)計與互聯(lián)網(wǎng)技術(shù)結(jié)合,創(chuàng)造個性化、用戶體驗好的作品,建站類型包括:做網(wǎng)站、成都網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、空間域名、虛擬主機、企業(yè)郵箱。業(yè)務(wù)覆蓋巴南地區(qū)。

大家新年快樂呀!在最近的開會中,討論到一些異常的處理,以及日志的輸出。是的,這些看起來小的不能再小的事,發(fā)生了分歧。因為大家普遍只對 Log4j 了解,而對其余的卻基本未曾使用。我們的 Leader 也表示對 ELK 這類大規(guī)模日志由于好久不使用,也有點生疏了。所以今天總結(jié)了一下關(guān)于日志的介紹。

日志對于程序員是不可或缺的,在我們的開發(fā)過程中,寫完代碼需要調(diào)試的話,日志是必須的,日志可以幫助我們定位我們的問題,從而更好地幫助我們解決bug。本期小羽就給大家詳細了解一下我們經(jīng)常使用到的四種日志類型,幫助大家提高開發(fā)效率。

好了,開始進入我們的正文。

Slf4j

slf4j 的全稱是 Simple Loging Facade For Java,它僅僅是一個為 Java 程序提供日志輸出的統(tǒng)一接口,并不是一個具體的日志實現(xiàn)方案,就比如 JDBC 一樣,只是一種規(guī)則而已。所以單獨的 slf4j 是不能工作的,必須搭配其他具體的日志實現(xiàn)方案,比如 apache 的 org.apache.log4j.Logger,jdk 自帶的 java.util.logging.Logger 等。

簡單語法

SLF4J 不及 Log4J 使用普遍,因為許多開發(fā)者熟悉 Log4J 而不知道 SLF4J,或不關(guān)注 SLF4J 而堅持使用 Log4J。我么先看下 Log4J 示例:

 
 
 
 
  1. Logger.debug("Hello " + name); 

由于字符串拼接的問題,使用以上語句會先拼接字符串,再根據(jù)當(dāng)前級別是否低于 debug 決定是否輸出本條日志,即使不輸出日志,字符串拼接操作也會執(zhí)行,所以許多公司強制使用下面的語句,這樣只有當(dāng)前處于 DEBUG 級別時才會執(zhí)行字符串拼接:

 
 
 
 
  1. if (logger.isDebugEnabled()) { 
  2.   LOGGER.debug(“Hello ” + name); 

它避免了字符串拼接問題,但有點太繁瑣了是不是?相對地,SLF4J提供下面這樣簡單的語法:

 
 
 
 
  1. LOGGER.debug("Hello {}", name); 

它的形式類似第一條示例,而又沒有字符串拼接問題,也不像第二條那樣繁瑣。

日志等級 Level

Slf4j 有四個級別的 log level 可供選擇,級別從上到下由低到高,優(yōu)先級高的將被打印出來。

  • Debug:簡單來說,對程序調(diào)試有利的信息都可以debug輸出
  • info:對用戶有用的信息
  • warn:可能會導(dǎo)致錯誤的信息
  • error:顧名思義,發(fā)生錯誤的地方

使用

因為是強制規(guī)約,所以直接使用 LoggerFactory 創(chuàng)建

 
 
 
 
  1. import org.slf4j.Logger; 
  2. import org.slf4j.LoggerFactory; 
  3.  
  4. public class Test { 
  5.     private static final Logger logger = LoggerFactory.getLogger(Test.class); 
  6.     // …… 

配置方式

Spring Boot 對 slf4j 支持的很好,內(nèi)部已經(jīng)集成了 slf4j,一般我們在使用的時候,會對slf4j 做一下配置。application.yml 文件是 Spring Boot 中唯一一個需要配置的文件,一開始創(chuàng)建工程的時候是application.properties 文件,個人比較細化用yml文件,因為 yml 文件的層次感特別好,看起來更直觀,但是 yml 文件對格式要求比較高,比如英文冒號后面必須要有個空格,否則項目估計無法啟動,而且也不報錯。用 properties 還是 yml 視個人習(xí)慣而定,都可以。

我們看一下 application.yml 文件中對日志的配置:

 
 
 
 
  1. logging: 
  2.   config: classpath:logback.xml 
  3.   level: 
  4.     com.bowen.dao: trace 

logging.config是用來指定項目啟動的時候,讀取哪個配置文件,這里指定的是日志配置文件是classpath:logback.xml文件,關(guān)于日志的相關(guān)配置信息,都放在logback.xml文件中了。logging.level 是用來指定具體的 mapper 中日志的輸出級別,上面的配置表示com.bowen.dao 包下的所有 mapper 日志輸出級別為 trace,會將操作數(shù)據(jù)庫的 sql 打印出來,開發(fā)時設(shè)置成 trace 方便定位問題,在生產(chǎn)環(huán)境上,將這個日志級別再設(shè)置成 error 級別即可。

常用的日志級別按照從高到低依次為:ERROR、WARN、INFO、DEBUG。

Log4j

Log4j 是 Apache 的一個開源項目,通過使用 Log4j,我們可以控制日志信息輸送的目的地是控制臺、文件、GUI 組件,甚至是套接口服務(wù)器、NT 的事件記錄器、UNIX Syslog 守護進程等;我們也可以控制每一條日志的輸出格式;通過定義每條日志信息的級別,我們能夠更加細致地控制日志的生成過程。

組成架構(gòu)

Log4j 由三個重要的組成構(gòu)成:日志記錄器(Loggers),輸出端(Appenders)和日志格式化器(Layout)。

Logger: 控制要啟用或禁用哪些日志記錄語句,并對日志信息進行級別限制

Appenders: 指定了日志將打印到控制臺還是文件中

Layout: 控制日志信息的顯示格式

Log4j 中將要輸出的 Log 信息定義了 5 種級別,依次為 DEBUG、INFO、WARN、ERROR 和 FATAL,當(dāng)輸出時,只有級別高過配置中規(guī)定的級別的信息才能真正的輸出,這樣就很方便的來配置不同情況下要輸出的內(nèi)容,而不需要更改代碼。

日志等級 Level

Log4j 日志等級主要有以下幾種:

  • off:關(guān)閉日志,最高等級,任何日志都無法輸出
  • fatal:災(zāi)難性錯誤,在能夠輸出日志的所有等級中最高
  • error:錯誤,一般用于異常信息
  • warn:警告,一般用于不規(guī)范的引用等信息
  • info:普通信息
  • debug:調(diào)試信息,一般用于程序執(zhí)行過程
  • trace:堆棧信息,一般不使用
  • all:打開所有日志,最低等級,所有日志都可使用

在 Logger 核心類中, 除了 off/all 以外, 其他每個日志等級都對應(yīng)一組重載的方法,用于記錄不同等級的日志。當(dāng)且僅當(dāng)方法對應(yīng)的日志等級大于等于設(shè)置的日志等級時,日志才會被記錄。

使用

使用 Log4j 只需要導(dǎo)入一個 jar 包

 
 
 
 
  1.  
  2.  org.log4j 
  3.    log4j 
  4.    1.2.9 
  5.  

配置方式

在 Resources Root目錄下創(chuàng)建一個 log4j.properties 配置文件,一定要注意:文件的位置和文件名一個都不能錯,然后在 properties 文件中添加配置信息

 
 
 
 
  1. log4j.rootLogger=debug,cons 
  2.  
  3. log4j.appender.cons=org.apache.log4j.ConsoleAppender  
  4. log4j.appender.cons.target=System.out   
  5. log4j.appender.cons.layout=org.apache.log4j.PatternLayout  
  6. log4j.appender.cons.layout.ConversionPattern=%m%n 

propertis 文件是最常用的配置方式。實際開發(fā)過程中,基本都是使用properties 文件。pripertis 配置文件的配置方式為:

 
 
 
 
  1. # 配置日志等級, 指定生效的Appender名字, AppenderA是定義的Appender的名字 
  2. log4j.rootLogger=日志等級,AppenderA,AppenderB,...  
  3. # ---------------- 定義一個appender------------------------ 
  4. # 定義一個appender, appender名字可以是任意的,  
  5. # 如果要使該appender生效, 須加入到上一行rootLogger中, 后面為對應(yīng)的Appender類 
  6. log4j.appender.appender名字=org.apache.log4j.ConsoleAppender  
  7. log4j.appender.appender名字.target=System.out   
  8. # 定義Appender的布局方式 
  9. log4j.appender.appender名字.layout=org.apache.log4j.SimpleLayout  

Logback

簡單地說,Logback 是一個 Java 領(lǐng)域的日志框架。它被認為是 Log4J 的繼承人。logback 是 log4j 的升級,所以 logback 自然比log4j有很多優(yōu)秀的地方。

模塊組成

Logback 主要由三個模塊 logback-core,logback-classic, logback-access 組成。

logback-core 是其它模塊的基礎(chǔ)設(shè)施,其它模塊基于它構(gòu)建,顯然,logback-core 提供了一些關(guān)鍵的通用機制。

logback-classic 的地位和作用等同于 Log4J,它也被認為是 Log4J 的一個改進版,并且它實現(xiàn)了簡單日志門面 SLF4J;

logback-access 主要作為一個與 Servlet 容器交互的模塊,比如說 tomcat 或者 jetty,提供一些與HTTP 訪問相關(guān)的功能。

三個模塊

Logback 組件

Logback主要組件如下:

  • Logger:日志的記錄器;把他關(guān)聯(lián)到應(yīng)用對應(yīng)的context上;主要用于存放日志對象;可以自定義日志類型級別
  • Appender:用于指定日志輸出的目的地;目的地可以是控制臺,文件,數(shù)據(jù)庫等
  • Layout:負責(zé)把事件轉(zhuǎn)換成字符串;格式化的日志信息的輸出;在logback中Layout對象被封裝在encoder中

Logback 優(yōu)點

Logback主要優(yōu)點如下:

  • 同樣的代碼路徑,Logback 執(zhí)行更快
  • 更充分的測試
  • 原生實現(xiàn)了 SLF4J API(Log4J 還需要有一個中間轉(zhuǎn)換層)
  • 內(nèi)容更豐富的文檔
  • 支持 XML 或者 Groovy 方式配置
  • 配置文件自動熱加載
  • 從 IO 錯誤中優(yōu)雅恢復(fù)
  • 自動刪除日志歸檔
  • 自動壓縮日志成為歸檔文件
  • 支持 Prudent 模式,使多個 JVM 進程能記錄同一個日志文件
  • 支持配置文件中加入條件判斷來適應(yīng)不同的環(huán)境
  • 更強大的過濾器
  • 支持 SiftingAppender(可篩選 Appender)
  • 異常棧信息帶有包信息

標(biāo)簽屬性

Logback主要標(biāo)簽屬性如下:

  • configuration:配置的根節(jié)點

配置結(jié)構(gòu)

  • scan:為ture時,若配置文件屬性改變會被掃描并重新加載,默認為true
  • scanPeriod:監(jiān)測配置文件是否有修改的時間間隔,若沒給出時間單位,默認單位為毫秒;默認時間為1分鐘;當(dāng)scan="true"時生效
  • debug:為true時,將打出logback的內(nèi)部日志信息,實時查看logback運行狀態(tài);默認值為false
  • contextName:上下文名稱,默認為“default”,使用此標(biāo)簽可設(shè)置為其它名稱,用于區(qū)分不同應(yīng)用程序的記錄;一旦設(shè)置不能修改
  • appender:configuration 的子節(jié)點,負責(zé)寫日志的組件,有name和class兩個必要屬性
  • name:addender的名稱
  • class:appender的全限定名,就是對應(yīng)的某個具體的Appender類名,比如ConsoleAppender、FileAppender
  • append:為true時,日志被追加到文件結(jié)尾,如果是flase,清空現(xiàn)存的文件,默認值為true

配置方式

logback 框架會默認加載 classpath 下命名為 logback-spring 或 logback 的配置文件:

 
 
 
 
  1.  
  2.  
  3.      
  4.      
  5.          
  6.             [%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n 
  7.          
  8.      
  9.      
  10.      
  11.          
  12.             ERROR 
  13.             DENY 
  14.             ACCEPT 
  15.          
  16.          
  17.             [%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n 
  18.          
  19.   
  20.          
  21.          
  22.              
  23.             ${LOG_INFO_HOME}//%d.log 
  24.             30 
  25.          
  26.      
  27.      
  28.          
  29.             ERROR 
  30.          
  31.          
  32.             [%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n 
  33.          
  34.          
  35.          
  36.              
  37.             ${LOG_ERROR_HOME}//%d.log 
  38.             30 
  39.          
  40.      
  41.   
  42.      
  43.          
  44.          
  45.          
  46.      
  47.   

ELK

ELK 是軟件集合 Elasticsearch、Logstash、Kibana 的簡稱,由這三個軟件及其相關(guān)的組件可以打造大規(guī)模日志實時處理系統(tǒng)。新增了一個 FileBeat,它是一個輕量級的日志收集處理工具(Agent),F(xiàn)ilebeat 占用資源少,適合于在各個服務(wù)器上搜集日志后傳輸給 Logstash,官方也推薦此工具。

  • Elasticsearch:是一個基于 Lucene 的、支持全文索引的分布式存儲和索引引擎,主要負責(zé)將日志索引并存儲起來,方便業(yè)務(wù)方檢索查詢。
  • Logstash:是一個日志收集、過濾、轉(zhuǎn)發(fā)的中間件,主要負責(zé)將各條業(yè)務(wù)線的各類日志統(tǒng)一收集、過濾后,轉(zhuǎn)發(fā)給 Elasticsearch 進行下一步處理。
  • Kibana:是一個可視化工具,主要負責(zé)查詢 Elasticsearch 的數(shù)據(jù)并以可視化的方式展現(xiàn)給業(yè)務(wù)方,比如各類餅圖、直方圖、區(qū)域圖等。
  • Filebeat:隸屬于 Beats,是一個輕量級的日志收集處理工具。目前 Beats 包含四種工具:Packetbeat(搜集網(wǎng)絡(luò)流量數(shù)據(jù))、Topbeat(搜集系統(tǒng)、進程和文件系統(tǒng)級別的 CPU 和內(nèi)存使用情況等數(shù)據(jù))、Filebeat(搜集文件數(shù)據(jù))、Winlogbeat(搜集 Windows 事件日志數(shù)據(jù))

架構(gòu)圖

主要特點

一個完整的集中式日志系統(tǒng),需要包含以下幾個主要特點:

  • 收集:能夠采集多種來源的日志數(shù)據(jù)
  • 傳輸:能夠穩(wěn)定的把日志數(shù)據(jù)傳輸?shù)街醒胂到y(tǒng)
  • 存儲:如何存儲日志數(shù)據(jù)
  • 分析:可以支持 UI 分析
  • 警告:能夠提供錯誤報告,監(jiān)控機制

ELK提供了一整套解決方案,并且都是開源軟件,之間互相配合使用,完美銜接,高效的滿足了很多場合的應(yīng)用。目前主流的一種日志系統(tǒng)。

應(yīng)用場景

在海量日志系統(tǒng)的運維中,以下幾個方面是必不可少的:

  • 分布式日志數(shù)據(jù)集中式查詢和管理;
  • 系統(tǒng)監(jiān)控,包含系統(tǒng)硬件和應(yīng)用各個組件的監(jiān)控;
  • 故障排查;
  • 安全信息和事件管理;
  • 報表功能;

ELK 運行于分布式系統(tǒng)之上,通過搜集、過濾、傳輸、儲存,對海量系統(tǒng)和組件日志進行集中管理和準(zhǔn)實時搜索、分析,使用搜索、監(jiān)控、事件消息和報表等簡單易用的功能,幫助運維人員進行線上業(yè)務(wù)的準(zhǔn)實時監(jiān)控、業(yè)務(wù)異常時及時定位原因、排除故障、程序研發(fā)時跟蹤分析Bug、業(yè)務(wù)趨勢分析、安全與合規(guī)審計,深度挖掘日志的大數(shù)據(jù)價值。同時 Elasticsearch 提供多種 API(REST JAVA PYTHON等API)供用戶擴展開發(fā),以滿足其不同需求。

配置方式

filebeat 的配置,打開filebeat.yml,進行配置,如下:

 
 
 
 
  1. #輸入源,可以寫多個 
  2. filebeat.input: 
  3. - type: log 
  4.   enabled: true 
  5.   #輸入源文件地址 
  6.   path: 
  7.     - /data/logs/tomcat/*.log 
  8.   #多行正則匹配,匹配規(guī)則 例:2020-09-29,不是這樣的就與上一條信息合并 
  9.   multiline: 
  10.     pattern: '\s*\[' 
  11.     negate: true 
  12.     match: after 
  13.   #起個名字 
  14.   tags: ["tomcat"] 
  15.  
  16. #輸出目標(biāo),可以把logstash改成es 
  17. output.logstash: 
  18.   hosts: [172.29.12.35:5044] 

logstash 的配置,建一個以.conf為后綴的文件,或者打開 config 文件夾下的 .conf 文件,這里的配置文件是可以同時啟動多個的,而且還有一個功能強大的filter功能,可以過濾原始數(shù)據(jù),如下:

 
 
 
 
  1. #輸入源(必須) 
  2. input { 
  3.  #控制臺鍵入 
  4.  stdin {} 
  5.  #文件讀取 
  6.  file { 
  7.   #類似賦予的名字 
  8.   type => "info" 
  9.   #文件路徑,可以用*代表所有 
  10.   path => ['/usr/local/logstash-7.9.1/config/data-my.log'] 
  11.   #第一次從頭開始讀,下一次繼續(xù)上一次的位置繼續(xù)讀 
  12.   start_position => "beginning" 
  13.  } 
  14.  file { 
  15.   type => "error" 
  16.   path => ['/usr/local/logstash-7.9.1/config/data-my2.log'] 
  17.   start_position => "beginning" 
  18.   codec=>multiline{ 
  19.    pattern => "\s*\[" 
  20.    negate => true 
  21.    what => "previous" 
  22.   } 
  23.  } 
  24.  #與filebates配合使用 
  25.  beats{ 
  26.   port => 5044 
  27.  } 
  28. #輸出目標(biāo)(必須) 
  29. output { 
  30.  #判斷type是否相同 
  31.  if [type] == "error"{ 
  32.   #如果是,就寫入此es中 
  33.   elasticsearch{ 
  34.    hosts => "172.29.12.35:9200" 
  35.    #kibana通過index的名字進行查詢,這里的YYYY是動態(tài)獲取日期 
  36.    index => "log-error-%{+YYYY.MM.dd}" 
  37.   } 
  38.  } 
  39.  if [type] == "info"{ 
  40.   elasticsearch{ 
  41.    hosts => "172.29.12.35:9200" 
  42.    #kibana通過index的名字進行查詢 
  43.    index => "log-info-%{+YYYY.MM.dd}" 
  44.   } 
  45.  } 
  46.  #這里判斷的是filebates中賦予的tags是否是tomcat 
  47.  if "tomcat" in [tags]{ 
  48.   elasticsearch{ 
  49.    hosts => "172.29.12.35:9200" 
  50.    #kibana通過index的名字進行查詢 
  51.    index => "tomcat" 
  52.   } 
  53.  } 
  54.  #控制臺也會打印信息 
  55.  stdout { 
  56.   codec => rubydebug {} 
  57.  } 
  58. 關(guān)于我 

當(dāng)前文章:別小看Log日志,它難住了我們組的架構(gòu)師
鏈接URL:http://www.5511xx.com/article/cospioj.html