建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
Filebeat是一款輕量級(jí)的開(kāi)源日志數(shù)據(jù)收集器，可以將來(lái)自各種來(lái)源的日志轉(zhuǎn)發(fā)至Elasticsearch集群中進(jìn)行統(tǒng)一管理和分析。它適用于各種不同的系統(tǒng)和服務(wù)器，包括Linux操作系統(tǒng)。本文將詳細(xì)介紹在Linux下安裝Filebeat的步驟。
成都創(chuàng)新互聯(lián)公司專(zhuān)注于瀘水網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供瀘水營(yíng)銷(xiāo)型網(wǎng)站建設(shè)，瀘水網(wǎng)站制作、瀘水網(wǎng)頁(yè)設(shè)計(jì)、瀘水網(wǎng)站官網(wǎng)定制、成都微信小程序服務(wù)，打造瀘水網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供瀘水網(wǎng)站排名全網(wǎng)營(yíng)銷(xiāo)落地服務(wù)。
1.準(zhǔn)備工作
在安裝Filebeat之前，需要先滿(mǎn)足以下條件:
– 確認(rèn)已經(jīng)安裝了支持Filebeat的Linux版本，如CentOS、Debian或Ubuntu等；
– 確認(rèn)已經(jīng)安裝了最新版本的Java虛擬機(jī)(JVM)，因?yàn)镕ilebeat需要JVM運(yùn)行環(huán)境才能正常工作；
– 確認(rèn)已經(jīng)連接到Internet或者已經(jīng)下載了Filebeat二進(jìn)制文件。
2.下載Filebeat
可以在Elasticsearch的官網(wǎng)上下載最新的Filebeat版本，下載地址是：https://www.elastic.co/downloads/beats/filebeat。選擇對(duì)應(yīng)的操作系統(tǒng)，點(diǎn)擊“Download”按鈕即可。
也可以使用wget命令直接下載，并存儲(chǔ)到指定的目錄下：
“`
$ wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.14.1-linux-x86_64.tar.gz
$ tar xzvf filebeat-7.14.1-linux-x86_64.tar.gz
“`
此時(shí)，F(xiàn)ilebeat的二進(jìn)制文件將被解壓到當(dāng)前目錄下的filebeat-7.14.1-linux-x86_64/文件夾中。
3.配置Filebeat
Filebeat有兩個(gè)主配置文件：filebeat.yml和filebeat.reference.yml，我們可以使用filebeat.yml作為參考配置，根據(jù)自己的需求進(jìn)行修改。下面是一個(gè)基本的filebeat.yml配置文件示例：
“`
filebeat.inputs:
– type: log
enabled: true
paths:
– /var/log/messages
output.elasticsearch:
hosts: [“l(fā)ocalhost:9200”]
protocol: “http”
“`
上述配置文件定義了一個(gè)日志采集器，它將采集/var/log/messages文件中的數(shù)據(jù)，并將采集到的數(shù)據(jù)發(fā)送到本地運(yùn)行的Elasticsearch服務(wù)端。
在配置Filebeat時(shí)，需要注意以下幾點(diǎn)：
– 一定要定義inputs字段，指定Filebeat需要采集的日志路徑和格式；
– 一定要定義output字段，指定Filebeat向哪里發(fā)送采集到的數(shù)據(jù)；
– 可以添加一些其他的配置，如如何處理原始日志數(shù)據(jù)、如何重試連接等。
4.啟動(dòng)Filebeat
在修改好配置文件后，可以使用以下命令啟動(dòng)Filebeat：
“`
$ cd filebeat-7.14.1-linux-x86_64/
$ sudo ./filebeat -e -c filebeat.yml
“`
在啟動(dòng)Filebeat時(shí)，需要注意以下幾點(diǎn)：
– 一定要切換到Filebeat所在的文件夾中，以免引起日志路徑等配置出現(xiàn)異常；
– 可以使用-e選項(xiàng)來(lái)指定Filebeat運(yùn)行在前臺(tái)，并輸出所有日志信息到終端；
– 可以使用-c選項(xiàng)來(lái)手動(dòng)指定使用哪個(gè)配置文件。
啟動(dòng)成功后，F(xiàn)ilebeat會(huì)開(kāi)始采集指定路徑下的日志，并將采集到的數(shù)據(jù)發(fā)送到Elasticsearch服務(wù)器中進(jìn)行存儲(chǔ)和分析。
5.
本文詳細(xì)介紹了在Linux操作系統(tǒng)中安裝Filebeat的步驟，包括下載Filebeat二進(jìn)制文件、配置Filebeat以及啟動(dòng)Filebeat。讀者可以根據(jù)自己的需求進(jìn)行配置和使用，進(jìn)一步優(yōu)化和擴(kuò)展自己的日志管理系統(tǒng)。
相關(guān)問(wèn)題拓展閱讀：
- filebeat+elasticsearch+logstash+kibana收集系統(tǒng)日志(docker)
- filebeat常見(jiàn)問(wèn)題
filebeat+elasticsearch+logstash+kibana收集系統(tǒng)日志(docker)
我們這里用到的是
filebeat+elk(elasticsearch+logstash+kibana)
來(lái)進(jìn)行系統(tǒng)日志的收集。filebeat安裝在各個(gè)服務(wù)器中，Logstash+ElasticSearch+Kibana安裝在一臺(tái)專(zhuān)門(mén)用于基礎(chǔ)服務(wù)的服務(wù)器上。
Filebeat是一個(gè)輕量級(jí)的托運(yùn)人，用于轉(zhuǎn)發(fā)和集中日志數(shù)據(jù). Filebeat作為代理安裝在服務(wù)器上，監(jiān)視您指定的日志文件或位置，收集日志事件，并將它們轉(zhuǎn)發(fā)到
ElasticSearch
或
Logstash
進(jìn)行索引.
官方中文文檔：
Logstash是一個(gè)開(kāi)源的服務(wù)器端數(shù)據(jù)處理管道，可以同時(shí)從多個(gè)數(shù)據(jù)源獲取數(shù)據(jù)，并對(duì)其進(jìn)行轉(zhuǎn)換，然后念櫻緩將其發(fā)送到你頌裂最喜歡的“存仔模儲(chǔ)”。
官方中文文檔：
Elasticsearch 是一個(gè)開(kāi)源的搜索引擎，建立在一個(gè)全文搜索引擎庫(kù) Apache Lucene? 基礎(chǔ)之上。Lucene 可以說(shuō)是當(dāng)下更先進(jìn)、高性能、全功能的搜索引擎庫(kù)–無(wú)論是開(kāi)源還是私有。
官方中文文檔：
《Elasticsearch:權(quán)威指南》：
Kibana 是一款開(kāi)源的數(shù)據(jù)分析和可視化平臺(tái)，它是 Elastic Stack 成員之一，設(shè)計(jì)用于和 Elasticsearch 協(xié)作。您可以使用 Kibana 對(duì) Elasticsearch 索引中的數(shù)據(jù)進(jìn)行搜索、查看、交互操作。您可以很方便的利用圖表、表格及地圖對(duì)數(shù)據(jù)進(jìn)行多元化的分析和呈現(xiàn)。
官方中文文檔：
nginx.conf中設(shè)置日志文件格式:
修改完成后，通過(guò) sudo nginx -t 來(lái)檢查配置文件是否正確，然后 sudo nginx -s reload 來(lái)重啟
filebeat各系統(tǒng)安裝教程詳見(jiàn)官方文檔。
我這里安裝的deb包(rpm包也同樣)，配置文件在
/etc/filebeat/filebeat.yml
,
filebeat命令：
參數(shù)介紹：
在/usr/local/文件夾下依次創(chuàng)建logstash/conf.d/logstash.conf
grok正則在線(xiàn)驗(yàn)證地址：
正則代表的含義：
配置成功后，執(zhí)行如下命令重啟docker中的logstash (有時(shí)會(huì)重啟失敗，多試幾次吧)
在瀏覽器中輸入 進(jìn)入kibana
然后如下設(shè)置
然后創(chuàng)建 index pattern
然后選擇@timestamp
最后在Discover標(biāo)簽頁(yè)就可以看到了
filebeat常見(jiàn)問(wèn)題
Filebeat保持文件處理程序打開(kāi)，直到文件到達(dá)文件末尾，以便它可以近乎實(shí)時(shí)地讀取新的日志行。 如果Filebeat正在收集大量文件，則打開(kāi)文件的數(shù)量可能會(huì)成為問(wèn)題。 在大多數(shù)環(huán)境中，正在更新的文件數(shù)量很少。
close_inactive配置選項(xiàng)應(yīng)相應(yīng)地設(shè)置為關(guān)閉不再處于活動(dòng)狀態(tài)的文件。
您可以使用其他配置選項(xiàng)來(lái)關(guān)閉文件處理程序，但所有這些選項(xiàng)都應(yīng)該小心使用，因?yàn)樗鼈兛赡苡懈弊饔谩?選項(xiàng)是：
close_renamed和close_removed選項(xiàng)在Windows上很有用，可以解決與文件旋轉(zhuǎn)相關(guān)的問(wèn)題。
請(qǐng)參閱打開(kāi)文件處理程序?qū)е耊indows文件旋轉(zhuǎn)問(wèn)題？
close_eof選項(xiàng)在具有大量只有很少條目的文件的環(huán)境中很有用。
close_timeout選項(xiàng)在關(guān)閉文件處理程序比發(fā)送所有日志行更重要的環(huán)境中很有用。 有關(guān)更多詳細(xì)信息，請(qǐng)參閱設(shè)置探礦者。
確保在使用這些配置選項(xiàng)之前閱讀這些配置選項(xiàng)的文檔。
Filebeat可能被配置為頻繁掃描文件。 檢查filebeat.yml配置文件中scan_frequency的設(shè)置。 將scan_frequency設(shè)置為小于1s可能會(huì)導(dǎo)致Filebeat在頻繁的循環(huán)中掃描磁盤(pán)。
Filebeat保持每個(gè)文件的狀態(tài)并將該狀態(tài)保存在registry_file中的磁盤(pán)上。 Filebeat重新啟動(dòng)時(shí)，文件狀態(tài)用于在前一個(gè)位置繼續(xù)讀取文件。 如果每天都生成大量新文件，則
注冊(cè)表
文件可能會(huì)變得太大。 要減小注冊(cè)表文件的大小，有兩個(gè)可用的配置選項(xiàng)：clean_removed和clean_inactive。
對(duì)于不再接觸并忽略的舊文件（請(qǐng)參閱ignore_older），我們建議您使用clean_inactive。 如果舊文件從磁盤(pán)中刪除，請(qǐng)使用clean_removed選項(xiàng)。
Inode重用會(huì)導(dǎo)致Filebeat跳過(guò)行嗎？
在Linux
文件系統(tǒng)
上，F(xiàn)ilebeat使用inode和設(shè)備來(lái)識(shí)別文件。
從磁盤(pán)中刪除文件時(shí)，可將inode分配給新文件。
在涉及文件旋轉(zhuǎn)的使用情況下，如果舊文件被刪除并且之后立即創(chuàng)建新文件，
新文件可能與刪除的文件具有完全相同的inode。在這種情況下，F(xiàn)ilebeat假定新文件與舊文件相同，并嘗試在舊位置繼續(xù)讀取，這是不正確的。
默認(rèn)狀態(tài)不會(huì)從注冊(cè)表文件中刪除。要解決inode重用問(wèn)題，我們建議您使用clean_ *選項(xiàng)（特別是clean_inactive）來(lái)刪除非活動(dòng)文件的狀態(tài)。
例如，如果您的文件每24小時(shí)輪換一次，培段并且輪換的文件不再更新，則可以將ignore_older設(shè)置為48小時(shí)，將clean_inactive設(shè)置為72小時(shí)。
您可以將clean_removed用于從磁盤(pán)中刪除的文件。請(qǐng)注意，clean_removed會(huì)在掃描期間無(wú)法找到文件時(shí)清除注冊(cè)表中的文件狀態(tài)。如果文件稍后再次顯示，它將從頭開(kāi)始重新發(fā)送。
Filebeat使用
換行符
來(lái)檢測(cè)事件的結(jié)束。 如果將行逐漸添加到正在采集的文件中，則在最后一行之后需要換行符，否則Filebeat將不會(huì)讀取文件的最后一行。
在默認(rèn)行為中，F(xiàn)ilebeat會(huì)打開(kāi)文件并保持打開(kāi)狀態(tài)，直到達(dá)到文件末尾。
在配置的輸出很長(zhǎng)時(shí)間（例如Elasticsearch或Logstash不可用）的情況下，這可能會(huì)導(dǎo)致Filebeat將文件處理程序保留到同時(shí)從文件系統(tǒng)中刪除的文件。 只要Filebeat保持已刪除的文件處于打開(kāi)狀態(tài)，操作系統(tǒng)就不會(huì)釋放磁盤(pán)空間，這可能會(huì)導(dǎo)致磁盤(pán)利用率增加，甚至出現(xiàn)磁盤(pán)不足的情況。
為迅激了緩解這個(gè)問(wèn)題，您可以將close_timeoutedit設(shè)置設(shè)置為”5m”。 這畝中襪將確保每5分鐘關(guān)閉一次文件處理程序，而不管是否達(dá)到EOF。
請(qǐng)注意: 如果在Filebeat到達(dá)文件末尾之前刪除文件，則此選項(xiàng)可能會(huì)導(dǎo)致數(shù)據(jù)丟失。
如果您需要限制帶寬使用率，我們建議您在操作系統(tǒng)OS上配置網(wǎng)絡(luò)
堆棧
以執(zhí)行帶寬限制。
例如，以下Linux命令通過(guò)在通過(guò)端口5044的TCP連接上設(shè)置50 kbps的限制來(lái)限制Filebeat和Logstash之間的連接：
使用操作系統(tǒng)工具執(zhí)行帶寬限制可讓您更好地控制策略。 例如，您可以使用操作系統(tǒng)工具在白天限制帶寬，但不是在晚上。 或者您可以保留帶寬不受限制，但為流量分配低優(yōu)先級(jí)。
您的配置文件的結(jié)構(gòu)有問(wèn)題，或者您使用了YAML分析程序無(wú)法解析的路徑或
表達(dá)式
，因?yàn)榕渲梦募凑_轉(zhuǎn)義的字符。
如果YAML文件包含具有空格或不常用字符的路徑，請(qǐng)將路徑包裝在
單引號(hào)
中（請(qǐng)參閱將單引號(hào)標(biāo)記為包裹路徑）。
另請(qǐng)參閱YAML提示和疑難解答中的一般建議：
索引模板可能未正確加載。 請(qǐng)參閱步驟4：在Elasticsearch中加載索引模板。
如果您最近執(zhí)行了加載或解析自定義結(jié)構(gòu)化日志的操作，則可能需要刷新索引以使字段在Kibana中可用。 要刷新索引，請(qǐng)使用刷新API。 例如：
【參考：
】
關(guān)于linux 安裝filebeat的介紹到此就結(jié)束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關(guān)注本站。
創(chuàng)新互聯(lián)網(wǎng)絡(luò)推廣網(wǎng)站建設(shè)，網(wǎng)站設(shè)計(jì)，網(wǎng)站建設(shè)公司，網(wǎng)站制作，網(wǎng)頁(yè)設(shè)計(jì)，1500元定制網(wǎng)站優(yōu)化全包，先排名后付費(fèi)，已為上千家服務(wù)，聯(lián)系電話(huà)：13518219792
文章標(biāo)題：Linux下如何安裝Filebeat，步驟詳解(linux安裝filebeat)
網(wǎng)站網(wǎng)址：http://www.5511xx.com/article/dhdjgsc.html
