10 分鐘帶你了解Elastic (ELK) 是什麼? | 歐立威科技
文章推薦指數: 80 %
ELK 是取自三個開源產品的字首作為縮寫分別為:Elasticsearch、Logstash 和Kibana。
ELK 提供中心化的日誌功能,協助用戶發現伺服器與應用程式中的 ...
10分鐘帶你了解Elastic(ELK)是什麼?
Dell利用Cloudera全面提升供應鏈/品管/客戶滿意度/人力資源2022-06-24《歐立威科技2022系列研討會》7/13|EDB–2022PostgresVision精華分享2022-06-27
0
Publishedby
Ethan
at
2022-06-24
Categories
Elastic產品訊息
產品訊息
Tags
beatsElasticElasticsearachELKKibanalogstash
內容目錄
ELK簡介5個使用ELK的理由(一)開源且免費(二)多主機選項(三)中心化的日誌處理功能(四)近實時資料分析與可視化(五)多種程式語言之間的高度相容性ELK的運作流程:日誌搜集、儲存&搜尋、可視化(一)資料處理:Beats&Logstash(二)集中儲存&快速搜尋:ElasticSearch (三)可視化:KibanaELK的其他功能介紹一、KibanaLens二、地理空間分析總而言之
ELK簡介
ELK是取自三個開源產品的字首作為縮寫分別為:Elasticsearch、Logstash和Kibana。
ELK提供中心化的日誌功能,協助用戶發現伺服器與應用程式中的問題,它讓用戶能在一個平台上搜尋與監控所有日誌,讓日誌搜尋與監控變得輕而易舉。
Elasticsearch:Elasticsearch為分散式、RESTful的搜尋及分析的搜尋引擎,能解決與日俱增的使用案例,做為ELK的核心,Elasticsearch能集中儲存資料以便於做快速搜尋,並做關聯性的微調,及能輕易擴展的分析功能。
如此強大的性能使Elasticsearch在用戶中獲得很高的評價跟人氣,公司也因此聲名大噪。
Logstash:Logstash是一種輕量型且開源的伺服器端資料處理管道,能夠從多個資料源擷取、轉換、再將其傳送至您的「存放區」。
即使資料複雜多元,Logstash依然能靈活運用動態搜索以找到正確資料,並即時轉換、傳送到指定之處,且不受資料源格式和架構影響。
Kibana:是一套免費開源的前端應用程式,將ELK作為其基礎,為Elasticsearch裡的數據資料提供搜尋和可視化的功能,Kibana不僅是ELK的繪圖工具,也能作為儀表板,用於監控、管理和維護ELK集群,甚至能作為ELK開發及解決方案的彙整中心。
5個使用ELK的理由
(一)開源且免費
ELK廣受好評的關鍵原因它較低的入門費用,ELK的所有軟體組件都是免費且開源的,代表使用者無需預購與無需花費軟體昂貴的許可費用。
(二)多主機選項
在部署ELK時,企業擁有多種Hosting(代管)選擇。
對於具有足夠資源的企業來說,ELK 能夠被安裝在地端伺服器上並能直接在內部管理。
另外,企業也能與MSP專員協作,利用AmazonOpensearch將ELK部署為託管服務(託管服務)。
(三)中心化的日誌處理功能
ELK最重要的功能為,它提供中心化的日誌記錄功能,允許使用者將雲環境中的日誌聚合至SingleSearchaableIndex(單一可搜索的索引)中。
該功能能串連多個來源的日誌與DataEvent(資料事件),並實現資安監控與根本原因分析等多樣用途。
(四)近實時資料分析與可視化
使用者能利用ELK中的Kibana,將來自ElasticSearch的近實時資料可視化,並製作成客製化儀表板。
將近實時資料可視化能夠縮短資料分析的時間,並能夠支援多項工作任務,從而推動組織的靈活性以及做出以資料驅動為主的決策。
(五)多種程式語言之間的高度相容性
ElasticStack使用者的代碼庫中常常有多種程式語言,並希望每種語言都能相容ElasticSearch。
為此,Elastic的研發人員已讓ElasticSearch支援至少12種程式語言,其中包JavaScript、Go、Python、NET和Perl。
另外Elastic也提供錯誤修復及響應查詢的服務。
ELK的運作流程:日誌搜集、儲存&搜尋、可視化
以下為ELK的日誌處理流程
(一)資料處理:Beats&Logstash
首先,ELK會先利用Beats搜集日誌,再將搜集後的RawData(原始資料)傳送至Logstash中進行轉換與資料的預處理
(二)集中儲存&快速搜尋:ElasticSearch
不同來源的資料(日誌、數字資料、網頁應用程式)將被匯入至Elasticsearch,並在那裡被分門別類的儲存以及收藏,當資料被Elasticsearch索引後,使用者便能對他們的資料進行複雜的查詢
(三)可視化:Kibana
最後再使用Kibana建置強大的資料可視化、共享儀表板並管理您的ElatsicStack。
總而言之,資料分類及儲存需要透過這三個步驟,良好地分工和搭配,因此每個過程均缺一不可。
ELK的其他功能介紹
一、KibanaLens
KibanaLens是一個易於使用且直觀的UI(使用者介面),它透過拖曳功能簡化了資料可視化的過程。
不論使用者需要探索數十億條日誌或從網站流量中發現新趨勢,只需要幾個簡單的步驟,Lens便能讓使用者從資料中獲得洞察力。
另一項KibanaLens的優勢為,它的操作版面容易操作,透過簡易的拖曳功能,您能夠輕易且快速地打造屬於您專屬的儀表板,就算先前沒有使用過Kibana,您也能快速上手。
二、地理空間分析
對於許多ElasticStack的使用者來說,「地點」經常是他們探討的議題,無論使用者想預防他們的網站遭到駭客襲擊,或想調查特定區域Application(應用程式)的緩慢執行時間,還是只是想叫車回家,地理空間資訊都扮演著至關重要的角色。
而利用ElasticStack的資料分析與可視化功能,使用者能自行建置客製化的地理資訊儀表板。
總而言之
ElasticStack能將大量來源不同的日誌及資料,利用自身的資料處理流程,將資料進行預處理,再將其分類、儲存至統一的平台。
ElasticSearch與其他關聯式資料庫相比,其處理資料的效率更為優秀,因此如果您的機器資料及日誌日益增多,且需要有效的平台,診斷問題和排除故障,ELK將是您的最佳選擇。
想了解更多ELK相關資訊,請參考:TheElasticStack
延伸文章資訊
- 1今夜,先來個開場,什麼是ELK Stack?
ELK (Elasticsearch/Logstash/Kibana) 是一套完整的數據分析工具, 讓資料分析、統計更方便, 在了解Elastic Stack 各元件功能後, 收集各來源數據, ...
- 2【真人直播】Elastic Stack (ELK) 新手到實戰班| 緯育TibaMe
視覺化的log 分析工具Elastic (ELK) Stacks能建立視覺化數據分析與客製數據查詢,從海量的日誌中找出關鍵性的線索,如搜尋可疑連線IP,並依來源IP建立世界地圖, ...
- 3ELK Stack:Elasticsearch 的开发者倾心打造
那么,ELK 到底是什么呢? “ELK”是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和Kibana。Elasticsearch 是一个搜索和分析引擎。
- 4The ELK Stack: From the Creators of Elasticsearch | Elastic
"ELK" is the acronym for three open source projects: Elasticsearch, Logstash, and Kibana. Elastic...
- 510 分鐘帶你了解Elastic (ELK) 是什麼? | 歐立威科技
ELK 是取自三個開源產品的字首作為縮寫分別為:Elasticsearch、Logstash 和Kibana。ELK 提供中心化的日誌功能,協助用戶發現伺服器與應用程式中的 ...