Elastic - 最佳企業數據搜索分析工具 - 歐立威科技

Elastic Stack (ELK) 由全文搜索引擎Elasticsearch、資料收集引擎Logstash、資料 ... 由於早期的搜尋工具不易擴展、費用昂貴，Elastic 建立一個開源、分佈式的數據搜尋 ... Elastic–最佳企業數據搜索分析工具 Elastic–整合數據收集、儲存、分析與資安 Elastic成立於2012年，隨著雲計算和物連網的興起，實時搜尋大量結構和非結構數據的需求也隨之而來。

由於早期的搜尋工具不易擴展、費用昂貴，Elastic建立一個開源、分佈式的數據搜尋方案來解決問題。

ElasticStack(ELK)由全文搜索引擎Elasticsearch、資料收集引擎Logstash、資料視覺化平台Kibana、輕量資料採集工具Beats等開源軟體組成，形成具擴展性、易於管理及即時資料分析的整合解決方案。

其中Elasticsearch為實時搜尋與分析引擎，其擴展性可以在任何環境下快速搜索，並即時提供分析結果。

Logstash則是最先接觸日誌資料的系統，為一資料採集管道，再複雜的資料源都能快速轉換、傳送至Elasticsearch。

最後資料交由Kibana進行視覺化，客製化的儀表板與圖表提供絕佳的視覺體驗，也有告警機制(alerting)能針對特定條件發出告警。

ElasticStack解決方案中也包含專為企業打造的ElasticEnterpriseSearch以及整合日誌、指標、APM等資訊於一身的ElasticObservability，僅需一個平台就能觀看所有資訊。

Elastic是由32個國家的員工所組成的團隊，截至目前為止，Elastic在全球有3.5億次下載、5,500個企業用戶，其相關的社群更橫跨100多個國家，擁有超過10萬名社群成員。

FEATURE 架構靈活、基於REST和JSON的資料儲存方式 FEATURE 分佈式叢集、易於水平擴展 FEATURE 依ApacheLucense2.0開源。

無須編譯、下載即用 FEATURE 系統化管理與資安維護 FEATURE 基於JVM平台 Elastic產品訊息 瞭解更多產品相關更新 seemore Elastic成功案例 查看其他企業如何使用Elastic提升效能！ seemore AboutElasticStackElasticStack介紹 ElasticStack-分散式資料儲存平台 ElasticStack為現今最熱門的日誌管理平台，並簡稱為ELK，是取自於其三個主要產品的字首作為縮寫：Elasticsearch、Logstash及Kibana。

ELK使日誌資料收集、儲存及分析能在一套系統之下完成，成為現今開發人員與DevOps工程師的首選。

在分散式架構中，資料以索引的方式儲存在分片(shards)內，在此可將每個分片視為一個Lucene索引。

而Elasticsearch為每個分片建立副本，以確保某些節點故障或中斷連線時，分片副本內的資料仍能維持整個叢集正常運作，使Elasticsearch具高可用性。

Elaticsearch不需徹底檢修應用程式即可達成水平擴展，透過自動遷移分片以平衡多節點的集群，實現高擴展性與高可用性，因此支援PB等級的資料儲存。

ElasticStack可搭配以下插件擴充更多功能： Monitoring（監控）：透過Kibana輕鬆監控Elasticsearch，實時檢視資料群集、索引與節點狀況。

Security（安全）：為資料提供防護，也能執行更多安全管理，如：預防未授權的存取、加密處理等。

Watcher（告警）：Watcher能依情況設置行動指令，這對於業務端的資料流分析十分重要。

也可以設置閾值警告，監測資料狀況。

Graph（資料關聯性）：Graph為基於API與UI的工具，利用Elasticsearch建立索引、查詢等功能，協助了解資料間的關聯性。

Features為何您需要ElasticStack 複雜的資料隨著科技發展，許多企業面臨非結構化資料收集與統整的困境。

ElasticStack能輕鬆處理不同來源的複雜資料，如：社群網站、地圖資訊、各式文件、機器設備等。

其中Logstash備有許多針對特定資料源的插件以及插件編輯器，使ELK能讀取各類資料(如：日誌、指標、應用程式、資料庫及雲端服務）並進行轉換、輸出，解決了資料收集的問題。

多變的需求如何有效率地處理巨量資料已被眾多企業所重視，要同時兼顧處理速度與完整度並非易事。

現今常見的資料處理需求如下： ●不同的資料來源 ●監控系統與應用程式效能品質 ●管理巨量的資料與不同使用者 ●快速處理資料 ●要求資料品質與完整度 ElasticStack強大的功能可以解決一切 在競爭的環境下，現今企業更講求應用程式的監控與效率，如何自應用程式中提取複雜的日誌並做有效控管，是許多企業所重視的問題。

幸運的是，ElasticStack提供集中日誌管理的解決方案，如：從複雜資料源中傳送日誌，並轉換為結構化資料以供即時分析。

ELK提供針對資料叢集、節點、應用程式效能的監控儀表板，清楚呈現資料的狀態以做即時控管。

其中Elasticsearch將資料儲存成JSON格式，並利用反向檢索(invertedindex)以實時搜索文件，大幅提升檢索速度。

此外，Kibana集結圖表、地圖與篩選器，提升資料的品質與可視性，以達到資料完整性的需求。

日誌監控與分析Logsmonitoring 透過機器學習，偵測異常的日誌資料並發出警示，隨時監控資料狀況 水平擴展Horizontalscale ElasticStack無需終止應用程式，就能依照節點數量擴展搜尋範圍， 實時可用性Real-timeavailability ElasticStack最簡便之處在於實時可用，能實時搜索、分析與創建圖表 彈性資料模組Flexibledatamodel ElasticStack支援各種資料模組，便於資料儲存 快速查詢Rapidquery 利用反向檢索（invertedindices）功能快速查找資料並即時獲得結果 ProductsElastic產品組合 Elasticsearch ElasticStack的核心 作為ElasticStack的核心，Elasticsearch是基於ApacheLucene的分布式、開源的搜尋引擎，主要用於全文搜索、分析與儲存資料。

Elasticsearch具備高度的擴展性，即使在上百個節點的環境，Elasticsearch也能依您的需求自動擴展，高擴展性使您能輕鬆部署，進行更大量的資料檢索。

Elasticsearch對於資料儲存也十分彈性，無論是結構性或非結構性的資料、數值或地理資料，Elasticsearch先進的資料庫技術讓您能針對各種格式的資料做檢索與儲存。

（支援的資料類型包含：文字、數字、圖形、時間序列、地理數據、非結構資料等）。

除了收集資料，Elasticsearch備有完整的分析功能，能進一步整理並洞察資料。

Elasticsearch利用Aggregration模組將資料聚合並進行多種統計歸納，依您的需求客製化分析結果。

常見的聚合有：指數型聚合(MetricAggregration)、桶型聚合(BucketAggregration)、管道型聚合(PipelineAggregration)、矩陣型聚合(MatrixAggregration)　等。

Logstash 最佳日誌收集與轉換工具 Logstash是ElasticStack中重要的資料收集工具，負責日誌的接收（inputs)、過濾（filters)與輸出(outputs)。

即使資料複雜多元，Logstash皆能靈活運用動態搜索以找到正確資料，並即時轉換、傳送到指定之處，不受資料源格式、架構影響，解決了資料欄源複雜的問題。

Logstash擁有多個插件的可插拔架構，使其能混合與編排各種輸入方式，可以從特定的應用程式中獲取資料，無需額外繁瑣的程序，也有插件編輯器以支援多種資料源。

憑藉大量吞吐資料的能力，​​Logstash無需使用外部佇列層(Externalqueueinglayer)就能應付資料收取的高峰(Ingestionspikes)以進行擴展。

Kibana 最佳資料視覺化工具 Kibana是開源的資料視覺化工具，強大的交互視覺化功能可以將匯集好的資料以圖表呈現。

Kibana提供多種圖表的預覽，運用預覽模式能找到最適合的資料呈現方式。

另一個Kibana的重點功能，是能即時集結圖表、地圖與篩選器形成儀表板，使用者能自行編輯，讓數據更為清晰生動，對於需進一步監測與分析應用程式的用戶提供完整的資訊。

Kibana也能對複雜的時間序列進行分析、轉換，直觀地將數據視覺化。

Kibana完整呈現資料，降低資料管理、分析的成本，且能即時偵測並於危機時發起警報，易於資料的控管。

Beats 完美的輕量資料採集工具 Beats為ElasticStack中開源的資料採集工具，主要用於輕量資料的收集，再發送至Elasticsearch及Logstash進行下一步的處理。

Beats的特點在於輕便，能以較少的資源處理資料，直接從伺服器上快速收錄輕量數據，無論是雲端、容器與各類系統上的資訊都能使用Beats來收集。

此外，Beats透過無伺服器架構(serverlessarchitectures)，收集主機、容器平台和雲端環境的日誌及指標數據，以達到監控Docker,K8s等容器(containermonitoring)和傳輸數據的目的。

最新版本的Beats家族涵蓋各種客製化的輸送管道: Filebeat:收集與傳送日誌文件 Metricbeat:收集與傳送指標資料 Packetbeat:收集與傳送網路資料 Winlogbeat:收集與傳送Windows事件 Auditbeat:收集與傳送審核數據 Heartbeat:收集與傳送網站運作資料 Functionbeat:收集與傳送雲端資料 ElasticCloud 高效管理ElasticStack ElasticCloud為ElasticStack所提供的SaaS平台，主要特色是能快速部署並擴展專屬的Elastic產品集群。

有了ElasticCloud，即能獲得各類部署模板，在特定的環境下管理及監控Elasticsearch與Kibana等產品。

ElasticCloud也集各大功能於一身，在同一部裝置上即可匯入日誌資料、運用Beats從容器內傳送數據、也能使用ElasticAPM控管程式碼，無需另外部署。

ElasticCloud輕鬆建立集群的特色，使其成為現今開發人員優質的解決方案。

SecurityElastic帶來的資料安全 ElasticSecurity能提供端點安全防護、檢測並排除惡意軟體的威脅。

無論Windows,macOS,Linux皆在保護範圍。

其中ElasticAgent更快速地導入日誌並作安全監控，讓資料載入處理更簡便。

另外LimitlessXDR整合SIEM及Endpoint安全功能，即時導入日誌並排除威脅。

ElasticAgent-易於部署與管理 自7.14版本Elastic正式推出了ElasticAgent，幫助用戶更快速設定日誌的導入。

未來，ElasticAgent將成為為每個主機添加對日誌、指標和其他類型數據監控的單一方式。

為了配合ElasticAgent，ElasticStack同時也推出了FleetServer幫客戶進行集中管理。

Fleet會在Kibana提供Web介面，讓客戶輕鬆群組監控系統，以大規模添加和管理ElasticAgent中的資訊。

LimitlessXDR LimitlessXDR代表著Elastic提供單一方案就實現SIEM跟 EndpointSecurity。

ElasticSecurity能夠幫助客戶對所有數據進行分析，自動執行關鍵流程，並將原生的EndpointSecurity引入每台主機。

LimitlessVisibility 通過一個Agent就能添加不同的方案及導入日誌到Elastic。

LimitlessData 客戶可以利用Frozenstoragedata儲存以年計算的歷史數據、威脅情報、報告等，將盲點減到最低。

LimitlessPreventionandDetection ElasticSecurity預設了五百多條安全檢測規則，無需複雜的設定即可使用。

客戶亦可以創建適合自己環境的檢測規則、使用AdaptiveML模型發現威脅並降低告警疲勞、掃描並匹配檔案中的威脅情報，以找出新的漏洞攻擊標記。

ElasticSecurity亦支持通過將分析方法與MITREATT&CK®保持同步來提高計劃成熟度。

LimitlessAnalysis 客戶能通過ElasticSecurity去搜尋、關聯化安全日誌，以及利用機器學習尋找異常值。

SecurityAnalyst亦可以使用靈活的UI、內置案例管理和一系列新興的外部自動化功能，快速做出響應。

LimitlessValue ElasticSecurity跟ElasticStack的訂閱模式一樣，不會按Agent數目或數據量來收費。

如果用戶已經訂閱ElasticStack，更新後就可以使用新版本的功能。

Built-infeatureElastic內建功能 ElasticsearchforApacheHadoop(ES-Hadoop) ES-Hadoop被譽為雙向連接器，在Map/Reduce上運行的ES-Hadoop能讀取和寫入數據到Elasticsearch、Hadoop，並實時查詢。

ES-Hadoop透過REST介面來運作，藉由降低伺服器所需的資源，以達到靈活部署。

Security Security為Elasticsearch帶來了企業級的安全性，保護Elastic插件間的加密通信、身份認證、基於角色的存取控制和稽核。

Security強大的防護功能用來解決不斷增長的業務安全需求，提供Elasticsearch安全的數據環境。

Watcher Watcher是Elasticsearch的告警和通知的功能，它的設計宗旨是：如果可以查詢，就可以告警。

Watcher作為Elasticsearch的守門員，當有應用程式無回應、日誌受威脅等狀況，Watcher即發出警示，讓您根據數據變化來採取行動。

Monitoring Monitoring為Kibana內建監控功能，為Elasticsearch的部署內容達到資料透明化，隨時監控Elasticsearch集群活動、快速診斷問題、微調和優化性能，將Elasticsearch的效益最大化。