Mit dem sogenannten Elastic Stack oder auch ELK-Stack genannt sind Startups, Unternehmer und Website-Betreiber in der Lage, großen Mengen an Daten, z.B. Logfiles,  zu durchsuchen, zu visualiseren und auszuwerten.Dabei können einzelne Komponenten wie z.B. Elastic Search auch außerhalb des Elastic Stacks verwendet werden (z.B. als Suche für Onlineshops oder Websites). Auch der Input der Daten kann über eine Vielzahl von Möglichkeiten erfolgen (Logstash, Beats oder manueller Import).

Elastic Stack Komponenten

Der Elastic Stack ist eine Kollektion von Open-Source Komponenten und besteht aus 4 zentralen Tools:

Elastic Search:

Elastic Search ist eine RESTful Search Engine, also eine Datensuchmaschine, die Ihre gesammte Daten speichert und das Durchsuchen dieser Daten erlaubt. Das Besondere an Elastic Search ist die Fähigkeit, gigantische Mengen an Daten zu durchsuchen (hunderte Gigabytes bis Terabytes). Außerdem ist es mit Elastic Serach möglich mehrere Server zu einem Cluster zusammenzuschalten, um die Last zu verteilen.

Kibana:

Kibana ist ein Web-Interface, das die Visualisierung von großen Mengen an (Log-) Daten erlaubt. Mit Kibana ist es z.B. auch möglich, eigene Graphen und Dashboard zu erstellen.

elastic stack kibana dashboard system monitoring security beats

Logstash:

Logstash ist eine leichtgewichtige Datenverarbeitungs-Pipeline. Dabei kann Logstash Ihre Daten in Felder zerlegen und leitet die Daten an Elastic Search weiter.

Beats:

Beats sind sogenannte Data-Shippers und können auf hunderten oder tausenden von Servern installiert werden. Sie leiten z.B. Logfiles oder System-Metriken an einen zentralisierten Elastic Stack Server / Cluster weiter.

Ein konkreter Anwendungsfall aus der Praxis:

Nehmen wir an Ihr Unternehmen betreibt einen Onlineshop, der auf mehrere Server aufgeteilt ist. Sie haben z.B. einen Load-Balancer, 4 Application-Server (hier läuft Ihre eCommerce Software) und 2 Datenbankserver, die mittels automatischer Replikation immer den selben Datenbestand aufweisen.

Nun wird ein Elastic-Stack Cluster, bestehend aus mehreren Servern für Elastic Search (automatische Replikation der Daten) und ein Server für Kibana und Logstash aufgesetzt. Dieser Cluster ist also getrennt von Ihrem Onlineshop-Cluster. Sie können nun einzelne Beats auf den eCommerce-Servern installieren, die Logfiles und Systemmetriken an Ihren Elastic Stack Cluster senden. Mit Heartbeat können Sie z.B. die Erreichbarkeit überwachen, Filebeat erlaubt das Auswerten der Logfiles und Metricbeat ist für die Metriken (z.B. Auslastung der CPU, des RAM etc.) verantwortlich. Mit Kibana können Sie nun Dashboards erstellen und Ihre Server überwachen.

kibana dashboard firewall ufw port-scanning

Kibana Dashboard zur Darstellung der UFW Firewall Logdaten

Big Data für mehr IT-Sicherheit

Zusammenfassend lässt sich folgendes feststellen: Je mehr Daten Sie sammeln desto sicherer kann Ihre IT-Infrastruktur werden. Natürlich nur unter der Vorraussetzung, dass Sie auch wissen wie man diese Daten auswerten und interpretieren kann. Denn gerade bei einer nicht oder nicht ausreichend überwachten IT-Infrastruktur kann es schnell sehr böse enden. Mit dem Elastic Stack sind Sie in der Lage, fundierte Erkenntnisse über Ihre Systeme zu gewinnen und geeignete Maßnahmen zu treffen, die Ihre IT-Infrastruktur besser schützen kann und Ihr Unternehmen vor Vertrauensverlust durch Hackerangriffe bewahrt.