Artikel mit Tag graylog

SexiLog - OpenSource ELK Stack für ESXi-Hosts und vCenter-Server

Eine beliebte Lösung für Logging Server ist heutzutage ein sogenannter ELK Stack. Dabei handelt es sich um drei Komponenten die zusammen eine Logging Einheit bilden.

  1. Elasticsearch
  2. Logtash
  3. Kibana

Elasticsearch ist in dieser Konstellation für das Speicher und Suchen der Logdateien zuständig. Logtash verarbeitet die entstanden Logdateien und Kibana sorgt für eine optische Ausgabe der angefallenen Daten.

Alle Komponenten lassen sich einzeln auf einem Linux Server installieren und einrichten. Hierfür gibt es Cookbooks. Die einzelnen Schritte durchzuarbeiten ist jedoch aufwendig und fehleranfällig.

sexilog_funktion

Sexilog - ISO Image mit fertig ELK Stack

Eine einfache Lösung auf dem Weg zum fertigen Logserver stellt das aus Frankreich stammende SexiLog dar. Das OpenSource Projekt bietet Nutzern von ESXi-Hosts und vCenter-Servern ein fertiges VMware Image an, welches vom ersten Start weg Logs auswertet und grafisch darstellt. 

sexilog-banner

Die vorkonfigurierte Umgebung bietet alles, was für eine Überwachung und Auswertung von Log Dateien notwendig ist. Durch die freien Komponenten bietet sich SexiLog für kleinere Umgebung an, bei denen nicht allzuviel Geld für eine Loginumgebung vorhanden ist.

Installation SexiLog

Die Open Source Lösung steht als OVA Image zur Verfügung und muss lediglich in die eigene Umgebung importiert bzw. bereitgestellt werden.

OVF-Vorlage_bereitstellen

Sollte beim Import etwas schief gehen oder Fehlermeldungen auftauchen, verweise ich auf den erst neulich veröffentlichen Artikel zum Thema OVA Import.

Nach einer erfolgreichen Bereitstellung kann SexiLog via SSH konfiguriert werden. Der Standardzugang ist "root" mit dem Passwort "Sex!Log".

SexiLog-Konsole

In der Konsole können die Netzwerkeinstellungen und das Mailsetting angepasst werden.

Ist dieser Schritt vollzogen, muss nur noch dem ESXi Server bzw. dem vCenter mitgeteilt werden, wohin die Logdaten weitergereicht werden sollen. Dazu muss unter Konfiguration "erweiterte Einstellungen" aufgerufen werden, hier in das Untermenü "Syslog/global" wechseln.

In diesem Bereich muss unter Syslog.global.logHost die URL udp://logserveradresse:514 angepasst werden.

syslog

SexiLog starten

Das System startet automatisch, sobald alles eingerichtet ist, kann unter der zuvor eingerichteten IP Adresse die Kibana Oberfläche aufgerufen werden.

 sexilog-kibana

SexiBoards - Alles im Blick

Die Kibana Obefläche visualisiert Logs auf verschiedenen Boards. Das VMware Image liefert für verschiedene Events ganze 18 Übersichten. Neben der Startseite "SexyHome" existieren Seiten für vMotion, Veeam, VIM, IOPS, VSAN, Migration, Downtime, usw. Einen Überblick ist hier zu finden.

Fazit

SexiLog ist im jetztigen Stadium sicherlich eine der besten Lösungen, wenn es um das Auswerten von Log auf OpenSource Basis geht. Das VMware Image hat fast alle Mittel an Bord, die zu einer lückenlosen Auswertung dazugehören.

Wie so oft wird das Thema Sicherheit etwas stiefmütterlich behandelt. So fehlt in der Version 0.99g noch ein Unterstützung für SSL oder ein Login Formular für die Hauptseite. Hier muss der Nutzer entweder selbst Hand anlegen oder auf das nächste Release warten.

Wer einen fertig konfigurierten ELK Stack für virtuelle Hosts sucht, ist mit SexiLog sicherlich auf dem richtigen Weg.

Graylog2 v0.20.0 - OpenSource Log-Analyse-Server mit neuem Meilenstein

Graylog dürfte wohl den meisten Anwendern nicht unbedingt ein Begriff sein. Dabei ist der Log Analyse Server bei vielen bekannten Firmen wie Xing oder SoundCloud im Einsatz und das Nicht nur Dank seiner Geschwindigkeit. Im Gegensatz zu kommerziellen Anbietern wie Splunk, Logzilla oder LogAnalyzer ist Graylog komplett Open Source und unterliegt keinen Einschränkungen.

Das Backend des Syslog System basiert auf Elasticsearch und MongoDB, wobei beim Web-Frontend Ruby on Rails zum Einsatz kommt. Zeichnete sich die letzte Version der Software noch durch eine für den Laien etwas aufwendigere Installation aus, stehen für Graylog v0.20.0 Debian oder RPM Pakete für die Installation zur Verfügung. Wobei es auch noch einfacher geht, doch dazu später mehr.

graylog2

Features

Die Oberfläche wurde komplett überarbeitet und sticht nach dem ersten Start mit einem neuen Dashboard und anderer Bedienfelder ins Auge. Weitere praktische Funktionen zur Log Analyse sind:

  • Streams: erlauben das Filtern bestimmter Log Dateien für einzelne Server, z.B. alle mit Error Level.
  • Alerts: Ermöglicht das Versenden einer Alarm-Email bei bestimmten Werten, sollten z.B. 20 Errormeldungen pro Minute auftreten.
  • On the fly log level Management: Erlaubt das Ändern der internen Log Levels, ohne das System neu starten zu müssen.
  • Dynamisches Dashboard: Zeigt Grafiken, Widgets oder gespeicherte Suchanfragen nach Wunsch an.
  • Automatische Fehlersuche bei Suchanfragen: Bisher war die Fehlersuche aufwendige Handarbeit.
  • Lesemodus: Für Anwender ohne Rechte, stellt einen Read Only Modus für Streams und Co bereit.
  • Gesamtüberblick aller Server mit allen Logmeldungen.
  • Suchergebnisse lassen sich nun sortieren.
  • Die erstellen dynamischen Analyse Grafiken lassen sich pinnen (d.h. diese werden bei zukünftigen Suchabfragen ebenfalls eingeblendet).
  • Charts können per Drag & Drop miteinander kombiniert werden.
  • Suchanfragen können abgespeichert werden.
  • LDAP Integration ist möglich.
graylog-streams

Download

Wie bereits erwähnt stehen Debian und RPM Pakete zur Installation bereit. Dort ist ebenfalls eine Anleitung zur schnellen Installation der Pakete vorhanden. Bei einem ersten Quick & Dirty Versuch scheiterte bei mir allerdings eine lauffähige Installation.

Download Graylog2 v0.20.0 Source
Download Graylog2 v0.20.0 Debian Paket
Download Graylog2 v0.20.0 RPM Installer

graylog-dashboard

Installation Graylog2 Server mit Webinterface und Elasticsearch

Für eine schnelle und einfache Installation des Graylog Logging Server, wurde von Everything Should Be Virtual netterweise ein komplettes Installationscript veröffentlicht. Ihr müsst Nichts weiter tun, als dieses Script herunterladen und ausführen. Folgende Pakete installiert das Script für euch:

  • git
  • curl build-essential
  • openjdk-7-jre
  • pwgen
  • elasticsearch-0.90.10.deb
  • graylog2-server-0.20.0-rc.1.tgz
  • graylog2-web-interface-0.20.0-rc.1.tgz
  • mongodb-10gen

Die automatische Installation könnt ihr ohne Bedenken ausführen, um die benötigten Programme zu installieren, ich konnte Nichts Kritisches finden. 

sudo apt-get -y install git

git clone https://github.com/mrlesmithjr/graylog2/

chmod +x ./graylog2/install_graylog2_ubuntu.sh

sudo ./graylog2/install_graylog2_ubuntu.sh

Abschließend sollte vielleicht noch erwähnt werden, dass es sich aktuell noch um einen Release Candidate handelt, also durch aus noch Änderungen vorgenommen werden können. Der RC1 läuft jedoch schon sehr flüssig und bietet eine gute Möglichkeit erste Schritte auf der neuen Oberfläche zu machen.