Artikel mit Tag performance

Salt Grafana - freies Dashboard für Saltstack Master

Saltstack ist ein Infrastructure as Code Tool zur Automatisierung der Infrastruktur. Je größer die damit automatisierte Infrastruktur, desto schwerer ist es den Überblick über gelaufene oder fehlerhafte States zu behalten oder gar Performancedaten auszuwerten.

Salt Grafana

Mit Salt Grafana ist ein neues freies Tool zur grafischen Darstellung der Abläufe auf dem Salt Master erschienen. Das neue Tool macht bereits vorhandenen Auswertungstools wie Alcali, SaltGUI oder Molton nur teilweise Konkurrenz, da es einen anderen Ansatz nutzt.

Wie der Name schon sagt, steck Grafana mit Loki, Prometheus, Tempo und PostgreSQL dahinter. Dies ermöglicht ein reichlich geschmücktes Dashboard mit verschiedensten Werten vom Salt Master.

dashboard-salt-grafana

Die Architektur dahinter sieht dahingehend auf den ersten Eindruck etwas komplex aus und die Installationsanleitung hat ein paar mehr Punkte zum Abarbeiten.

Dafür steht am Ende eine Reihe an Features zur Verfügung, die unabhängig vom Salt Master genutzt und konfiguriert werden können, egal ob bestimmte Überwachungsmetriken oder Alarmmeldungen.

 

salt-grafana-architecture

Anders als in der Grafik dargestellt, kann natürlich auch Grafana on premise verwendet werden.

Was Salt Grafana noch nicht auswerten kann, sind salt-call Aufrufe mit state.apply oder highstate. Dies könnte aber in kommenden Releases nachgereicht werden. Bis dahin ist das Tool auf jeden Fall einen Blick bzw. eine Testinstallation wert.

 

Download

pgAdmin 4 v2.0 - Bessere Performance und PostgreSQL 10 Unterstützung

Seit gut einem Jahr ist pgAdmin in Version 4 verfügbar. Die komplett überarbeitete Version wurde damals neu geschrieben und Stand zu anfangs noch auf etwas wackeligen Beinen. Keine Wunder nach einer komplett neu geschriebenen Variante.

Mit der aktuellen Version 2.0 wurden daher bis zu 70 Bugs gefixed. Die Performance des JQuery UI wurde massiv verbessert und eine SSL Unterstützung integriert. Natürlich ist auch die Unterstützung für das aktuelle PostgreSQL 10 mit an Bord. 

Eine Konfiguration im Vorfeld soll nun wegfallen und das PostgreSQL Tool "out of the box" starten.

Alle Änderungen lassen sich im Blog Beitrag nachlesen.

pgadmin4-logo

Installation pgAdmin 4 unter Ubuntu 16.04. LTS

Es gibt mehrere Varianten das Tool auf Ubuntu zu installieren. Leider wird bis jetzt noch kein Repository unterstützt. 

Es kann auf die Python Wheel Variante zurückgegriffen werden.

sudo apt-get install virtualenv python-pip libpq-dev python-dev
virtualenv pgadmin

cd
virtualenv pgadmin
cd pgadmin
source bin/activate
pip install https://ftp.postgresql.org/pub/pgadmin/pgadmin4/v2.0/pip/pgadmin4-2.0-py2.py3-none-any.whl

python ~/pgadmin4/lib/python2.7/site-packages/pgadmin4/pgAdmin4.py

Die Konfigurationsdatei dieser Installation ist unter lib/python2.7/site-packages/pgadmin4/config.py zu finden.

pgadmin-dashboard1

Installation pgAdmin 4 mit Docker Container

Wer lieber auf Docker setzt, der kann auch einen Container verwenden.

docker pull dpage/pgadmin4

docker run -p 80:80 -e "PGADMIN_DEFAULT_EMAIL=user@example.de" -e "PGADMIN_DEFAULT_PASSWORD=SuperSecret" -d dpage/pgadmin4


oder mit einer SSL Variante

docker pull dpage/pgadmin4
docker run -p 443:443 \
-v "/private/var/lib/pgadmin:/var/lib/pgadmin" \
-v "/path/to/certificate.cert:/certs/server.cert" \
-v "/path/to/certificate.key:/certs/server.key" \
-e "PGADMIN_DEFAULT_EMAIL=user@example.de" \
-e "PGADMIN_DEFAULT_PASSWORD=SuperSecret" \
-e "PGADMIN_ENABLE_TLS=True" \
-e "PGADMIN_SERVER_NAME=pgadmin.domain.com" \
-d pgadmin4

 

Fazit

Leider konnte ich die neue Version bis jetzt noch nicht auf Herz und Nieren testen. Allerdings ist trotz der Performance Verbesserungen, immer noch Luft nach oben. Detaillierte Fehler wie beispielsweise mit Postgis (siehe alter Artikel), kann ich adhoc nicht beurteilen.

Die nicht vorhandene Installation via Repository wird einige Ubuntu Nutzer an der Verwendung des Tools hindern, immerhin stehen mit RPM, PIP und Docker Alternativen zur Verfügung. 

Die alte Version 3 wird zwar nicht mehr offiziell unterstützt, kann aber alternativ weiterhin verwendet werden. 

PGCenter - PostgreSQL Datenbank Statistiken und Leistungsdaten auf einen Blick

PostgreSQL ist die Tage in Version 9.5 erschienen (siehe Artikel). 
Egal ob neues oder altes DB System, eine Analyse der Performance und Auswertung von Zugriffszeiten- oder daten, usw. ist bei vielen Anwendungsszenarien unerlässlich.

PGCenter

Eine Auswertungsmöglichkeit bringt PostgreSQL selbst mit. Unter dem Prefix "pg_stats" stehen verschiedene Mechanismen für Auswertungen zur Verfügung.

Weiter geht PGCenter. Es bündelt diese Auswertungen in einer Ausgabe, die der Prozessüberwachung top ähnelt. Dies sorgt für eine schnelle Übersicht und bringt zusätzlich die Möglichkeit selbst Aktionen auszuführen.

Die Hauptfunktionen von PGCenter werden wie psql Befehle ausgeführt und bieten momentan folgende Möglichkeiten:

postgresql

  • top-like interface
  • use same connection options as with psql
  • show current system load and cpu/memory/swap usage
  • show input/output statistics for devices and partitions like iostat
  • show network traffic statistics for network interfaces like nicstat
  • show current postgres state (connections state, longest transaction, autovacuum)
  • show statistics about tables, indexes, functions, activity, replication
  • show pg_stat_statements statistics: calls, rows
  • show pg_stat_statements statistics: cpu timings, io timings
  • show pg_stat_statements statistics: blks i/o (hits, reads, dirtied, written, temp)
  • show relations sizes info
  • configuration files editor and postgres reload
  • log files viewing (full log or tail)
  • cancel/terminate queries or processes by pid or whole group
  • query reporting


Installation von PGCenter Statistik

Referenzsystem ist ein Ubuntu Server 14.04. Weitere Installationsarten werden auf der Homepage beschrieben.

sudo add-apt-repository ppa:lesovsky/pgcenter
sudo apt-get update
sudo apt-get install pgcenter

Benutzung von PGCenter

Wie bereits oben erwähnt, ist die Nutzung von PGCenter an psql Befehle angelehnt. Damit alle Daten ausgewertet werden können, muss ein superuser account wie "postgres" verwendet werden, ansonsten kann es zu Einschränkungen kommen

Eine Möglichkeit die PGCenter Konsole zu starten wäre beispielsweise

sudo -u postgres pgcenter

Hier wird das Tool direkt als Benutzer Postgres gestartet.

pgcenterpgcenter

Befehle für PGCenter

Eine interaktive Bedienung erfolgt mit folgenden Befehlen (Hilfe mit F1).


    general actions:
      a,d,i,f,r       mode: 'a' activity, 'd' databases, 'i' indexes, 'f' functions, 'r' replication,
      s,t,T           's' sizes, 't' tables, 'T' tables IO,
      x,X,c,v         'x' stmt timings, 'X' stmt general, 'c' stmt IO, 'v' stmt temp.
      Left,Right,/    'Left,Right' change column sort, '/' change sort desc/asc.
      C,E,R           config: 'C' show config, 'E' edit configs, 'R' reload config.
      p                       'p' start psql session.
      l               'l' open log file with pager.
      N,Ctrl+D,W      'N' add new connection, Ctrl+D close current connection, 'W' write connections info.
      1..8            switch between consoles.
    subscreen actions:
      B,I,L           'B' iostat, 'I' nicstat, 'L' logtail.
    activity actions:
      -,_             '-' cancel backend by pid, '_' terminate backend by pid.
      >,.             '>' set new mask, '.' show current mask.
      Del,Shift+Del   'Del' cancel backend group using mask, 'Shift+Del' terminate backend group using mask.
      A               change activity age threshold.
      G               get report about query using hash.

    other actions:
      , Q             ',' show system tables on/off, 'Q' reset postgresql statistics counters.
      z,Z             'z' set refresh interval, 'Z' change color scheme.
      space           pause program execution.
      F1              show help screen.
      q               quit.

Fazit

PGCenter bindet sich gut in die Umgebung ein und liefert viele wichtige Werte rund um einen PostgreSQL Datenbankbetrieb. Anwender, welche mit "top" arbeiten, werden pgcenter mögen.

https://github.com/lesovsky/pgcenter

uBlock - der Mercedes unter den Adblockern

Das Thema gefilterte Werbung wurde auf ITrig schon ausführlich behandelt, sei es mit bekannten AdBlockern oder Alternativen, wie einer manipulierten Host Datei.

Nun wurde bekannt, dass AdBlockPlus nicht nur den Browser schwächt, sondern nebenher, die eh schon vorhandene Hintertür, noch weiter aufstößt. Laut Engadget sollen Firmen wie Google oder Amazon Millionen gezahlt haben, um vom Filter ignoriert zu werden.

uBlock - Kleiner und schneller Werbeblocker

Das Addon uBlock ist zwar schon etwas älter und Chrome Usern sicherlich ein Begriff, für Firefox Nutzer ist es allerdings erst seit kurzem verfügbar. Anders als andere Anbieter setzt das Tool auf Performance und schneidet dabei gar nicht schlecht ab. (siehe Grafik).

ublock-cpu

ublock-firefox

Laut Entwicklern wird nicht nur die CPU weniger belastet, auch der Speicherverbrauch ist deutlich niedriger, als bei der Konkurrenz.

In der momentan stabilen Version 0.8.6.0 soll es noch wenige Ecken und Kanten geben, darum verweise ich gleich auch das aktuelle Pre Release 0.8.7.0, welches bereits stabil läuft.

ublock

Einstellungen wie eine Whitelist oder dergleichen kann das Mini Addon bis jetzt noch nicht über die Oberfläche bieten, jedoch verstecken sich alle Konfigurationsmöglichkeiten unter der URL "chrome://ublock/content/dashboard.html" inklusive der bereits erwähnten Whitelist. Einstellungen für einen Popup Blocker konnte ich bis jetzt noch nicht finden. 

Sollten sich die Geschwindigkeitsangaben bewahrheiten, ist das Addon sicherlich den anderen Anbietern vorzuziehen, auch wenn manche Einstellung nicht vorgenommen werden kann.

uBlock

 Weiterführende Links

 

 

 

Firefox, Chrome & Co schnell und ohne Werbung - kein Problem via Host Datei

Wie landläufig bekannt sein dürfte, lässt sich Werbung und Co gut und günstig durch das Plugin AdBlock und dessen Derivate blockieren. Leider ist ebenso bekannt, dass dieses zu einem starken Performanceverlust führt, denn das Addon hat sich über die Jahre von einer flotten Biene zu einem lahmen Käfer entwickelt.

Werbung via Host Datei deaktivieren

Die schnellste und einfachste Methode oder Alternative Werbung zu blockieren ist es, die Host Datei eines Rechners zu bearbeiten.

Diese liegt bei Windows Installationen unter "C:\Windows\System32\drivers\etc\hosts" und bei Linux unter "etc/hosts".

Dort werden Einträge von bekannten Werbenetzwerken oder Trackern hinterlegt, welche auf den lokalen Rechner zeigen und somit nicht mehr erreichbar sind.

z.B.

host

Ein recht vollständige Liste solcher Adressen lässt sich unter someonewhocares.org/hosts finden. Diese Hostdatei kann komplett eingebunden werden oder eben Teile davon. Einfach mit dem Notepad++ editieren und Einträge einfügen.

Danach sollte eurer Browser wieder schneller sein und 90% der Werbung nicht angezeigt werden. Addons wie Ad-block, Ghostery oder Disconnect sind somit nicht zwingend nötig.

Für den Profi 

Der Fachmann hinterlegt so eine Liste auf dem Router und blockiert solche Werbeadressen für das gesamte Netzwerk.

Host Verwaltung 

Für eine fachgerechte Verwaltung unter Windows Systemen bietet sich das Tool Hostsman an. Damit lässt sich die Hostdatei aktivieren bzw. deaktivieren oder auf Duplikate überprüfen.

hostsman

Dan Pollocks Host Datei gibt es in einer 127.0.0.1 oder einer 0.0.0.0 Variante. Zusätzlich steht auch eine IPv6 Version zur Verfügung.