Artikel mit Tag auswerten

Linux Script - Postfix Mail Server Logauswertung mit dem Postfix Log Entry Summarizer

Wer sich schon einmal mit MTAs (Mail Transfer Agent) auseinandergesetzt hat, dem wird Postfix sicherlich ein Begriff sein. Postfix zählt zu den bekanntesten Mailservern im Linuxbereich, ist schnell und recht einfach zu konfigurieren, eine gewisse Grundkenntnis vorausgesetzt. Für einen sicheren Mailverkehr möchte ich hier noch einmal auf das Crypto Handbuch verweisen.

Letzte Woche war ja ein wenig Exchange Server im Programm, heute soll es aber um eine Auswertung des Mailverkehrs, welcher täglich über einen Postfix Server rauscht, gehen. 

Postfix Log Entry Summarizer

Hierfür gibt es sicherlich einige Monitoring Tools, eines davon ist Pflogsumm (Postfix Log Entry Summarizer), welches eine ausführliche Auswertung bietet, ohne, dass der Anwender viel konfigurieren muss.

Unter Ubuntu ist dieses Tool recht schnell konfiguriert und im Optimalfall erhaltet ihr am Ende eine Übersicht aller Nachrichten, egal ob gesendet, empfangen oder geblockt. Auch der Traffic, die Menge oder die Mailadressen werden ausgewertet. Bis zu dieser Statistik ist aber noch ein wenig Vorarbeit zu leisten.

Pflogsumm installieren (Ubuntu)

sudo apt-get install pflogsumm 

Postfix Log Entry Summarizer konfigurieren

Ihr habt nun die Möglichkeit das Tool direkt aufzurufen und euch eine Liveauswertung geben zu lassen, um zu sehen was gerade auf dem Mailserver passiert. Pflogsumm macht nichts anderes, als auf die Logfiles des Postfix Server zurückzugreifen und diese auszuwerten. Mit einem Einzeiler lässt sich so eine Statistik in eine Datei schreiben oder per Mail versenden.

sudo pflogsumm -u 5 -h 5 --problems_first -d today /var/log/mail.log >> test oder

sudo pflogsumm -u 5 -h 5 --problems_first -d today /var/log/mail.log | mail -s "Postfix Mail Report" info@example.com

Vorarbeit zur regelmäßigen Postfix Analyse

Eine IST Auswertung mag zwar interessant sein, die regelmäßige Auswertung der letzten Tage ist jedoch um einiges interessanter. Realisierbar ist dies mit den Logs des Vortages, diese werden Mittels logrotate gepackt und können danach ausgewertet werden. Zunächst muss logrotate angepasst werden, damit täglich neue Logs geschrieben werden.

sudo nano /etc/logrotate.conf

/var/log/mail.log {
    missingok
    daily
    rotate 7
    create
    compress
    start 0
    }
sudo nano /etc/logrotate.d/rsyslog

    #/var/log/mail.log

Wenn gewünscht ist, dass die Logrotation pünktlich zu einer gewissen Uhrzeit laufen soll, sagen wir um 2 Uhr Nachts , ist es nötig crontab zu editieren und dort die Laufzeit anzupassen.

sudo nano /etc/cron.daily anzupassen 0 2 * * * root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.daily )

Skript zur Postfix Analyse 

Nun können wir unser eigenes Script zusammen stellen, welches am Schluss eine Auswertung versendet. 

sudo nano mailstatistiken.sh

#!/bin/bash
#
###############
# mailstats   #
###############

PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

# Log Archive entpacken
gunzip /var/log/mail.log.1.gz

#Temporaere Datei anlegen
MAIL=/tmp/mailstats

#Etwas Text zum Anfang
echo "Taeglicher Mail Stats Report, erstellt am $(date "+%H:%M %d.%m.%y")" > $MAIL
echo "Mail Server Aktivitaeten der letzten 24h" >> $MAIL

#Pflogsumm aufrufen
/usr/sbin/pflogsumm --problems_first /var/log/mail.log.1 >> $MAIL

# Versenden der Auswertung
cat /tmp/mailstats | mail -s "Postfix Report $(date --date='yesterday')" stats@example.com

#Archiv wieder packen, damit alles seine Ordnung hat
gzip /var/log/mail.log.1

Insgesamt eine leichte Übung. Das fertige Skript noch mit "chmod +x" ausführbar machen und am besten via "crontab -e" zu einem gewünschten Zeitpunkt ausführen.

Am Ende solltet ihr jeden Tag per Mail eine ausführliche Zusammenfassung der E-Mails Statistiken erhalten.

Grand Totals

------------

messages

   4321   received

   1234   delivered

      5   forwarded

      1   deferred  (3  deferrals)

      0   bounced

      0   rejected (0%)

      0   reject warnings

      0   held

      0   discarded (0%)

   1234m  bytes received

   1234m  bytes delivered

    123   senders

    321   sending hosts/domains

   1234   recipients

    123   recipient hosts/domains

message deferral detail

-----------------------

  smtp (total: 3)

         3   invalid sender domain 'example.de' (misconfigured ...

message bounce detail (by relay): none

message reject detail: none

message reject warning detail: none

message hold detail: none

message discard detail: none

smtp delivery failures: none

Warnings: none

Fatal Errors: none

Panics: none

Master daemon messages: none

Per-Hour Traffic Summary

------------------------

    time          received  delivered   deferred    bounced     rejected

    --------------------------------------------------------------------

    0000-0100           0          0          0          0          0 
.....

 

Wie ist der Ranking Score meiner Facebook Freunde ?

Bekannterweise schlägt die Plattform Facebook neue Freunde vor oder bewertet vorhandene aufgrund der Kommunikation. Aus all diesen Werten wird ein Ranking erstellt, welches zum Beispiel die Ergebnisse einer Freundesuche beeinflusst usw.

Arjun Sreedharan hat ein Script veröffentlicht, welches diesen Score auswertet.

facebook_ranking

Das Vorgehen ist denkbar einfach, dank intelligentem Lesenzeichen

  1. FB Ranking Button als Lesezeichen in der Lesezeichenleiste ablegen
  2. Auf Facebook einloggen und das Lesezeichen klicken
  3. Der Ranking Score wird angezeigt

Je niedriger die Werte desto besser das Ranking. Vergleichbar ist das mit der Länge der Kanten (Verbindungslinien) zwischen den einzelnen Freunden (Knoten).


Ausführliche Facebook Profil Analyse mit Hilfe von WolframAlpha

Wolfram|Alpha, die bekannte Faktensuchmaschine, analysiert bei Bedarf das eigene Facebokk Profil. Dabei werden bis zu 60 unterschiedliche Daten analysiert.

Für die Analyse muss lediglich "facebook report" als Suchbegriff eingegeben werden, danach muss der App "Wolfram Connection" Zugang zum eigenen Profil gewährt werden und schon kann die Analyse beginnen.

facebook-report-WolframAlpha

Die semantische Suchmaschine bereitet danach, in bekannter Manier, das eigene Facebook Profil mit den dazugehörigen Zahlen auf. Angefangen von den eigenen Daten wie, Geburtstag, Alter und Heimatstadt, geht die Auswertung schnell in Balken- oder Kuchendiagramme über, welche die eigenen Aktivitäten oder die der Freunde auflisten.

facebook-WolframAlpha

Grob werden folgende Punkte abgearbeitet:

  • Detaillierte persönliche Informationen
  • Aktivitäten nach Datum und Zeit
  • Art der Aktivität
  • Anzahl der Postings, Likes und Kommentare
  • Mittlere Postinglänge
  • Welche Worte wurden am häufigsten verwendet
  • Postings mit den meisten Likes
  • Posting mit den meisten Kommentaren
  • Top Kommentatoren
  • Top Sharer
  • App Aktivitäten nach Datum und Zeit
  • Facebookaktivitäten
  • Fotos mit den meisten Kommentaren oder Likes
  • Geschlechterverteilung der Freunde
  • Beziehungsstatus der Freunde
  • Alter der Freunde
  • Die ältesten Freunde
  • Wohnorte der Freunde
  • Sprache, Politische Einstellung und Religion der Freunde
  • Die häufigsten Namen der Freunde
  • Freunde mit den gleichen Freunden
  • Ballungszentren

facebook-WolframAlpha-beziehungsstatus

WolframAlpha verdeutlicht mit seiner Faktenanalyse einmal mehr, wie viele Daten jeder einzelne Facebook zur Verfügung stellt und welche Schlüsse daraus gezogen werden können. Mein persönliches Highlight sind die "am meisten verwendeten Worte bei Postings"