Grafana + InfluxDB

Im Gegensatz zu dem ELK Stack ist die Kombination von Grafana und InfluxDB sehr viel leichtgewichtiger und fühlt sich auch geschmeidiger an.

Grafana ist zu erreichen unter https://sonic.cccgoe.de/

Logbuch

Installation

add deb https://packagecloud.io/grafana/stable/debian/ wheezy main to /etc/apt/sources.list
apt-get install -y apt-transport-https
curl https://packagecloud.io/gpg.key | apt-key add -
apt-get update
apt-get install grafana
wget http://influxdb.s3.amazonaws.com/influxdb_0.9.5.1_amd64.deb
dpkg -i influxdb_0.9.5.1_amd64.deb
service influxdb start
service grafana-server start

Konfiguration

Auf der Grafanaoberfläche einloggen, Port 3000, user:admin, pw: admin
- Admin pw ändern
mit 'influx' die influxDB Konsole öffnen
DB anlegen
admin anlegen, user anlegen, pw festlegen
/etc/influxdb/influxdb.conf editieren
- unter http auth-enable auf true setzen
- service influxDB restart
im Grafana die influxDB als datasource anlegen
die Clients mir write only in die influxDB schreiben lassen
Dashboads im Grafana erstellen

Add Data

Super easy to add data with python:

   from influxdb import InfluxDBClient
   def main():
       host = '37.120.160.199'
       port = 8086
       user = 'client'
       password = *********
       dbname = 'ffgoe'
       json_body = [
           {
               "measurement": "test",
               "tags": {
                   "host": "vpnTest"
               },
               "fields": {
                   "value": 7.
               }
           }
       ]
       client = InfluxDBClient(host, port, user, password, dbname)
       client.write_points(json_body)

clients

apt-get install python-pip
pip install influxdb

~~edit ffgoevis, den hostnamen anpassen~~

cp ffgoevis /usr/local/bin/.
crontab -e
*/5 * * * * /usr/local/bin/ffgoe_vis

TODO: ansible

Daten in die InfluxDB schieben

Auf den Supernodes liegen in

/usr/local/bin/

die Pythonscripte zum einpflegen der Daten. Das

send_to_influx

Script kann verwendet werden um Daten an die InfluxDB zu schicken.

send_to_influx -h

zeigt die flags.

Eine Beispielanwendung ist das Script

influx_traffic

Wenn der KEY == test ist, kann das Ergebnis im Grafana im TestBoard angesehen werden.

VALUE sollte ein numerischer Wert sein.

Als HOST den Namen des Supernodes angeben "VPN1-3".

Neuer Ansatz in bash

Ausgangspunkt war die Überlegung, dass es besser wäre, die Daten nicht einzeln an die Datenbank zu schicken und für jede neue Messung ein neues Python-Script anzulegen, sondern alle Daten zu sammeln und dann in einem Rutsch wegzuschicken. Außerdem gab es die Idee, die Daten zu cachen, falls keine Verbindung zur Influx-DB möglich ist.

line protocol

Das line protocol von InfluxDB eignet sich sehr gut dazu: „The line protocol is a text based format for writing points to InfluxDB. Each line defines a single point. Multiple lines must be separated by the newline character“ Das Format sieht so aus:

measurement[,tag=tagvalue] field=value [timestamp]

Mehrere tags und mehrere fields sind möglich, z. B.

traffic,host=VPN1,interface=eth0 KiB_recv=12345,KiB_sent=67890 1465063236

Wenn kein Zeitstempel angegeben wird, nimmt Influx die aktuelle Serverzeit. Welche Auflösung (s, ms, min...) der Zeitstempel hat, ist im Prinzip egal. Sie sollte natürlich überall gleich sein und muss bei der Übertragung an die Datenbank (siehe unten, Parameter 'precision') angegeben werden, sonst geht Influx von Nanosekunden aus. Da vnstat Sekunden verwendet, war das die einfachste Variante.

Ablauf

Das Script liegt in /usr/local/bin/influx_collect.sh und wird alle 5 min ausgeführt.
Die 'server'-Variable soll von Ansible auf den jeweils korrekten Wert gesetzt werden.
Die Daten (siehe nächster Abschnitt) werden zuerst in eine Datei in /var/local/influx-client geschrieben. Anschließend wird versucht, die Datei mit curl an die InfluxDB zu schicken:

curl -i -XPOST 'http://example.com:8086/write?db=dbname&precision=s&u=username&p=password' --data-binary @$file

Wenn das erfolgreich war, wird die Datei gelöscht, ansonsten wird der Versuch beim nächsten Durchlauf des Scripts wiederholt.

Aktuell erfasste Werte

CPU-Load (Durchschnitt der letzten 1, 5, 15 min) aus /proc/loadavg

cpu_loadavg,host=$server avg_1min=$value,avg_5min=$value,avg_15min=$value $zeitstempel

Anzahl aktuell gültiger DHCP-Leases aus /var/lib/misc/dnsmasq.leases

dhcp_leases,host=$server value=$value $zeitstempel

Anzahl der fastd-Verbindungen, wird vom Script /usr/local/bin/fastd_list geliefert

fastd_links,host=$server value=$value $zeitstempel

Gesamt-Traffic des aktuellen Monats auf eth0 in MiB, Quelle: vnstat

traffic_month,host=$server MiB_recv=$value,MiB_sent=$value $zeitstempel

Aktuelle Trafficcounter aller Interfaces, die von vnstat erfasst sind - eine Zeile pro Interface

traffic,host=$server,interface=$iface KiB_recv=$value,KiB_sent=$value $zeitstempel

Ausschließlich auf VPN1 liegt ein Python-Script, das diverse Daten der einzelnen Nodes aus der nodes.json des Meshviewers ausliest und in 'nodestats' schreibt:

/usr/local/bin/influx_nodestats

Continuos Queries

Continuos queries bieten eine praktische Möglichkeit, Daten zu aggregieren. Sie werden einmal definiert und dann im angegebenen Zeitinterval von der Datenbank ausgeführt. Durch einen Bug im Influx-Webinterface zeigt 'SHOW CONTINUOUS QUERIES' aktuell kein Ergebnis an, die queries funktionieren aber trotzdem. Folgende CQs werden aktuell verwendet:

Summe der aktuellen Client-Zahlen - statt über 700 Werten muss Grafana nur noch einen abfragen.

CREATE CONTINUOUS QUERY sum_clients ON ffgoe BEGIN SELECT sum(clients) INTO clients_online FROM nodestats GROUP BY time(5m) END

Grafana

Inhaltsverzeichnis