Grafana - Versionsgeschichte

Kjo: /* Aktuell erfasste Werte */

2017-01-10T20:09:21Z

Aktuell erfasste Werte

← Nächstältere Version		Version vom 10. Januar 2017, 20:09 Uhr
Zeile 109:		Zeile 109:
	* Aktuelle Trafficcounter aller Interfaces, die von vnstat erfasst sind - eine Zeile pro Interface		* Aktuelle Trafficcounter aller Interfaces, die von vnstat erfasst sind - eine Zeile pro Interface
	traffic,host=$server,interface=$iface KiB_recv=$value,KiB_sent=$value $zeitstempel		traffic,host=$server,interface=$iface KiB_recv=$value,KiB_sent=$value $zeitstempel
	* Ausschließlich auf VPN1 liegt ein Python-Script, das diverse Daten der einzelnen Nodes aus der nodes.json des Meshviewers ausliest und in 'nodestats' schreibt.		* Ausschließlich auf VPN1 liegt ein Python-Script, das diverse Daten der einzelnen Nodes aus der nodes.json des Meshviewers ausliest und in 'nodestats' schreibt:
			<code>/usr/local/bin/influx_nodestats</code>

	== Continuos Queries ==		== Continuos Queries ==

Corvus: aktualisiert und ergänzt

2016-06-04T19:10:42Z

aktualisiert und ergänzt

← Nächstältere Version		Version vom 4. Juni 2016, 19:10 Uhr
Zeile 2:		Zeile 2:
	Im Gegensatz zu dem ELK Stack ist die Kombination von Grafana und InfluxDB sehr viel leichtgewichtiger und fühlt sich auch geschmeidiger an.		Im Gegensatz zu dem ELK Stack ist die Kombination von Grafana und InfluxDB sehr viel leichtgewichtiger und fühlt sich auch geschmeidiger an.

	Grafana ist zu erreichen unter ~~http~~://37.~~120~~.~~160.199:3000~~		Grafana ist zu erreichen unter https://sonic.cccgoe.de/

	== Logbuch ==		== Logbuch ==
Zeile 54:		Zeile 54:
	apt-get install python-pip		apt-get install python-pip
	pip install influxdb		pip install influxdb
	edit ffgoevis, den hostnamen anpassen		<strike>edit ffgoevis, den hostnamen anpassen
	cp ffgoevis /usr/local/bin/.		cp ffgoevis /usr/local/bin/.
	crontab -e		crontab -e
	/5 * * * /usr/local/bin/ffgoe_vis		/5 * * * /usr/local/bin/ffgoe_vis</strike>
	TODO: ansible		TODO: ansible

Zeile 79:		Zeile 79:
	Als HOST den Namen des Supernodes angeben "VPN1-3".		Als HOST den Namen des Supernodes angeben "VPN1-3".

	=~~viele Daten auf einmal~~ in ~~die InfluxDB schieben~~=		= Neuer Ansatz in bash =

	~~Dei Funktion~~		Ausgangspunkt war die Überlegung, dass es besser wäre, die Daten nicht einzeln an die Datenbank zu schicken und für jede neue Messung ein neues Python-Script anzulegen, sondern alle Daten zu sammeln und dann in einem Rutsch wegzuschicken. Außerdem gab es die Idee, die Daten zu cachen, falls keine Verbindung zur Influx-DB möglich ist.
	~~client~~.~~write_points~~()
	~~kann auch problemlos sehr viele Daten auf einmal zur~~ Datenbank ~~schicken~~. Das wird ~~aktuell nur~~ auf ~~VPN1 gemacht~~, um die ~~Daten der Nodes~~ zu ~~übertragen~~. ~~Datenquelle ist~~ die ~~nodes~~.~~json~~, ~~die auch der Meshviewer nutzt~~. ~~Das entsprechende Script~~		== line protocol ==
	/usr/local/bin/~~influx_nodestats~~		Das [https://docs.influxdata.com/influxdb/v0.9/write_protocols/line/ line protocol] von InfluxDB eignet sich sehr gut dazu: „The line protocol is a text based format for writing points to InfluxDB. Each line defines a single point. Multiple lines must be separated by the newline character“
	~~wird dazu direkt~~ und ~~ohne zusätzliche Argumente~~ ausgeführt		Das Format sieht so aus:
			measurement[,tag=tagvalue] field=value [timestamp]
			Mehrere tags und mehrere fields sind möglich, z. B.
			traffic,host=VPN1,interface=eth0 KiB_recv=12345,KiB_sent=67890 1465063236
			Wenn kein Zeitstempel angegeben wird, nimmt Influx die aktuelle Serverzeit. Welche Auflösung (s, ms, min...) der Zeitstempel hat, ist im Prinzip egal. Sie sollte natürlich überall gleich sein und muss bei der Übertragung an die Datenbank (siehe unten, Parameter 'precision') angegeben werden, sonst geht Influx von Nanosekunden aus. Da vnstat Sekunden verwendet, war das die einfachste Variante.

			== Ablauf ==
			* Das Script liegt in /usr/local/bin/influx_collect.sh und wird alle 5 min ausgeführt.
			* Die 'server'-Variable soll von Ansible auf den jeweils korrekten Wert gesetzt werden.
			* Die Daten (siehe nächster Abschnitt) werden zuerst in eine Datei in /var/local/influx-client geschrieben. Anschließend wird versucht, die Datei mit curl an die InfluxDB zu schicken:
			curl -i -XPOST 'http://example.com:8086/write?db=dbname&precision=s&u=username&p=password' --data-binary @$file
			Wenn das erfolgreich war, wird die Datei gelöscht, ansonsten wird der Versuch beim nächsten Durchlauf des Scripts wiederholt.

			= Aktuell erfasste Werte =
			* CPU-Load (Durchschnitt der letzten 1, 5, 15 min) aus /proc/loadavg
			cpu_loadavg,host=$server avg_1min=$value,avg_5min=$value,avg_15min=$value $zeitstempel
			* Anzahl aktuell gültiger DHCP-Leases aus /var/lib/misc/dnsmasq.leases
			dhcp_leases,host=$server value=$value $zeitstempel
			* Anzahl der fastd-Verbindungen, wird vom Script /usr/local/bin/fastd_list geliefert
			fastd_links,host=$server value=$value $zeitstempel
			* Gesamt-Traffic des aktuellen Monats auf eth0 in MiB, Quelle: vnstat
			traffic_month,host=$server MiB_recv=$value,MiB_sent=$value $zeitstempel
			* Aktuelle Trafficcounter aller Interfaces, die von vnstat erfasst sind - eine Zeile pro Interface
			traffic,host=$server,interface=$iface KiB_recv=$value,KiB_sent=$value $zeitstempel
			* Ausschließlich auf VPN1 liegt ein Python-Script, das diverse Daten der einzelnen Nodes aus der nodes.json des Meshviewers ausliest und in 'nodestats' schreibt.

			== Continuos Queries ==
			[https://docs.influxdata.com/influxdb/v0.9/query_language/continuous_queries/ Continuos queries] bieten eine praktische Möglichkeit, Daten zu aggregieren. Sie werden einmal definiert und dann im angegebenen Zeitinterval von der Datenbank ausgeführt. Durch einen [https://github.com/influxdata/influxdb/issues/4688 Bug] im Influx-Webinterface zeigt 'SHOW CONTINUOUS QUERIES' aktuell kein Ergebnis an, die queries funktionieren aber trotzdem.
			Folgende CQs werden aktuell verwendet:
			* Summe der aktuellen Client-Zahlen - statt über 700 Werten muss Grafana nur noch einen abfragen.
			CREATE CONTINUOUS QUERY sum_clients ON ffgoe BEGIN SELECT sum(clients) INTO clients_online FROM nodestats GROUP BY time(5m) END

Corvus am 19. April 2016 um 22:47 Uhr

2016-04-19T22:47:44Z

← Nächstältere Version		Version vom 19. April 2016, 22:47 Uhr
Zeile 78:		Zeile 78:

	Als HOST den Namen des Supernodes angeben "VPN1-3".		Als HOST den Namen des Supernodes angeben "VPN1-3".

			=viele Daten auf einmal in die InfluxDB schieben=

			Dei Funktion
			client.write_points()
			kann auch problemlos sehr viele Daten auf einmal zur Datenbank schicken. Das wird aktuell nur auf VPN1 gemacht, um die Daten der Nodes zu übertragen. Datenquelle ist die nodes.json, die auch der Meshviewer nutzt. Das entsprechende Script
			/usr/local/bin/influx_nodestats
			wird dazu direkt und ohne zusätzliche Argumente ausgeführt

Cyela4t am 16. März 2016 um 22:17 Uhr

2016-03-16T22:17:24Z

← Nächstältere Version		Version vom 16. März 2016, 22:17 Uhr
Zeile 72:		Zeile 72:
	Eine Beispielanwendung ist das Script		Eine Beispielanwendung ist das Script
	influx_traffic		influx_traffic

			Wenn der KEY == test ist, kann das Ergebnis im Grafana im TestBoard angesehen werden.

			VALUE sollte ein numerischer Wert sein.

			Als HOST den Namen des Supernodes angeben "VPN1-3".

Cyela4t am 16. März 2016 um 22:12 Uhr

2016-03-16T22:12:56Z

← Nächstältere Version		Version vom 16. März 2016, 22:12 Uhr
Zeile 64:		Zeile 64:
	/usr/local/bin/		/usr/local/bin/
	die Pythonscripte zum einpflegen der Daten.		die Pythonscripte zum einpflegen der Daten.
			Das
			send_to_influx
			Script kann verwendet werden um Daten an die InfluxDB zu schicken.
			send_to_influx -h
			zeigt die flags.

			Eine Beispielanwendung ist das Script
	~~under construction~~		influx_traffic

Cyela4t am 16. März 2016 um 22:08 Uhr

2016-03-16T22:08:41Z

← Nächstältere Version		Version vom 16. März 2016, 22:08 Uhr
Zeile 61:		Zeile 61:

	= Daten in die InfluxDB schieben =		= Daten in die InfluxDB schieben =
			Auf den Supernodes liegen in
			/usr/local/bin/
			die Pythonscripte zum einpflegen der Daten.


	under construction		under construction

Cyela4t am 16. März 2016 um 22:05 Uhr

2016-03-16T22:05:42Z

← Nächstältere Version		Version vom 16. März 2016, 22:05 Uhr
Zeile 59:		Zeile 59:
	/5 * * * /usr/local/bin/ffgoe_vis		/5 * * * /usr/local/bin/ffgoe_vis
	TODO: ansible		TODO: ansible

			= Daten in die InfluxDB schieben =
			under construction

Cyela4t: /* Konfiguration */

2016-01-10T12:03:09Z

Konfiguration

← Nächstältere Version		Version vom 10. Januar 2016, 12:03 Uhr
Zeile 50:		Zeile 50:
	client = InfluxDBClient(host, port, user, password, dbname)		client = InfluxDBClient(host, port, user, password, dbname)
	client.write_points(json_body)		client.write_points(json_body)

			=== clients ===
			apt-get install python-pip
			pip install influxdb
			edit ffgoevis, den hostnamen anpassen
			cp ffgoevis /usr/local/bin/.
			crontab -e
			/5 * * * /usr/local/bin/ffgoe_vis
			TODO: ansible

Cyela4t am 4. Januar 2016 um 17:33 Uhr

2016-01-04T17:33:59Z

← Nächstältere Version		Version vom 4. Januar 2016, 17:33 Uhr
Zeile 30:		Zeile 30:
	Super easy to add data with python:		Super easy to add data with python:


	~~<translate>~~
	from influxdb import InfluxDBClient		from influxdb import InfluxDBClient
	def main():		def main():
Zeile 52:		Zeile 50:
	client = InfluxDBClient(host, port, user, password, dbname)		client = InfluxDBClient(host, port, user, password, dbname)
	client.write_points(json_body)		client.write_points(json_body)
	~~</translate>~~

Cyela4t: /* Grafana + InfluxDB */

2016-01-04T17:33:29Z

Grafana + InfluxDB

← Nächstältere Version		Version vom 4. Januar 2016, 17:33 Uhr
Zeile 27:		Zeile 27:
	* die Clients mir write only in die influxDB schreiben lassen		* die Clients mir write only in die influxDB schreiben lassen
	* Dashboads im Grafana erstellen		* Dashboads im Grafana erstellen
			=== Add Data ===
			Super easy to add data with python:


			<translate>
			from influxdb import InfluxDBClient
			def main():
			host = '37.120.160.199'
			port = 8086
			user = 'client'
			password = *********
			dbname = 'ffgoe'
			json_body = [
			{
			"measurement": "test",
			"tags": {
			"host": "vpnTest"
			},
			"fields": {
			"value": 7.
			}
			}
			]
			client = InfluxDBClient(host, port, user, password, dbname)
			client.write_points(json_body)
			</translate>