Kibana: Unterschied zwischen den Versionen
Keine Bearbeitungszusammenfassung |
KKeine Bearbeitungszusammenfassung |
||
| (5 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt) | |||
| Zeile 1: | Zeile 1: | ||
Info: out of date! Es wird nun mit Grafana + InfluxDB experimentiert, siehe: [[Grafana|Grafana]] | |||
Testinstallation eines [https://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-14-04 ELK] Systems zur Visualisierung von ffgoe Statistiken. | Testinstallation eines [https://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-14-04 ELK] Systems zur Visualisierung von ffgoe Statistiken. | ||
| Zeile 10: | Zeile 11: | ||
* Nach einer Änderung: service logstash-forwarder restart | * Nach einer Änderung: service logstash-forwarder restart | ||
* Und mal gucken ob es gut ging: service logstash-forwarder status | * Und mal gucken ob es gut ging: service logstash-forwarder status | ||
* Wenn er nicht läuft kann man auch /opt/logstash-forwarder/bin/logstash-forwarder -config /etc/logstash-forwarder ausführen | * Wenn er nicht läuft kann man auch /opt/logstash-forwarder/bin/logstash-forwarder -config /etc/logstash-forwarder -quiet=false zum debuggen ausführen. | ||
Derzeit liegt auf VPN3 noch das Script fastd_forwarder, das das Script fastd_list verwendet, um die Anzahl an fastd-links in die Logdatei /var/log/fastd_logstash zu schreiben. Es läuft ein Cronjob, der das Script alle 5 Minuten ausführt und den Linkcount aktualisiert. Der fastd-forwarder schickt die Logdatei an den ELK-Server. | Derzeit liegt auf VPN3 noch das Script fastd_forwarder, das das Script fastd_list verwendet, um die Anzahl an fastd-links in die Logdatei /var/log/fastd_logstash zu schreiben. Es läuft ein Cronjob, der das Script alle 5 Minuten ausführt und den Linkcount aktualisiert. Der fastd-forwarder schickt die Logdatei an den ELK-Server. | ||
| Zeile 16: | Zeile 17: | ||
== logstash == | == logstash == | ||
Auf dem ELK-Server kommen die Daten im logstash an. Das kann durch die Konfigurationsdatein in /etc/logstash/conf.d/ konfiguriert werden. Mit [https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html grok Filtern] können die Daten vorgefiltert werden. Eine Sammlung von grok-patterns für logstash giebt es [https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns hier]. | Auf dem ELK-Server kommen die Daten im logstash an. Das kann durch die Konfigurationsdatein in /etc/logstash/conf.d/ konfiguriert werden. Mit [https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html grok Filtern] können die Daten vorgefiltert werden. Eine Sammlung von grok-patterns für logstash giebt es [https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns hier]. | ||
Sehr nützlich zum debuggen von grok Patterns ist der [http://grokdebug.herokuapp.com/ grok Debugger]. | |||
== elasticsearch == | == elasticsearch == | ||
Auf dem ELK-Server fügt logstash die Daten die von den Clients per logstash-forwarder kommen ins Elasticsearch ein. Für jeden Tag wird ein neuer Index angelegt der logstash-YYYY.MM.DD genannt wird. | Auf dem ELK-Server fügt logstash die Daten die von den Clients per logstash-forwarder kommen ins Elasticsearch ein. Für jeden Tag wird ein neuer Index angelegt der logstash-YYYY.MM.DD genannt wird. | ||
Es ist möglich ältere Indizes auf dem ELK-Server zu löschen mit: curl -XDELETE 'localhost:9200/logstash-YYYY-MM | Alle Indizes anzeigen: curl 'localhost:9200/_cat/indices?v' | ||
Es ist möglich ältere Indizes auf dem ELK-Server zu löschen mit: curl -XDELETE 'localhost:9200/logstash-YYYY.MM.DD' | |||
Die Einträge eines Index angucken: curl -XGET 'localhost:9200/logstash-YY.MM.DD' | |||
Aktuelle Version vom 3. Januar 2016, 18:28 Uhr
Info: out of date! Es wird nun mit Grafana + InfluxDB experimentiert, siehe: Grafana
Testinstallation eines ELK Systems zur Visualisierung von ffgoe Statistiken.
logstash-forwarder[Bearbeiten]
Der logstash-forwarder ist auf den log-Clients installiert (derzeit testweise nur auf VPN3). Er forwarded logs (TLS) an den ELK-Server. In der Datei /etc/logstash-forwarder kann spezifiziert werden welche Datein weitergeleitet werden sollen.
- Nach einer Änderung: service logstash-forwarder restart
- Und mal gucken ob es gut ging: service logstash-forwarder status
- Wenn er nicht läuft kann man auch /opt/logstash-forwarder/bin/logstash-forwarder -config /etc/logstash-forwarder -quiet=false zum debuggen ausführen.
Derzeit liegt auf VPN3 noch das Script fastd_forwarder, das das Script fastd_list verwendet, um die Anzahl an fastd-links in die Logdatei /var/log/fastd_logstash zu schreiben. Es läuft ein Cronjob, der das Script alle 5 Minuten ausführt und den Linkcount aktualisiert. Der fastd-forwarder schickt die Logdatei an den ELK-Server.
logstash[Bearbeiten]
Auf dem ELK-Server kommen die Daten im logstash an. Das kann durch die Konfigurationsdatein in /etc/logstash/conf.d/ konfiguriert werden. Mit grok Filtern können die Daten vorgefiltert werden. Eine Sammlung von grok-patterns für logstash giebt es hier.
Sehr nützlich zum debuggen von grok Patterns ist der grok Debugger.
elasticsearch[Bearbeiten]
Auf dem ELK-Server fügt logstash die Daten die von den Clients per logstash-forwarder kommen ins Elasticsearch ein. Für jeden Tag wird ein neuer Index angelegt der logstash-YYYY.MM.DD genannt wird.
Alle Indizes anzeigen: curl 'localhost:9200/_cat/indices?v'
Es ist möglich ältere Indizes auf dem ELK-Server zu löschen mit: curl -XDELETE 'localhost:9200/logstash-YYYY.MM.DD'
Die Einträge eines Index angucken: curl -XGET 'localhost:9200/logstash-YY.MM.DD'