Logstash pour les devs - 24 - Sécurité Logstash : SSL, auth et secrets
Chiffrer les communications, authentifier les connexions et gerer les secrets dans Logstash.
32 articles sur le thème "Logstash".
Chiffrer les communications, authentifier les connexions et gerer les secrets dans Logstash.
Enrichir des événements avec des lookups externes : translate, jdbc_static, elasticsearch filter et memcached.
Déployer Logstash en production : haute disponibilité, load balancing, dimensionnement et patterns d'architecture.
Pipeline complet pour collecter, parser et visualiser des logs d'une application Node.js avec Filebeat, Logstash, Elasticsearch et Kibana.
Parser les dates dans tous les formats avec le filtre date, et ajouter la geolocalisation IP avec GeoIP. Deux filtres indispensables.
Transformer Logstash en endpoint HTTP ou socket TCP/UDP pour recevoir des donnees depuis n'importe quelle source.
Écrire du code Ruby inline dans un pipeline Logstash pour des transformations complexes. Puissant mais a utiliser avec parcimonie.
Les deux premiers input plugins : stdin pour tester et file pour lire des fichiers de logs. Sincedb, start_position et file rotation.
Input, filter, output : comprendre les trois blocs d'un pipeline Logstash avec un exemple concret de bout en bout.
Comment Elasticsearch, Logstash, Kibana et Beats s'articulent ensemble. Architecture, flux de donnees et quand utiliser quoi.
Renommer, supprimer, convertir, fusionner et manipuler les champs d'un événement avec le filtre mutate.
plain, json, json_lines, multiline, rubydebug, csv : les codecs qui transforment les octets en événements et inversement.
Tous les termes Logstash de la serie, définis simplement avec des liens vers les articles correspondants.
Surveiller Logstash avec l'API de monitoring, Metricbeat et Kibana. Metriques JVM, throughput et latence.
Tester un pipeline Logstash avec des donnees de test, des assertions et de la CI. Valider avant de déployer.
Setup complet Logstash avec Docker et Compose. Image officielle, volumes, configuration et premier démarrage.
Introduction a Logstash, son rôle dans l'Elastic Stack, pourquoi les devs doivent le comprendre, et ce que cette serie couvre en 31 articles.
Configurer le multiline dans Logstash et Filebeat pour des stack traces Java, des logs Python et des requêtes SQL.
Techniques et outils pour debugger un pipeline qui ne fait pas ce que tu veux. stdout, tags, metadata et log level.
Configurer l'output Elasticsearch : index naming, templates, bulk settings, retry, ILM et gestion des erreurs.
Grok est LE filtre Logstash. Patterns predefinis, patterns custom, debugger en ligne et exemples Apache, Nginx, syslog.
Regrouper des événements lies avec aggregate et calculer des metriques avec metrics. Deux filtres avances pour le traitement de flux.
Workers, batch size, heap, persistent queue : tous les leviers pour que Logstash tienne la charge.
Configurer l'input Beats pour recevoir des événements de Filebeat. Architecture Filebeat + Logstash avec Docker Compose.
Écrire dans des fichiers, afficher en console, envoyer vers Kafka, S3, HTTP et d'autres destinations.
Configurer plusieurs pipelines dans une instance Logstash et les faire communiquer avec pipeline-to-pipeline.
Dissect parse les logs structures sans regex. Plus rapide que Grok, plus simple a lire, mais moins flexible.
Configurer et exploiter la dead letter queue pour récupérer les événements rejetes par Elasticsearch.
Lire des messages Kafka et des tables de base de donnees avec les inputs Kafka et JDBC. Configuration complète et exemples Docker.
Utiliser Logstash comme outil ETL pour synchroniser des donnees PostgreSQL vers Elasticsearch. Sync incrementale et full.
if/else, opérateurs, tags, types et expressions regulieres : contrôler ce que chaque événement traverse dans un pipeline.
Extraire des champs depuis des paires clé-valeur, du JSON inline et du XML avec les filtres kv, json et xml.