Doctrine posee par l exploitant : des lors que le site a son Loki, la journalisation de la frontiere et des hyperviseurs doit y etre dirigee. CE QUI ETAIT CASSE. La destination syslog d OPNsense pointait 10.17.20.11:3100 - une adresse de TENANT, sur le port de Loki, en UDP, ce que Loki ne sait pas lire. La VM a ete rasee ; une cible morte a arrete TOUTE la journalisation pendant dix jours. La destination a ete eteinte pour reparer et jamais remplacee. Deux fautes en une : plus de journaux, et une cible chez un locataire, ce que D-87 refuse dans l autre sens. L intention etait juste - bonnes facilites, info et au-dessus. On l a REPRISE telle quelle et change uniquement la destination : ces choix avaient ete faits, ce n etait pas a nous de les redecider. UN TRADUCTEUR, parce que Loki ne parle pas syslog : loki.source.syslog dans l Alloy qui tourne DEJA sur le collecteur. Port 1514 et non 514, donc ecoute sans privilege - un collecteur qui aurait besoin des droits du systeme pour entendre un equipement serait un mauvais echange. UNE REGLE DE RELABEL SANS GARDE N IGNORE PAS : ELLE EFFACE. Trois quarts d heure sur un symptome absurde - la configuration deposee portait host = "bifrost-1", visible dans le fichier, et le flux arrivait sans etiquette. Sans regex, la regle correspond TOUJOURS, meme quand sa source n existe pas, et pose host = "". Loki jette une etiquette vide, et celle de l ecouteur disparaissait avec elle. Et la verification finale a corrige une seconde erreur, la mienne : label/host/values rendait une liste en CACHE. La requete directe rendait bien un flux. Un index qui ne montre pas une chose ne prouve pas qu elle n existe pas. LA GARDE, qui manquait depuis l incident. journaux-frontiere demande a LOKI ce qu il a RECU, pas a la frontiere ce qu elle croit avoir envoye : la destination est le seul juge, et un emetteur qui parle a un trou noir se porte tres bien. La fenetre est DERIVEE du debit observe - environ 1500 lignes par minute - pas choisie. Trois etats eprouves sur une copie : frontiere muette rc=2, Loki injoignable rc=3, debit normal rc=0. Le 3 compte autant que le 2 : « je ne peux rien affirmer » n est pas « c est casse ». Mesure : 46 681 lignes recues en 30 min, site a 68 services tous OK. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Crgis8CxCWkAGFA1ecBz3q
98 lines
4 KiB
Django/Jinja
98 lines
4 KiB
Django/Jinja
// Gere par Set-OPS (role client_journal). Ne pas editer a la main.
|
|
|
|
loki.write "loki" {
|
|
endpoint {
|
|
url = "{{ client_journal_loki_url }}"
|
|
{% if client_journal_loki_tls | default(false) %}
|
|
tls_config {
|
|
ca_file = "{{ client_journal_loki_ca }}"
|
|
}
|
|
{% endif %}
|
|
}
|
|
}
|
|
|
|
loki.source.journal "journal" {
|
|
forward_to = [loki.write.loki.receiver]
|
|
max_age = "12h"
|
|
labels = {
|
|
job = "systemd-journal",
|
|
host = "{{ inventory_hostname }}",
|
|
}
|
|
}
|
|
|
|
{% if client_journal_syslog_ecoute %}
|
|
// --- RECEPTEUR SYSLOG : CE QUI NE PEUT PAS PORTER D'AGENT (2026-09-10) ---
|
|
//
|
|
// La frontiere OPNsense n'accueille aucun agent. Elle sait emettre du syslog, et rien
|
|
// d'autre. Loki ne parle pas syslog : il faut un traducteur, et Alloy en est un.
|
|
//
|
|
// POURQUOI CE RECEPTEUR VIT ICI plutot que dans un role a lui : c'est la meme machine qui
|
|
// pousse deja ses propres journaux vers le meme Loki. Un second agent ne servirait qu'a
|
|
// avoir deux configurations a garder en phase.
|
|
//
|
|
// L'ETIQUETTE `host` VIENT DE L'EMETTEUR, pas de nous : plusieurs equipements peuvent
|
|
// pointer ici, et les confondre sous le nom du recepteur rendrait les journaux
|
|
// inutilisables au moment ou l'on en a besoin.
|
|
loki.source.syslog "frontiere" {
|
|
listener {
|
|
address = "{{ client_journal_syslog_ecoute }}"
|
|
protocol = "{{ client_journal_syslog_protocole }}"
|
|
label_structured_data = true
|
|
labels = { job = "syslog", host = "{{ client_journal_syslog_emetteur }}" }
|
|
}
|
|
forward_to = [loki.relabel.syslog.receiver]
|
|
}
|
|
|
|
// QUI A PARLE ? On veut la meme etiquette `host` que pour une machine qui pousse, sans
|
|
// quoi la requete change de forme selon la provenance et personne ne s'en souvient.
|
|
//
|
|
// DEUX SOURCES, DANS CET ORDRE, ET C'EST DELIBERE.
|
|
//
|
|
// L'en-tete RFC5424 porte un nom que l'emetteur se donne — pratique quand il est juste,
|
|
// et vide ou faux quand il ne l'est pas. Mesure du 2026-09-10 : ni les journaux reels de
|
|
// la frontiere, ni un message d'essai forge a la main avec un nom explicite n'ont produit
|
|
// d'etiquette. Le champ existe dans la specification ; il n'arrive pas ici.
|
|
//
|
|
// L'ADRESSE DE LA CONNEXION, ELLE, EST TOUJOURS LA — et elle ne s'invente pas : c'est le
|
|
// pare-feu qui l'observe, pas l'emetteur qui la declare. Un nom qu'on se donne peut
|
|
// mentir ; une adresse de connexion, non.
|
|
//
|
|
// CE QUI A FINALEMENT SERVI : l'etiquette posee sur l'ECOUTEUR, depuis la carte de
|
|
// l'hebergeur. Aucune des trois regles ci-dessous n'a produit quoi que ce soit — ni sur
|
|
// les journaux reels, ni sur un message forge a la main. On garde le relabel : le jour ou
|
|
// l'emetteur enverra un nom, il prendra le dessus. En attendant, le nom vient de la ou il
|
|
// est DECLARE, pas de la ou on l'espere.
|
|
//
|
|
// CE QUE CA SUPPOSE, ET QU'IL FAUT SAVOIR : un SEUL emetteur par ecouteur. Le site n'a
|
|
// qu'une frontiere ; le jour ou un second equipement pointe ici, il faudra un ecouteur par
|
|
// emetteur, ou faire enfin marcher le relabel. La supposition est ecrite pour qu'on la
|
|
// retrouve, plutot que decouverte devant des journaux melanges.
|
|
//
|
|
// La derniere regle qui correspond gagne : le nom l'emporte quand il existe.
|
|
loki.relabel "syslog" {
|
|
forward_to = [loki.write.loki.receiver]
|
|
// `regex` SUR LES TROIS, Y COMPRIS CELLE-CI (mesure du 2026-09-10).
|
|
//
|
|
// Sans elle, la regle correspond TOUJOURS — meme quand sa source n'existe pas — et pose
|
|
// `host = ""`. Loki jette une etiquette vide, et l'etiquette posee sur l'ecouteur juste
|
|
// au-dessus disparaissait avec elle. Le symptome : un flux sans `host`, alors que la
|
|
// configuration deposee en portait un, visible a l'oeil dans le fichier.
|
|
//
|
|
// Une regle de relabel sans garde ne « laisse pas passer » : elle EFFACE.
|
|
rule {
|
|
source_labels = ["__syslog_connection_ip_address"]
|
|
target_label = "host"
|
|
regex = "(.+)"
|
|
}
|
|
rule {
|
|
source_labels = ["__syslog_connection_hostname"]
|
|
target_label = "host"
|
|
regex = "(.+)"
|
|
}
|
|
rule {
|
|
source_labels = ["__syslog_message_hostname"]
|
|
target_label = "host"
|
|
regex = "(.+)"
|
|
}
|
|
}
|
|
{% endif %}
|