Référence
Référence
Réglages réseau des workers
Configuration à huit files, affinité IRQ et XPS, offloads, persistance et limites mesurées sur node1–3.
Sur cette page
Les workers utilisent huit paires de files RX/TX combinées sur eth0 et eth1. NetworkManager conserve les réglages des interfaces; un service systemd oneshot applique l’affinité IRQ, XPS et RPS au démarrage. Aucun hook de dispatcher, watchdog ou contrôle de réparation périodique n’est installé.
Cette page décrit la configuration appliquée le 2026-11-09 à node1, node2 et node3 : des machines virtuelles AlmaLinux 10.2 avec douze vCPU en ligne et des interfaces virtio. cp1 était hors périmètre. Les réglages et mesures décrivent cette flotte à cette date, sans constituer un profil universel d’optimisation.
Modifications et raisons
| Élément | État précédent | État final et raison |
|---|---|---|
| Persistance des files eth0 | Huit files actives, mais le script de démarrage supposait une seule file | Enregistrer huit files dans le profil NetworkManager et remplacer la politique IRQ obsolète |
| Interruptions eth0 | Plusieurs files recevaient sur un CPU et terminaient les émissions sur un autre | Affecter chaque paire RX/TX au même vCPU, comme sur eth1 |
| Distribution en réception | L’ancienne politique eth0 aurait activé RPS sur tous les CPU | Mettre les masques RPS et les nombres d’entrées RFS à zéro pour éviter un transfert logiciel supplémentaire |
| Sélection en émission | eth0 utilisait les masques CPU initiaux du pilote | Appliquer les masques XPS d’eth1 aux deux interfaces, avec correspondance pour les vCPU 2–9 |
| Longueur de file TX eth0 | 1000 |
5000, comme eth1, pour absorber les microbursts |
| Transfert UDP GRO eth0 | Désactivé | Activé, avec GRO list désactivé |
| Maximum IPv4 GRO eth0 | 65536 octets après recréation |
196608 octets, réconciliés par la politique BIG TCP existante de Cilium |
| Persistance | Scripts qui se chevauchaient, dont l’hypothèse d’une file unique | Profils enregistrés et un service IRQ au démarrage; désactiver les anciens services adaptatif et propre à eth1 |
| Essai de limite FQ | Feuilles actives à 100 paquets par flux |
Conserver 100; l’essai à 1000 n’a pas démontré de bénéfice |
L’objectif était d’utiliser les huit files en gardant leur travail près du CPU affecté. Aligner IRQ et XPS peut réduire les transferts inutiles entre CPU; cela ne fixe pas les threads applicatifs et ne prouve pas la disparition des invalidations de cache. Le guide de distribution réseau Linux explique les rôles de RSS, RPS, RFS et XPS.
Responsabilités et persistance
| Responsable | Configuration | Moment d’application |
|---|---|---|
| NetworkManager | Files, anneaux, offloads de checksum et segmentation, UDP GRO et longueur TX | Activation des profils de connexion existants |
fleet-irq-affinity.service |
Cibles CPU des IRQ, masques XPS, désactivation de RPS/RFS | Une fois au démarrage, après NetworkManager et avant k3s |
| Politique sysctl existante | Buffers de sockets, backlog, BBR, FQ par défaut et autres réglages | Démarrage de l’hôte; voir l’instantané daté ci-dessous |
| Cilium | BIG TCP, pacing FQ, routage natif et chemin BPF | Initialisation de l’agent et réconciliation normale de Cilium |
configure-network-profiles.sh sélectionne l’UUID de la connexion active existante de chaque interface et enregistre ses paramètres avec nmcli connection modify. Il ne coupe pas le lien et ne réactive pas la connexion. Les valeurs ont été appliquées à chaud, puis les profils enregistrés ont été relus depuis le disque et vérifiés.
fleet-irq-affinity.service utilise Type=oneshot et RemainAfterExit=yes. Il exécute /usr/local/sbin/fleet-irq-affinity.sh après network-online.target et NetworkManager-wait-online.service, avant k3s.service et k3s-agent.service. Il est activé sous multi-user.target.
irqbalance.service reste masqué. bagelbot-network-performance.service et fleet-eth1-tuning.service sont désactivés. Le hook NetworkManager proposé a été retiré. La vérification manuelle est distincte de la configuration et n’a aucune unité planifiée.
Réglages des interfaces
Les deux interfaces annoncent au maximum huit paires combinées, 1024 descripteurs RX et 256 descripteurs TX. Ces maxima étaient déjà actifs; les profils les rendent explicites et persistants.
| Réglage | Propriété NetworkManager | eth0 | eth1 |
|---|---|---|---|
| Files combinées | ethtool.channels-combined |
8 |
8 |
| Descripteurs RX | ethtool.ring-rx |
1024 |
1024 |
| Descripteurs TX | ethtool.ring-tx |
256 |
256 |
| Checksum RX | ethtool.feature-rx |
on |
on |
| Checksum TX | ethtool.feature-tx |
on |
on |
| Scatter/gather | ethtool.feature-sg |
on |
on |
| Segmentation TCP | ethtool.feature-tso |
on |
on |
| Segmentation générique | ethtool.feature-gso |
on |
on |
| Réception générique | ethtool.feature-gro |
on |
on |
| Transfert UDP GRO | ethtool.feature-rx-udp-gro-forwarding |
on |
on |
| GRO list | ethtool.feature-rx-gro-list |
off |
off |
| Longueur de file TX | link.tx-queue-length |
5000 |
5000 |
| MTU du lien, préservé | Configuration existante | 1500 |
9000 |
eth0 porte le chemin public; eth1 porte le trafic privé des workers et le routage direct de Cilium. Le MTU public n’a pas été augmenté à une taille jumbo. GRO matériel était aussi activé sur les deux interfaces, mais l’installateur ne définit pas explicitement cette option.
Il s’agit de files virtio de la machine virtuelle. L’hyperviseur n’expose pas de table d’indirection RSS configurable : ethtool -x indique que l’opération est indisponible pour la table et la clé. Huit files actives ne donnent pas le contrôle de la table RSS physique ni des threads vhost de l’hôte.
IRQ, XPS et distribution en réception
La même répartition s’applique aux deux interfaces sur les trois workers. Les numéros désignent les vCPU de la machine virtuelle.
| File | CPU cible IRQ RX | CPU cible fin TX | Masque hexadécimal xps_cpus |
CPU utilisant cette file XPS |
|---|---|---|---|---|
| 0 | 2 | 2 | 005 |
0, 2 |
| 1 | 3 | 3 | 008 |
3 |
| 2 | 4 | 4 | 010 |
4 |
| 3 | 5 | 5 | 020 |
5 |
| 4 | 6 | 6 | 040 |
6 |
| 5 | 7 | 7 | 080 |
7 |
| 6 | 8 | 8 | 500 |
8, 10 |
| 7 | 9 | 9 | a00 |
9, 11 |
Chaque file RX a rps_cpus=0 et rps_flow_cnt=0. XPS fondé sur la réception, xps_rxqs, était à zéro; la configuration utilise XPS fondé sur les CPU. Le CPU 1 n’a aucune entrée explicite dans les masques XPS et utilise la sélection d’émission de repli du noyau. Les CPU 0, 10 et 11 partagent les files indiquées avec leur CPU de fin d’émission. Huit paires pour douze vCPU ne permettent pas une paire exclusive par vCPU.
fleet-irq-affinity.sh identifie les périphériques via sysfs et recherche les noms tels que virtioN-input.3 et virtioN-output.3. Les numéros d’IRQ ne sont pas codés en dur. Il exige au moins douze CPU en ligne et exactement huit files RX et TX par interface. Les IRQ du balloon ciblent le CPU 0, celles du stockage le CPU 11. Une IRQ de stockage gérée par le noyau est acceptée seulement si son CPU effectif est déjà 11.
Il s’agit d’affinité des interruptions, sans isolation des CPU. Les threads applicatifs peuvent utiliser tout vCPU autorisé par l’ordonnanceur. Aucun cpuset applicatif, allocation Kubernetes CPU Manager, épinglage physique ou affinité vhost n’a été ajouté. La machine virtuelle annonce un domaine L3 partagé; le placement réel des caches et des nœuds NUMA de l’hôte reste non vérifié.
Routage Cilium, pacing et BIG TCP
La politique existante a été préservée dans deploy/cilium/values.yaml et node-configs.yaml :
| Réglage | Valeur |
|---|---|
bandwidthManager.enabled / bandwidthManager.bbr |
true / true |
bpf.hostRouting / bpf.masquerade |
true / true |
enableIPv4BIGTCP / pmtuDiscovery.enabled |
true / true |
routingMode / autoDirectNodeRoutes |
native / true |
ipv4NativeRoutingCIDR et pool des pods |
10.42.0.0/16 |
kubeProxyReplacement / loadBalancer.serviceTopology |
true / true |
| Interfaces workers / routage direct | eth0 eth1 tailscale0 / eth1 |
| MTU Cilium des workers | 9000; le MTU du lien public eth0 reste 1500 |
| Événements BPF trace / verdict de politique / rejet | Activés / désactivés / activés |
| Hubble / proxy L7 / Envoy | Activé avec relay / désactivé / désactivé |
| Mise à jour progressive Cilium | maxUnavailable: 1 |
Chaque interface a une racine mq et huit feuilles fq. Les paramètres observés étaient limit=10000, flow_limit=100, buckets=32768, horizon=2s et horizon_drop. Le contrôle de congestion TCP de l’hôte reste bbr; le busy polling reste désactivé.
Après le redémarrage progressif des agents Cilium des workers, les deux interfaces avaient gro_ipv4_max_size=196608 et gso_ipv4_max_size=65536. La carte annonce tso_max_size=65536. La limite GRO supérieure regroupe le travail de réception dans la pile; elle n’agrandit pas les paquets publics. Voir les conseils Cilium sur BIG TCP.
Politique réseau existante des hôtes
Le déploiement des files n’a pas remplacé la politique sysctl globale. Voici le contenu observé dans /etc/sysctl.d/99-fleet-network-tuning.conf pendant l’audit. Il décrit les valeurs configurées, sans prétendre que chaque entrée a été comparée indépendamment à toutes les surcharges ultérieures. L’ancien exemple 90-bagelbot-net.conf contient des buffers et un backlog inférieurs; il n’a pas remplacé la politique de la flotte.
net.core.rmem_max = 67108864
net.core.wmem_max = 67108864
net.core.rmem_default = 212992
net.core.wmem_default = 212992
net.core.optmem_max = 2097152
net.ipv4.tcp_rmem = 4096 131072 67108864
net.ipv4.tcp_wmem = 4096 16384 67108864
net.ipv4.udp_rmem_min = 16384
net.ipv4.udp_wmem_min = 16384
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.core.netdev_max_backlog = 65536
net.ipv4.tcp_abort_on_overflow = 0
net.core.netdev_budget = 1200
net.core.netdev_budget_usecs = 8000
net.core.dev_weight = 64
net.core.gro_normal_batch = 16
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.tcp_notsent_lowat = 131072
net.ipv4.tcp_mtu_probing = 1
net.ipv4.tcp_no_metrics_save = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_sack = 1
net.ipv4.tcp_dsack = 1
net.ipv4.tcp_fastopen = 3
net.ipv4.ip_local_port_range = 10240 65535
net.ipv4.ip_local_reserved_ports = 30000-32767
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_tw_buckets = 65536
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_synack_retries = 3
net.core.busy_read = 0
net.core.busy_poll = 0
net.ipv4.tcp_autocorking = 1
net.core.rps_sock_flow_entries = 32768
net.ipv4.neigh.default.gc_thresh1 = 4096
net.ipv4.neigh.default.gc_thresh2 = 8192
net.ipv4.neigh.default.gc_thresh3 = 16384
net.ipv4.conf.eth1.arp_ignore = 1
net.ipv4.conf.eth1.arp_announce = 2
net.ipv4.conf.eth1.rp_filter = 2
net.ipv4.conf.eth1.accept_redirects = 0
net.ipv4.conf.eth1.send_redirects = 0
net.netfilter.nf_conntrack_max = 393216
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 30
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 30
Les buffers sont en octets : maxima de sockets de 64 Mio, backlog de 65536 paquets et budget softirq de 1200 paquets/8000 microsecondes. La table RFS globale reste à 32768, tandis que chaque file a zéro entrée RFS. La présence de cette table ne signifie pas que RFS est activé sur les files. Le filtrage de chemin inverse d’eth0 a retrouvé sa valeur stricte initiale, 1, après les tests.
Validation et limites mesurées
L’audit daté et les résultats lisibles par machine conservent l’environnement, la méthode, les exclusions et les résultats. Il y a eu 101 commandes de mesure terminées. Les tests couvraient chaque paire ordonnée sur les deux interfaces, un et huit flux TCP, CUBIC, BBR bidirectionnel, le stress UDP et des processus UDP épinglés.
| Observation | Résultat |
|---|---|
| TCP eth0 final, huit flux | 6.49–8.67 Gbps selon le sens |
| TCP eth1 après alignement IRQ, huit flux | 8.70–8.98 Gbps |
| BBR bidirectionnel eth1 vérifié | Aller 8.34–8.69 Gbps, retour 7.03–8.58 Gbps simultanément |
| Interruptions après alignement | 50,889,863, aucune hors du CPU affecté à la paire |
| Pertes NIC, qdisc et softnet dans les mesures TCP | Zéro |
| UDP eth0 épinglé, 1 Gbps demandé | 1.00 Gbps reçu, environ 0.044% de pertes |
| UDP eth1 épinglé, 4 Gbps demandés | 4.00 Gbps reçus, aucune perte signalée |
L’alignement IRQ n’a pas démontré une amélioration constante du débit TCP. Les échantillons de défauts de cache à l’échelle de l’hôte n’ont pas non plus démontré de gain; ils ne prouvent pas la disparition des invalidations L1/L2/L3. Le résultat vérifié est le placement des files et la persistance de la configuration.
Le stress UDP à environ 10 Gbps produisait des pertes. Avec un processus par file, node1 → node2 recevait environ 3.19 Gbps sur eth0 et 5.84 Gbps sur eth1. L’émetteur privé n’avait aucune perte qdisc TX, tandis que l’interface du pair recevait beaucoup moins d’octets. Une partie des pertes se situe donc avant l’interface de la machine virtuelle destinataire, sans identifier l’hyperviseur, le commutateur virtuel, le lien physique ou le policer responsable.
L’essai flow_limit=1000 recevait 2.98/5.73 Gbps sur eth0/eth1 avec UDP épinglé, contre 3.19/5.84 à 100. La limite supérieure a été abandonnée. L’essai CUBIC n’a pas non plus justifié de remplacer BBR. Les mesures ne démontrent pas une capacité de 10 Gbps sans pertes.
Vérification manuelle et opérations
Exécutez ces commandes de lecture en root sur un worker, avec ethtool, iproute, NetworkManager et Python 3 installés. Elles examinent l’état courant et les profils enregistrés; elles ne forment pas une boucle de surveillance.
ethtool -l eth0
ethtool -l eth1
ethtool -g eth0
ethtool -g eth1
ethtool -k eth0
ethtool -k eth1
ip -d link show eth0
ip -d link show eth1
tc -s qdisc show dev eth0
tc -s qdisc show dev eth1
systemctl is-enabled fleet-irq-affinity.service
systemctl is-active fleet-irq-affinity.service
/usr/local/sbin/verify-net-queues
verify-queues.py, installé sous /usr/local/sbin/verify-net-queues, vérifie les réglages actifs et enregistrés, les masques IRQ demandés et effectifs, XPS, RPS/RFS, les feuilles FQ, les offloads et les services. Son option --allow-pending-irq sert uniquement à l’installation : la migration effective peut attendre l’interruption suivante. Après du trafic, la validation doit réussir sans cette option.
Le déploiement n’a exigé aucun redémarrage de nœud. Les agents Cilium ont été redémarrés un worker à la fois; tous les workers et agents étaient Ready ensuite. Aucun redémarrage de nœud n’a servi à valider la persistance. Les fichiers initiaux et masques restent dans /var/tmp/bagelbot-netqueues-20261109/ sur chaque worker. L’ancien script contient l’hypothèse d’une file unique; before-runtime.json conserve les masques multiqueues réellement actifs avant la modification.
Les ports de benchmark, règles de pare-feu limitées aux sources, modifications temporaires du filtrage de chemin inverse, timers de nettoyage et pods de diagnostic privilégiés ont été retirés. Les grands compteurs historiques de pertes UDP proviennent de ces tests et ne prouvent pas des pertes de production persistantes.
Poursuivez avec la configuration d’exécution et la mesure des performances. Le répertoire de configuration contient l’installateur, la politique IRQ, l’unité et le validateur manuel.