NPO Hosting en Streaming

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
~~META:
title = C2026D25: Netboot kernel updates spoedonderhoud
~~
{{htmlmetatags>
metatag-keywords=(netboot kernel updates spoedonderhoud)
metatag-og:title=(Netboot kernel updates spoedonderhoud)
metatag-og:description=(
	Op vrijdag 30 oktober 2026 heeft er spoedonderhoud
	plaatsgevonden aan het on-prem "netboot" hosting platform
	in verband met CVE-2026-98432; een linux kernel probleem met een
	CVSS score van 9.8 op een schaal van 1 tot 10.
	Alle servers zijn voorzien van een kernel
	update en dientengevolge gereboot.
	In het weekend volgen nog reboots van het icecast platform.
	Zowel de reeds uitgevoerde als de nog uit te voeren reboots zijn
	zonder impact voor de afnemers.

	)
}}
====== C2026D25: Netboot kernel updates spoedonderhoud ======
Beste klant/collega,

(Is dit bericht niet goed leesbaar? Bekijk dan de [[|online versie]].)

Op vrijdag 30 oktober 2026 heeft er spoedonderhoud
plaatsgevonden aan het on-prem "netboot" hosting platform
in verband met
[[https://thehackernews.com/2026/10/linux-kernel-tcp-flaw-with-98-cvss.html|CVE-2026-98432]];
een linux kernel probleem met een
CVSS score van 9.8 op een schaal van 1 tot 10.
Alle servers zijn voorzien van een kernel
update en dientengevolge gereboot.
In het weekend volgen nog reboots van het icecast platform.
Zowel de reeds uitgevoerde als de nog uit te voeren reboots zijn
zonder impact voor de afnemers.

====== Planning ======
Het schema was/is als volgt:
^datum	^tijd		^omgeving	^verwachte impact^diensten die hier draaien	^
|30 okt	|10:00--18:00	|backendcluster	|geen	|DNS ondersteunende diensten + interne statistieken / graphing	|
|30 okt	|10:00--18:00	|proxycluster	|geen	|tickets.omroep.nl, vmvproxy.omroep.nl, wonweb.npo.nl, *-scaliaproxy.omroep.nl, authoritative DNS, NTP	|
|30 okt	|10:00--18:00	|dnscluster	|geen	|dns resolving	|
|30 okt	|10:00--18:00	|webcluster	|geen	|redir.omroep.nl, maildiensten, authoritative DNS, NTP	|
|30 okt |10:00--18:00	|mediacluster	|geen	|ARLA, audiodescriptie, Icecast ingest|
|31 okt	|15:00--16:00	|mediacluster 	|geen	|Icecast playout (deel 1)	|
|1 nov  |15:00--16:00	|mediacluster	|geen	|Icecast playout (deel 2)	|
|2 nov  |11:00--12:00	|encoders	|geen	|audio encoders tbv Icecast|

====== Mogelijke impact ======
Impact: klein.
Bijna alle systemen draaien in een High Availability of Load Balancing
setup. Dat betekent dat een individueel systeem gereboot kan worden,
zonder dat het impact voor de dienstverlening heeft.
Al deze reboots vinden dan ook gedurende kantoortijden of overdag plaats.

====== Risico ======
Het risico van alle individuele reboots is klein.

====== Mitigerende maatregelen ======
De volgende maatregelen zijn genomen:
  - De bulk van de diensten is zodanig ingericht dat er geen single
  point of faillure is, en dat dus de onderliggende servers gereboot
  kunnen worden zonder dat dit impact voor de dienst heeft.
  - Deze reboot ronde wordt +/- 1x per jaar uitgevoerd. Dus er is
  ervaring en eventuele knelpunten zijn bekend.
  - De reboots zijn voorafgaande aan de daadwerkelijke
  change ook uitgerold in de interne test- en beheeromgevingen, zodat
  eventuele problemen in een vroeg stadium aan het licht hadden kunnen
  komen. (als ze er geweest waren)
  - Er is een rollback scenario, wat eenvoudig uitgevoerd kan worden
  indien nodig.

====== Voor de technische lezer ======
De directe aanleiding voor deze reboot ronde is
[[https://thehackernews.com/2026/10/linux-kernel-tcp-flaw-with-98-cvss.html|CVE-2026-98432]].
Dit is een remote code execution, waarbij de aanvaller bovendien meteen
root (="superuser") kan worden op het aangevallen systeem, door enkel een
TCP connectie te openen naar het aan te vallen systeem.

Het goede nieuws is dat er alleen een bekende exploit is voor diensten
die "Multipath TCP" (MPTCP) doen. Dit is een vorm van TCP waarbij 1 TCP
datastroom over meerdere netwerk interfaces tegelijkertijd kan lopen,
wat performance voordelen kan hebben.

Het netboot platform is gemaakt vanuit de gedachte "wat er niet op zit
kan ook niet stuk gaan". Omdat in onze setting MPTCP niet zoveel
toevoegt heeft deze kernel optie in netboot altijd uitgestaan.
En daarom heeft het netboot platform dus geen direct risico gelopen voor
een MPTCP gebaseerde aanval.

Echter, dat is geen garantie voor 100% veiligheid.
In een [[https://www.openwall.com/lists/oss-security/2026/10/30/1|post]]
op een security mailinglist wordt gesteld dat:
> While the demonstrated exploit requires the target system to expose an MPTCP 
> listener, the underlying bug is not specific to MPTCP. It is possible that 
> systems with no MPTCP listeners are vulnerable to similar attacks.
Om zoveel mogelijk risico's uit te sluiten hebben we besloten toch het
netboot platform zo snel mogelijk te rebooten, wat in de loop van
vrijdag 30 oktober dan ook gebeurd is.

Alle icecast servers krijgen nog 1 of 2 dagen respijt. Die worden dit
weekend gereboot. Hoewel ze evenveel (of even weinig) risico lopen als
de rest van de systemen is het zo dat we deze servers niet kunnen
rebooten zonder alle connected luisteraars te disconnnecten.
Inplaats daarvan kiezen we ervoor om connecties 24 uur de tijd te geven
om uit te sterven (wat vanzelf gebeurt als mensen bv 's avonds hun
hardware radio player uitzetten en de volgende ochtend weer aanzetten;
ze connecten dan opnieuw, maar potentieel met een andere server).
Dit is --denken we-- de beste afweging tussen risico en impact.

Tot slot zijn er nog 2 icecast encoders. Deze systemen zijn niet
bereikbaar vanaf het internet en lopen in dit geval dus minder risico.
Maar om onvoorziene zaken uit te sluiten worden deze in de loop van
komende week ook gereboot. Dit kan om-en-om en lever geen onderbreking
van de icecast dienstverlening op.

===== Bereikbaarheid =====
Team Hosting&Streaming is gedurende het
onderhoud via de normale kanalen bereikbaar. Zie
[[:contact|de contact pagina]]