Beste allen,

In navolging op de storing in het storage cluster op 26 april zullen we in de nacht van dinsdag 27 op woensdag 28 juni in samenwerking met Red Hat onderhoud uitvoeren op 4 OSD pods.

Vanaf 01:00 uur zullen we de binaire logs trimmen die hebben geleid tot eerder uit memory geraakte pods (https://bugzilla.redhat.com/show_bug.cgi?id=2139353). Dit houdt in dat de memory allocatie voor deze logs zal worden verkleind. Hiermee voorkomen we een herhaling van het uit memory lopen bij onderhoud aan het storage cluster. De werkzaamheden zullen worden uitgevoerd op 3 OSD pods en ongeveer 3 uur in beslag nemen. Zodra deze logs getrimd zijn, zullen we de laatste OSD vervangen die nog draait op een oude configuratie. Met deze laatste actie zorgen we ervoor dat we het OpenShift cluster weer zonder problemen kunnen upgraden. Deze acties moeten opeenvolgend worden uitgevoerd.

De werkzaamheden worden gecontroleerd uitgevoerd per OSD pod. We houden in de gaten of de pods weer gezond online komen en bereikbaar zijn voor de applicaties in het storage cluster. Data is redundant (x3) uitgevoerd en zal bij het onderhoud beschikbaar zijn via de overgebleven twee replicas. We hebben samen met Red Hat maatregelen getroffen om problemen met onze metadataserver pods in het storage cluster te voorkomen.

Middel. We kunnen eventueel problemen ervaren na het trimmen van de binaire logs. Ook kan er lichte latency worden ervaren bij het benaderen van het storage cluster tijdens het vervangen van de laatste OSD.

Het onderhoud wordt gecontroleerd in samenwerking met Red Hat uitgevoerd. Red Hat heeft een bug gevonden in OpenShift Data Foundation die ten grondslag ligt aan de problemen van afgelopen half jaar. Om herhaling van deze problemen te voorkomen zijn reeds een aantal configuratiewijzigingen doorgevoerd. Mochten we tijdens het trimmen van de logs echter weer tegen beschikbaarheidsproblemen aanlopen, dan hebben we een fallback scenario klaarliggen om het cluster zo snel mogelijk weer gezond te krijgen. In dit laatste geval zou de storage voor zeer korte duur onbereikbaar zijn.

Voor vragen en opmerkingen is Hosting & Streaming bereikbaar via de reguliere kanalen: https://hosting.omroep.nl/contact.