Beste allen,

Het geplande onderhoud op Openshift Storage vannacht is niet succesvol afgerond.

Tijdens het onderhoud op het storage cluster hebben we opnieuw last gehad van een drietal outages. Dit zorgde ervoor dat het storage cluster tussen de volgende tijdvensters niet bereikbaar was voor workloads:

• 01:18 - 01:31
• 01:54 – 01:55
• 02:14 – 02:15

Workloads op het Community Hosting Platform die gebruik maken van OpenShift Storage kunnen hierdoor kortstondig last hebben gehad van onbereikbaarheid van data op PVCs.

Helaas ondervonden we problemen met onze metadataservice pods. Dit werd veroorzaakt door het aanzetten van de debug logging.

We zijn teruggevallen op het voorbereide fallback scenario, waardoor we de duur van de outages hebben kunnen beperken. In samenwerking met Red Hat hebben we tijdens deze gebeurtenissen uitgebreide logs kunnen verzamelen die input geven aan het lopende onderzoek.

We staken verder onderhoud op OpenShift Storage en wachten de analyse van de Red Hat engineers af. We zullen volgende stappen weer tijdig communiceren.

Voor vragen en opmerkingen is Hosting & Streaming bereikbaar via de reguliere kanalen: https://hosting.omroep.nl/contact.