Beste allen,

Het geplande onderhoud op Openshift Storage vannacht is niet succesvol afgerond.

Tijdens het onderhoud op het storage cluster hebben we opnieuw last gehad van een drietal outages. Dit zorgde ervoor dat het storage cluster tussen de volgende tijdvensters niet bereikbaar was voor workloads:

• 01:05 - 01:09
• 02:29 - 02:30
• 04:55 - 04:57

Workloads op het Community Hosting Platform die gebruik maken van OpenShift Storage kunnen hierdoor kortstondig last hebben gehad van onbereikbaarheid van data op PVCs.

Helaas ondervonden we weer problemen na het trimmen van de PG Logs. Ondanks de maatregelen die getroffen waren in samenwerking met Red Hat, raakten onze metadataservice pods weer in de problemen.

We zijn teruggevallen op het voorbereide fallback scenario, waardoor we de duur van de outages hebben kunnen beperken. We gaan samen met Red Hat terug naar de tekentafel en onderzoeken waar deze outage door wordt veroorzaakt – de bug blijkt met de getroffen maatregelen niet te zijn opgelost.

We staken verder onderhoud op OpenShift Storage tot we meer duidelijkheid hebben en zullen volgende stappen weer tijdig communiceren.

Voor vragen en opmerkingen is Hosting & Streaming bereikbaar via de reguliere kanalen: https://hosting.omroep.nl/contact.