NPO Hosting en Streaming

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
~~META:
title = C2023D04: On-Prem Storage Onderhoud
~~
{{htmlmetatags>
metatag-keywords=(storage onderhoud)
metatag-og:title=(On-Prem Storage Onderhoud)
metatag-og:description=(
	Op woensdag 31 mei overdag en in
	de nacht van 31 mei op 1 juni wordt er onderhoud gepleegd aan de
	on-prem NPO hosting storage omgeving. Gevolg hiervan is dat 
	tussen 1:00 en 3:00 uur de hosting omgeving een
	aantal maal enkele minuten een iets tragere storage zal ervaren,
	waardoor websites in het appcluster misschien even haperen.
	Dit onderhoud heeft geen impact op de OpenShift storage.
	)
}}
====== C2023D04: On-Prem Storage Onderhoud ======
====== Aankondiging: On-Prem Storage onderhoud hosting omgeving ======
Beste klant/collega,

(Is dit bericht niet goed leesbaar? Bekijk dan de [[|online versie]].)

Wij vragen aandacht voor het volgende:
  - On-Prem storage onderhoud

==== On-Prem Storage onderhoud ====
Op woensdag 31 mei overdag en in
de nacht van 31 mei op 1 juni wordt er onderhoud gepleegd aan de
on-prem NPO hosting storage omgeving.

=== Wat gaan we doen ===
Er worden firmware upgrades van de NAS omgevingen
uitgevoerd. Het schema ziet er als volgt uit:
^datum ^tijd	^wat	^impact	^
|woensdag 31 mei	|14:00--16:00	|mediastorage NAS	|geen impact verwacht	|
|nacht van woensdag 31 mei op donderdag 1 juni	|1:00--3:00	|hostingstorage NAS	|websites kunnen enkele malen gedurende enige minuten haperen	|

=== Aanleiding/ achtergrond ===
De NPO storage omgeving bestaat uit twee functionele hoofdcomponenten, te
weten een SAN((Storage Area Network)) en een NAS((Network attached
Storage)). Misschien heb je thuis wel een NAS systeempje staan om je
foto's op te bewaren of om films of muziek mee af te spelen. De NAS
systemen bij de NPO zijn de grote broertjes daarvan. In een NAS zit
normaal een of meerdere harddisks waar de bestanden uiteindelijk
opgeslagen worden. Het grote broertje van een losse harddisk is een SAN,
dat is een hele verzameling van harddisks die via een storage netwerk
aan b.v. een NAS beschikbaar gemaakt worden.

Voor zowel SAN als NAS systemen geldt dat deze ingebakken software
hebben (zogeheten "firmware") en die firmware moet van tijd tot tijd
bijgewerkt worden naar een nieuwere versie waarin bugs opgelost zijn.

In deze ronde worden de NAS systemen van een jaarlijkse upgrade
voorzien. De SAN systemen volgen in een latere ronde.

=== Impact ===
Voor de NAS systemen geldt dat deze elk als clusters bestaande uit twee
nodes draaien. Een firmware upgrade gebeurt node voor node. Tijdens de
upgrade van de ene node wordt de gehele workload tijdelijk even door de
andere node gedaan, waarna de workload weer eerlijk over beide nodes
verdeeld kan worden. Het omschakelen van workload tussen de nodes duurt
ongeveer 10 seconden tot een minuut. Tijdens zo'n omschakeling staat het
ophalen en wegschrijven van bestanden even stil. In geval van websites
en apps kan dat betekenen dat deze tijdelijk een timeout geven.
Omdat er gedurende de nacht meerdere van dit soort overschakelmomenten
nodig zijn kunnen dit soort timeouts een aantal malen gedurende de nacht
plaatsvinden, maar ze zouden per keer nooit langer dan enige seconden
tot een minuut mogen duren.

Voor de mediastorage NAS geldt dat deze bijna niets meer doet, omdat
tegenwoordig de meeste content via een ander CDN wordt uitgespeeld.
De rest-content die bv nog via content.omroep.nl wordt uitgespeeld
bevindt zich grotendeels in lokale on-disk caches van de
uitspeelservers, waardoor de upgrade van de mediastorage NAS zonder
impact kan gebeuren.

=== Bereikbaarheid ===
Team Hosting&Streaming is gedurende het
onderhoud via de normale kanalen bereikbaar. Zie
[[:contact|de contact pagina]]