NPO Hosting en Streaming

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
~~META:
title = C2019D12: onderhoud linux systemen NPO Hosting
~~
{{htmlmetatags>
metatag-keywords=(software update)
metatag-og:title=(onderhoud linux systemen NPO Hosting)
metatag-og:description=(
	Recent is een nieuw beveiligingsprobleem genaamd "MDS"
	(Microarchitectural Data Sampling) aan het licht gekomen. Omdat
	de NPO Hosting omgeving hier kwetsbaar voor was, is er een
	tegenmaatregel genomen, te weten het uitzetten van
	hyperthreading. Hiermee is het grootste risico weggenomen. Om
	eventuele resterende risico's af te dekken zullen alle systemen
	ge-update en herstart worden. Dit gaat samen met een 
	korte onderbreking in de dienstverlening van niet redundant uitgevoerde
	services zoals databases en sommige java instances.
	Dit vindt in de testomgeving plaats op vrijdag 17 mei gedurende de dag en
	in de productieomgeving in de nacht van 28 op 29 mei.
	)
}}
====== C2019D12: onderhoud linux systemen NPO Hosting ======
===== Aankondigingen ======
==== Aankondiging: onderhoud linux systemen NPO Hosting ====
Beste Klant / collega

(Is dit bericht niet goed leesbaar? Bekijk dan [[|hier]] de online versie.)

zoals u in het nieuws heeft kunnen lezen zijn er onlangs een aantal nieuwe
beveiligingsproblemen aan het licht gekomen, gezamelijk genaamd "MDS"
([[https://www.kernel.org/doc/html/latest/x86/mds.html#mds|Microarchitectural Data Sampling]])
De impact van dit probleem is dat een kwaadwillende gegevens kan lezen die
normaal gesproken niet beschikbaar zijn. Denk aan database credentials,
passwords, https secret keys of andere private data.

Vanwege de ernst van dit probleem is er een maatregel genomen waardoor het
risico op misbruik geminimaliseerd is, te weten het uitzetten van
hyperhtreading.
De performance impact die dit heeft blijkt klein genoeg te zijn om op te
vangen in het platform.
Daarnaast beschikt het NPO hosting platform al geruime tijd over een
aantal andere maatregelen om misbruik te voorkomen. (o.a. scheiding tussen
code en data en het enkel executeren van code die op een vertrouwde
plaats staat, waardoor rootkits e.d. geen kans krijgen)

Ondanks al deze maatregelen is er toch nog een klein risico op misbruik.
Daarom gaan we al onze systemen patchen. Hier is een herstart voor nodig,
wat in bepaalde gevallen een onderbreking van de dienstverlening zal
veroorzaken. Zie voor de planning hieronder

Het herstarten van servers heeft impact in de webhosting omgeving ("het
appcluster") en de testomgeving daarvan ("het testcluster"). In de
andere omgevingen kunnen we door middel van loadbalancing en het sturen
van verkeer het herstarten van een losse server zonder impact opvangen,
maar in de hosting omgeving is dat helaas niet in alle gevallen
mogelijk. (denk bijvoorbeeld aan databases die niet dubbel uitgevoerd
zijn)
In het testcluster kiezen we ervoor om diensten overdag, 1-voor-1
van niet-gepatchte naar wel-gepatchte servers te migreren. Dit levert
in geval van databases een korte (<< 1 min) en sommige java services
een wat langere onderbreking (tot 5 min ) op. Daarna wachten we een week
om er zeker van te zijn dat er geen nadelige gevolgen in de patches
zitten.

Het appcluster wordt de klok rond gebruikt, maar 's nachts is het
rustiger dan overdag, hier kiezen we dus een moment in de nacht.
Het herstarten van servers wordt zodanig uitgevoerd dat veel diensten
in het geheel geen onderbreking zullen ondervinden, sommige diensten,
met name databases 2x een korte (<< 1 min) onderbreking en sommige,
met name java gebaseerde diensten 2x een wat langere onderbreking (max 5
min) omdat java vaak wat meer tijd nodig heeft om weer op te starten.

^ wat ^ actie ^ impact ^ wanneer ^
|patch MDS      |herstart servers testcluster   |onderbreking in dienstverlening varierend van 0 sec tot 5 min, afhankelijk van type dienst | 17 mei 12:00 -- 24:00 |
|patch MDS      |herstart servers mail relays, dns servers en ondersteunende omgevingen|geen    | 27--31 mei 8:00 - 17:00 |
|patch MDS      |herstart servers appcluster    |onderbreking in dienstverlening varierend van 0 sec tot 5 min, afhankelijk van type dienst | 29 mei 1:00 -- 6:00 |
|patch MDS      |herstart servers streaming omgeving    |geen | 3--14 juni 8:00 -- 17:00 |