C2019D12: onderhoud linux systemen NPO Hosting

Aankondiging: onderhoud linux systemen NPO Hosting

Beste Klant / collega

(Is dit bericht niet goed leesbaar? Bekijk dan hier de online versie.)

zoals u in het nieuws heeft kunnen lezen zijn er onlangs een aantal nieuwe beveiligingsproblemen aan het licht gekomen, gezamelijk genaamd “MDS” (Microarchitectural Data Sampling) De impact van dit probleem is dat een kwaadwillende gegevens kan lezen die normaal gesproken niet beschikbaar zijn. Denk aan database credentials, passwords, https secret keys of andere private data.

Vanwege de ernst van dit probleem is er een maatregel genomen waardoor het risico op misbruik geminimaliseerd is, te weten het uitzetten van hyperhtreading. De performance impact die dit heeft blijkt klein genoeg te zijn om op te vangen in het platform. Daarnaast beschikt het NPO hosting platform al geruime tijd over een aantal andere maatregelen om misbruik te voorkomen. (o.a. scheiding tussen code en data en het enkel executeren van code die op een vertrouwde plaats staat, waardoor rootkits e.d. geen kans krijgen)

Ondanks al deze maatregelen is er toch nog een klein risico op misbruik. Daarom gaan we al onze systemen patchen. Hier is een herstart voor nodig, wat in bepaalde gevallen een onderbreking van de dienstverlening zal veroorzaken. Zie voor de planning hieronder

Het herstarten van servers heeft impact in de webhosting omgeving (“het appcluster”) en de testomgeving daarvan (“het testcluster”). In de andere omgevingen kunnen we door middel van loadbalancing en het sturen van verkeer het herstarten van een losse server zonder impact opvangen, maar in de hosting omgeving is dat helaas niet in alle gevallen mogelijk. (denk bijvoorbeeld aan databases die niet dubbel uitgevoerd zijn) In het testcluster kiezen we ervoor om diensten overdag, 1-voor-1 van niet-gepatchte naar wel-gepatchte servers te migreren. Dit levert in geval van databases een korte (« 1 min) en sommige java services een wat langere onderbreking (tot 5 min ) op. Daarna wachten we een week om er zeker van te zijn dat er geen nadelige gevolgen in de patches zitten.

Het appcluster wordt de klok rond gebruikt, maar 's nachts is het rustiger dan overdag, hier kiezen we dus een moment in de nacht. Het herstarten van servers wordt zodanig uitgevoerd dat veel diensten in het geheel geen onderbreking zullen ondervinden, sommige diensten, met name databases 2x een korte (« 1 min) onderbreking en sommige, met name java gebaseerde diensten 2x een wat langere onderbreking (max 5 min) omdat java vaak wat meer tijd nodig heeft om weer op te starten.

wat actie impact wanneer
patch MDS herstart servers testcluster onderbreking in dienstverlening varierend van 0 sec tot 5 min, afhankelijk van type dienst 17 mei 12:00 – 24:00
patch MDS herstart servers mail relays, dns servers en ondersteunende omgevingengeen 27–31 mei 8:00 - 17:00
patch MDS herstart servers appcluster onderbreking in dienstverlening varierend van 0 sec tot 5 min, afhankelijk van type dienst 29 mei 1:00 – 6:00
patch MDS herstart servers streaming omgeving geen 3–14 juni 8:00 – 17:00
  • aankondigingen/2019/c2019d12-mds.txt
  • Last modified: 2019/09/21 22:57
  • (external edit)