C2018D02: Meltdown

Voorstel klantcommunicatie

Onderwerp: onderhoud linux systemen NPO Hosting

Beste Klant/Collega,

zoals u in het nieuws heeft kunnen lezen zijn er onlangs twee beveiligingsproblemen aan het licht gekomen, genaamd “Meltdown” en “Spectre”. Ook de NPO Hosting omgeving is hier kwetsbaar voor; de mogelijkheid bestaat dat een kwaadwillende gegevens kan lezen die normaal gesproken niet beschikbaar zijn. Denk aan database credentials of aan andere passwords. Op ons platform zijn op dit moment al maatregelen actief om misbruik moeilijker te maken, maar vanwege de ernst van de problemen zullen we op korte termijn extra maatregelen nemen. Te weten:

  • Alle servers in de clusters worden gepatched. Hier is een herstart voor nodig, wat in bepaalde gevallen een onderbreking van de dienstverlening zal veroorzaken. Zie voor de planning hieronder
  • We maken het moeilijker om willekeurige (kwaadwillende) code uit te voeren die in temp of data directories is geplaatst, door executie vanaf deze plaatsen te verhinderen.
  • Het /bin/su programma dat gebruikt kan worden om naar een andere user te switchen wordt disabled.

Impact: Het herstarten van servers heeft impact in de webhosting omgeving (“het appcluster”) en de testomgeving daarvan (“het testcluster”). In de andere omgevingen kunnen we door middel van loadbalancing en het sturen van verkeer het herstarten van een losse server zonder impact opvangen, maar in de hosting omgeving is dat helaas niet in alle gevallen mogelijk. (denk bijvoorbeeld aan databases die niet dubbel uitgevoerd zijn) Het testcluster wordt 's avonds niet of nauwelijks gebruikt, daarom zullen we servers van deze omgeving in de avond herstarten. Dit heeft tot gevolg dat de diensten in het testcluster ongeveer een uur niet beschikbaar zullen zijn. Het appcluster wordt de klok rond gebruikt, maar 's nachts is het rustiger dan overdag, hier kiezen we dus een moment in de nacht. Het herstarten van servers wordt zodanig uitgevoerd dat veel diensten in het geheel geen onderbreking zullen ondervinden, sommige diensten, met name databases 2x een korte (« 1 min) onderbreking en sommige, met name java gebaseerde diensten 2x een wat langere onderbreking (5-10 min) omdat java vaak wat meer tijd nodig heeft om weer op te starten.

In de media zijn berichten te lezen dat de patch voor Meltdown tot 30% vertraging kan opleveren. Hier zullen wij uiteraard op monitoren, maar vanwege de opzet van onze clusters verwachten we dat niet merkbaar gaat zijn in de dienstverlening. We beschikken over voldoende reservecapaciteit om dit aan te kunnen.

Het verhinderen van het uitvoeren van code vanuit temp of data directories is op dit moment al actief in het testcluster en wordt na de herstart van de appcluster servers ook daar actief.

Het disablen van het /bin/su programma zal ons insziens geen negatieve impact hebben, omdat gebruikers die via ssh inloggen geen password hebben en su dus toch al niet gebruikt kan worden om op deze manier tussen deze gebruikers te switchen.

Omdat er in deze periode ook nog een aantal andere wijzigingen gepland waren volgt hier een compleet overzicht van de geplande acties voor deze en volgende week:

datum tijd actie impact
9 jan 8:00 - 12:00 herstart nameserver instanties tbv versie update geen
9 jan 8:00 - 12:00 herstart mailserver instanties tbv versie update geen
10 jan 8:00 - 12:00 herstart oude applicatieserver (apache/php-5.2) instanties tbv versie update geen
10 jan 8:00 - 17:00 OS upgrade testcluster geen
11 jan 8:00 - 12:00 disablen /bin/su programma geen
11 jan 8:00 - 12:00 herstart nginx webserver instanties tbv versie update geen
11 jan 8:00 - 17:00 OS upgrade mail relays, dns servers en ondersteunende omgevingen geen
11 jan 20:00 - 24:00 herstart servers testcluster ivm Meltdown/Spectre alle diensten in het testcluster zijn ongeveer een uur niet beschikbaar
12–16 jan 8:00 - 17:00 herstart servers mail relays, dns servers en ondersteunende omgevingen ivm Meltdown/Spectre geen
17 jan 8:00 - 17:00 OS upgrade webhosting omgeving (appcluster) geen
18 jan 1:00 - 5:00 herstart servers appcluster ivm Meltdown/Spectre onderbreking in dienstverlening varierend van 0 sec tot 10 min, afhankelijk van type dienst
18 jan 8:00 - 17:00 OS upgrade streaming omgeving geen
22–26 jan 8:00 - 17:00 herstart servers streaming omgeving ivm Meltdown/Spectre geen
  • aankondigingen/2018/cve-2017-5754-meltdown.txt
  • Last modified: 2019/05/28 10:47
  • (external edit)