NPO Hosting en Streaming

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
~~META:
title = C2018D02: Meltdown
~~
====== C2018D02: Meltdown ======

====== Voorstel klantcommunicatie ======
===== Aankondigingen =====
==== Onderwerp: onderhoud linux systemen NPO Hosting ====
Beste Klant/Collega,

zoals u in het nieuws heeft kunnen lezen zijn er onlangs twee
beveiligingsproblemen aan het licht gekomen, genaamd "Meltdown" en
"Spectre". Ook de NPO Hosting omgeving is hier kwetsbaar voor; de
mogelijkheid bestaat dat een kwaadwillende gegevens kan lezen die
normaal gesproken niet beschikbaar zijn. Denk aan database credentials
of aan andere passwords. Op ons platform zijn op dit moment al
maatregelen actief om misbruik moeilijker te maken, maar vanwege de
ernst van de problemen zullen we op korte termijn extra maatregelen
nemen. Te weten:
  * Alle servers in de clusters worden gepatched. Hier is een herstart voor nodig, wat in bepaalde gevallen een onderbreking van de dienstverlening zal veroorzaken. Zie voor de planning hieronder
  * We maken het moeilijker om willekeurige (kwaadwillende) code uit te voeren die in temp of data directories is geplaatst, door executie vanaf deze plaatsen te verhinderen.
  * Het ''/bin/su'' programma dat gebruikt kan worden om naar een andere user te switchen wordt disabled.

Impact:
Het herstarten van servers heeft impact in de webhosting omgeving ("het
appcluster") en de testomgeving daarvan ("het testcluster"). In de
andere omgevingen kunnen we door middel van loadbalancing en het sturen
van verkeer het herstarten van een losse server zonder impact opvangen,
maar in de hosting omgeving is dat helaas niet in alle gevallen
mogelijk. (denk bijvoorbeeld aan databases die niet dubbel uitgevoerd
zijn)
Het testcluster wordt 's avonds niet of nauwelijks gebruikt, daarom
zullen we servers van deze omgeving in de avond herstarten. Dit heeft
tot gevolg dat de diensten in het testcluster ongeveer een uur niet
beschikbaar zullen zijn.
Het appcluster wordt de klok rond gebruikt, maar 's nachts is het
rustiger dan overdag, hier kiezen we dus een moment in de nacht.
Het herstarten van servers wordt zodanig uitgevoerd dat veel diensten
in het geheel geen onderbreking zullen ondervinden, sommige diensten,
met name databases 2x een korte (<< 1 min) onderbreking en sommige,
met name java gebaseerde diensten 2x een wat langere onderbreking (5-10
min) omdat java vaak wat meer tijd nodig heeft om weer op te starten.

In de media zijn berichten te lezen dat de patch voor Meltdown tot
30% vertraging kan opleveren. Hier zullen wij uiteraard op
monitoren, maar vanwege de opzet van onze clusters verwachten we dat
niet merkbaar gaat zijn in de dienstverlening. We beschikken over
voldoende reservecapaciteit om dit aan te kunnen.

Het verhinderen van het uitvoeren van code vanuit temp of data
directories is op dit moment al actief in het testcluster en wordt na de
herstart van de appcluster servers ook daar actief.

Het disablen van het ''/bin/su'' programma zal ons insziens geen
negatieve impact hebben, omdat gebruikers die via ssh inloggen geen
password hebben en ''su'' dus toch al niet gebruikt kan worden om op deze
manier tussen deze gebruikers te switchen.

Omdat er in deze periode ook nog een aantal andere wijzigingen gepland
waren volgt hier een compleet overzicht van de geplande acties voor deze
en volgende week:
^ datum ^ tijd ^ actie ^ impact ^
| 9 jan | 8:00 - 12:00 | herstart nameserver instanties tbv versie update | geen |
| 9 jan | 8:00 - 12:00 | herstart mailserver instanties tbv versie update | geen |
| 10 jan | 8:00 - 12:00 | herstart oude applicatieserver (apache/php-5.2) instanties tbv versie update | geen |
| 10 jan | 8:00 - 17:00 | OS upgrade testcluster | geen |
| 11 jan | 8:00 - 12:00 | disablen ''/bin/su'' programma | geen |
| 11 jan | 8:00 - 12:00 | herstart nginx webserver instanties tbv versie update | geen |
| 11 jan | 8:00 - 17:00 | OS upgrade mail relays, dns servers en ondersteunende omgevingen | geen |
| 11 jan | 20:00 - 24:00 | herstart servers testcluster ivm Meltdown/Spectre | alle diensten in het testcluster zijn ongeveer een uur niet beschikbaar |
| 12--16 jan | 8:00 - 17:00 | herstart servers mail relays, dns servers en ondersteunende omgevingen ivm Meltdown/Spectre | geen |
| 17 jan | 8:00 - 17:00 | OS upgrade webhosting omgeving (appcluster) | geen |
| 18 jan | 1:00 - 5:00 | herstart servers appcluster  ivm Meltdown/Spectre| onderbreking in dienstverlening varierend van 0 sec tot 10 min, afhankelijk van type dienst |
| 18 jan | 8:00 - 17:00 | OS upgrade streaming omgeving | geen |
| 22--26 jan | 8:00 - 17:00 | herstart servers streaming omgeving ivm Meltdown/Spectre| geen |