NPO Hosting en Streaming

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
~~META:
title = C2018D09: L1TF / Foreshadow
~~
====== C2018D09: L1TF / Foreshadow ======

====== Voorstel klantcommunicatie ======
===== Aankondigingen =====
==== Onderwerp: onderhoud linux systemen NPO Hosting ====
Beste Klant/Collega,

zoals u in het nieuws heeft kunnen lezen is er onlangs een nieuw
beveiligingsproblemen aan het licht gekomen, genaamd "L1TF" of "Foreshadow".
Ook de NPO Hosting omgeving is hier kwetsbaar voor; de
mogelijkheid bestaat dat een kwaadwillende gegevens kan lezen die
normaal gesproken niet beschikbaar zijn. Denk aan database credentials
of aan andere passwords. Op ons platform zijn op dit moment al
maatregelen actief om misbruik moeilijker te maken, maar vanwege de
ernst van de problemen zullen we op korte termijn extra maatregelen
nemen. Te weten:
  * Alle servers in de clusters worden gepatched. Hier is een herstart voor nodig, wat in bepaalde gevallen een onderbreking van de dienstverlening zal veroorzaken. Zie voor de planning hieronder
Eerder genomen maatregelen op dit vlak zijn:
  * We maken het moeilijker om willekeurige (kwaadwillende) code uit te voeren die in temp of data directories is geplaatst, door executie vanaf deze plaatsen te verhinderen.
  * Het ''/bin/su'' programma dat gebruikt kan worden om naar een andere user te switchen wordt disabled.

Impact:
Het herstarten van servers heeft impact in de webhosting omgeving ("het
appcluster") en de testomgeving daarvan ("het testcluster"). In de
andere omgevingen kunnen we door middel van loadbalancing en het sturen
van verkeer het herstarten van een losse server zonder impact opvangen,
maar in de hosting omgeving is dat helaas niet in alle gevallen
mogelijk. (denk bijvoorbeeld aan databases die niet dubbel uitgevoerd
zijn)
Het testcluster wordt 's avonds niet of nauwelijks gebruikt, daarom
zullen we servers van deze omgeving in de avond herstarten. Dit heeft
tot gevolg dat de diensten in het testcluster ongeveer een uur niet
beschikbaar zullen zijn.
Het appcluster wordt de klok rond gebruikt, maar 's nachts is het
rustiger dan overdag, hier kiezen we dus een moment in de nacht.
Het herstarten van servers wordt zodanig uitgevoerd dat veel diensten
in het geheel geen onderbreking zullen ondervinden, sommige diensten,
met name databases 2x een korte (<< 1 min) onderbreking en sommige,
met name java gebaseerde diensten 2x een wat langere onderbreking (5-10
min) omdat java vaak wat meer tijd nodig heeft om weer op te starten.

Naast deze herstarts zijn er ook reguliere software updates geplanned.
Bij deze een volledig overzicht:

^ wat ^ actie ^ impact ^ wanneer ^
|patch L1TF	|herstart servers mail relays, dns servers en ondersteunende omgevingen|geen	| 20--24 augustus 8:00 - 17:00 |
|patch L1TF	|herstart servers testcluster	|alle diensten in het testcluster zijn ongeveer een uur niet beschikbaar | 21 augustus 20:00 -- 24:00 |
|patch L1TF	|herstart servers appcluster	|onderbreking in dienstverlening varierend van 0 sec tot 10 min, afhankelijk van type dienst | 23 augustus 1:00 -- 6:00 |
|update apache	|herstart webservers		|geen	|27 augustus 8:00 -- 12:00	|
|update nginx	|herstart webservers		|geen	|27 augustus 8:00 -- 12:00	|
|update php	|herstart applicatieservers	|geen 	|27 augustus 8:00 -- 12:00	|
|update java	|herstart niet geclusterde applicaties als Tomcat, ActiveMQ, Graylog en Junction |ongeveer 1-5 min downtime per instantie |28 augustus 1:00 -- 6:00	|
|update mariadb	|herstart databases		|2 korte onderbrekingen naar de database instanties	|28 augustus 1:00 -- 6:00	|
|update mysql	|herstart databases		|2 korte onderbrekingen naar de database instanties	|28 augustus 1:00 -- 6:00	|
|update memcached|herstart Memcached instanties	|memory caches worden gecleared				|29 augustus 8:00 -- 12:00	|
|update bind	|herstart nameservers		|geen							|29 augustus 8:00 -- 12:00	|
|update unbound	|herstart dns-resolvers		|geen							|29 augustus 8:00 -- 12:00	|
|update java	|herstart wel geclusterde applicaties als Elastic Search	|geen			|29 augustus 13:00 -- 17:00	|
|patch L1TF	|herstart servers streaming omgeving	|geen | 3--14 september september 8:00 -- 17:00 |