aankondigingen:2021:c2021d03-software-updates-202102

C2021D03: Software updates februari 2021

Aankondiging: Software onderhoud hosting omgeving

Beste klant/collega,

(Is dit bericht niet goed leesbaar? Bekijk dan de online versie.)

Wij vragen aandacht voor het volgende:

  1. Aankondiging OS upgrade appcluster
  2. NodeJS-10 End-Of-Life
  3. Reguliere software updates

In de week van 25–29 januari zijn OS upgrades in het testcluster uitgevoerd. De status daarvan is op dit moment:

  • In principe doen alle diensten het onder het nieuwe OS (CentOS-8), behalve:
  • nodejs-10, deze geeft op de upload servers nog een foutmelding (Illegal instruction (core dumped)).
  • slapd (openldap), deze heeft nog een certificaat probleem.
  • FTP over IPv6 werkt nog niet

We gaan er vanuit dat de resterende problemen op korte termijn oplosbaar zijn. Sowieso zijn er workarounds mogelijk door deze diensten tijdelijk nog onder het oude OS te draaien.

Vanwege het ietwat spoedeisende karakter van deze OS upgrade willen we de OS upgrade van het appcluster in de week van 8–12 februari uitvoeren. Het schema daarvoor ziet er als volgt uit:

datum tijdstip actie
maandag 8 februari 10:00 – 17:00 OS upgrade van tijdelijk nodes waar geen diensten op draaien en migratie van redundante instances
nacht van maandag 8 op dinsdag 9 februari 1:00 – 2:00 migratie eerste tranche van non-redundante instances naar ge-upgrade tijdelijk nodes
dinsdag 9 februari 10:00 – 17:00 OS upgrade van vrijgekomen nodes en terug-migratie van redundante instances
nacht van dinsdag 9 op woensdag 10 februari 1:00 – 2:00 eerste tranche weer terug naar ge-upgrade oorspronkelijke nodes, en migratie van tweede tranche non-redundante instances naar tijdelijke nodes
woensdag 10 februari 10:00 – 17:00 OS upgrade van vrijgekomen nodes en terug-migratie van redundante instances
nacht van woensdag 10 op donderdag 11 februari 1:00 – 2:00 tweede tranche weer terug naar ge-upgrade oorspronkelijke nodes
donderdag 11 februari 10:00 – 17:00 OS upgrade upload servers
maandag 15 – donderdag 18 februari - ruimte voor uitloop

De impact van al deze acties is als volgt:

  • redundante instances: Denk bijvoorbeeld aan webservers welke geloadbalanced zijn. Hier wordt geen impact verwacht, omdat tijdens de migratie de loabalancing ervoor zorgt dat verkeer naar een instance door andere instances afgehandeld wordt. Deze acties worden overdag uitgevoerd.
  • non-redundante instances: Denk hier aan databases en single-instance java/tomcat zaken. Hier geldt dat de instance enige tientallen seconden (databases) tot enige minuten (java, afhankelijk van hoeveel tijd de applicatie nodig heeft om op te starten) niet bereikbaar is. Deze acties worden 's nachts uitgevoerd
  • upload servers: Hier vindt een failover+failback naar een ander systeem plaats. Gevolg is dat upload sessies (ssh, ftp) tweemaal verbroken worden, maar direct daarna weer opnieuw gemaakt kunnen worden. Deze acties worden overdag uitgevoerd.

Achtergrond mbt OS upgrades

Het appcluster draait op een linux variant genaamd “Scientific Linux (SL)”, wat weer een variant is op “Red Hat Enterprise Linux (RHEL)”. Echter, de versie die we thans draaien, SL-6, is uit support en het is voor ons dus van belang om te migreren naar een nieuwere, wel gesupporte versie. Daarbij is de keuze gevallen op “CentOS”, wat ook weer een variant op RHEL is. De versie die we zullen gaan draaien is Centos-8 Stream, oftewel de meest recente versie op dit moment.

Het appcluster zit zodanig in elkaar dat een upgrade van het onderliggende OS op de gebruikers maar minimale impact heeft. Dat komt omdat alle zaken waar gebruikers mee te maken hebben (webservers, applicatieservers, databases e.d.) ontkoppeld zijn van het onderliggende OS. Het is dus zo dat ondanks dat het OS veranderd wordt, de versies van apache, php, java, tomcat, enz allemaal gelijk blijven. Op die manier zorgen we (vanuit klantperspectief) voor een eenvoudig upgrade pad. Als het goed is hoeft er in de meeste gevallen namelijk helemaal niets aangepast te worden. Slechts in een aantal gevallen kunnen we in het oude en het nieuwe OS niet dezelfde versie van een softwarecomponent leveren. In die gevallen nemen we contact op met de betrokken gebruikers om een zo glad mogelijke transitie te bewerkstelligen.

Per 30 april 2021 is NodeJS-10 End-Of-Life gebruikers hiervan om tijdig over te stappen naar NodeJS-12. De NodeJS-10 gebruikers zullen we de komende periode persoonlijk gaan aanschrijven.

Het software update rooster voor de komende tijd ziet er als volgt uit:

software update ronde uitrol in test gelegenheid tot testen uitrol in productie
Februari 4–5 februari 8–12 februari 15–18 februari
8–12 Februari OS upgrade appcluster
Maart 4–5 maart 8–12 maart 15–18 maart
April 1 april 5–9 april 12–15 april
Mei 29–30 maart 3–7 mei 10–13 mei

De updates worden op 4–5 februari op het testcluster doorgevoerd, waarna de week van 8–12 februari gebruikt kan worden om te testen. In de periode van 15–18 februari worden de updates op de productie-omgevingen doorgevoerd volgens onderstaand schema:

wat impact op van naar
keepalived 0 W 2.2.1 2.2.1
openldap 1 D1 2.4.56 2.4.57
dovecot 1 D1 2.3.11.3 2.3.13
grafana 1 D1 7.3.6 7.3.7
mp4split 0 D1 1.10.18 1.10.28
mod_smooth_streaming 0 D1 1.9.5 1.10.28
php 7.3 0 D2 7.3.26 7.3.27
php 7.4 0 D2 7.4.14 7.4.15
perl 0 D2 5.32.0 5.32.1
tomcat-native 0 D2 1.2.25 1.2.26
ImageMagick 0 D2 7.0.10-55 7.0.10-61
goaccess 0 D2 1.4.3 1.4.5
rclone 0 D2 1.53.3 1.53.4
postfix 0 D2 3.5.8 3.5.9
bind 0 D2 9.11.26 9.11.27
redis 1 D2 6.0.9 6.0.10
OpenJDK8U-jre 2 N3 8u275b01 8u282b08
OpenJDK11U-jre 2 N3 11.0.9_11 11.0.10_9
OpenJDK11U-jdk 2 N3 11.0.9_11 11.0.10_9
mysql-connector-java 2 N3 8.0.22 8.0.23
newrelic-java 2 N3 6.3.0 6.4.0
ActiveMQ 2 N3 5.16.0 5.16.1
keycloak 2 N3 12.0.1 12.0.2
mysql 1 N3 5.7.32 5.7.33
Elastic Search 7.x 0 D3 7.10.1 7.10.2

Veel software kan zonder, of met heel weinig impact ge-update worden. Voor deze zaken kiezen we ervoor om zo'n update overdag uit te voeren. Bij een aantal andere componenten is er iets meer impact merkbaar. Die voeren we uit in een nachtelijks change window. Hieronder is de impact genummerd van 0 (geen impact) via 1 (korte onderbreking van enkele seconden) tot 2 (onderbreking van enkele minuten op de dienstverlening). De tijdstippen zijn als volgt:

code tijdstip
D1 maandag 15 februari 8:00–17:00
D2 dinsdag 16 februari 8:00–12:00
N3 woensdag 17 februari 1:00–6:00 AM
D3 woensdag 17 februari 8:00–17:00
W 15–18 februari 8:00–17:00

Team Hosting&Streaming is gedurende al het onderhoud via de normale kanalen bereikbaar. Zie de contact pagina.

  • aankondigingen/2021/c2021d03-software-updates-202102.txt
  • Last modified: 2024/04/16 07:59
  • by 127.0.0.1