C2021D03: Software updates februari 2021
Aankondiging: Software onderhoud hosting omgeving
Beste klant/collega,
(Is dit bericht niet goed leesbaar? Bekijk dan de online versie.)
Wij vragen aandacht voor het volgende:
-
Aankondiging OS upgrade appcluster
-
NodeJS-10 End-Of-Life
-
Reguliere software updates
Aankondiging OS upgrade appcluster
In de week van 25–29 januari zijn OS upgrades in het testcluster uitgevoerd. De status daarvan is op dit moment:
-
In principe doen alle diensten het onder het nieuwe OS (CentOS-8), behalve:
-
nodejs-10, deze geeft op de upload servers nog een foutmelding (Illegal instruction (core dumped)).
-
slapd (openldap), deze heeft nog een certificaat probleem.
-
FTP over IPv6 werkt nog niet
We gaan er vanuit dat de resterende problemen op korte termijn oplosbaar zijn. Sowieso zijn er workarounds mogelijk door deze diensten tijdelijk nog onder het oude OS te draaien.
Vanwege het ietwat spoedeisende karakter van deze OS upgrade willen we de OS upgrade van het appcluster in de week van 8–12 februari uitvoeren. Het schema daarvoor ziet er als volgt uit:
datum | tijdstip | actie |
---|---|---|
maandag 8 februari | 10:00 – 17:00 | OS upgrade van tijdelijk nodes waar geen diensten op draaien en migratie van redundante instances |
nacht van maandag 8 op dinsdag 9 februari | 1:00 – 2:00 | migratie eerste tranche van non-redundante instances naar ge-upgrade tijdelijk nodes |
dinsdag 9 februari | 10:00 – 17:00 | OS upgrade van vrijgekomen nodes en terug-migratie van redundante instances |
nacht van dinsdag 9 op woensdag 10 februari | 1:00 – 2:00 | eerste tranche weer terug naar ge-upgrade oorspronkelijke nodes, en migratie van tweede tranche non-redundante instances naar tijdelijke nodes |
woensdag 10 februari | 10:00 – 17:00 | OS upgrade van vrijgekomen nodes en terug-migratie van redundante instances |
nacht van woensdag 10 op donderdag 11 februari | 1:00 – 2:00 | tweede tranche weer terug naar ge-upgrade oorspronkelijke nodes |
donderdag 11 februari | 10:00 – 17:00 | OS upgrade upload servers |
maandag 15 – donderdag 18 februari | - | ruimte voor uitloop |
De impact van al deze acties is als volgt:
-
redundante instances: Denk bijvoorbeeld aan webservers welke geloadbalanced zijn. Hier wordt geen impact verwacht, omdat tijdens de migratie de loabalancing ervoor zorgt dat verkeer naar een instance door andere instances afgehandeld wordt. Deze acties worden overdag uitgevoerd.
-
non-redundante instances: Denk hier aan databases en single-instance java/tomcat zaken. Hier geldt dat de instance enige tientallen seconden (databases) tot enige minuten (java, afhankelijk van hoeveel tijd de applicatie nodig heeft om op te starten) niet bereikbaar is. Deze acties worden 's nachts uitgevoerd
-
upload servers: Hier vindt een failover+failback naar een ander systeem plaats. Gevolg is dat upload sessies (ssh, ftp) tweemaal verbroken worden, maar direct daarna weer opnieuw gemaakt kunnen worden. Deze acties worden overdag uitgevoerd.
Achtergrond mbt OS upgrades
Het appcluster draait op een linux variant genaamd “Scientific Linux (SL)”, wat weer een variant is op “Red Hat Enterprise Linux (RHEL)”. Echter, de versie die we thans draaien, SL-6, is uit support en het is voor ons dus van belang om te migreren naar een nieuwere, wel gesupporte versie. Daarbij is de keuze gevallen op “CentOS”, wat ook weer een variant op RHEL is. De versie die we zullen gaan draaien is Centos-8 Stream, oftewel de meest recente versie op dit moment.
Het appcluster zit zodanig in elkaar dat een upgrade van het onderliggende OS op de gebruikers maar minimale impact heeft. Dat komt omdat alle zaken waar gebruikers mee te maken hebben (webservers, applicatieservers, databases e.d.) ontkoppeld zijn van het onderliggende OS. Het is dus zo dat ondanks dat het OS veranderd wordt, de versies van apache, php, java, tomcat, enz allemaal gelijk blijven. Op die manier zorgen we (vanuit klantperspectief) voor een eenvoudig upgrade pad. Als het goed is hoeft er in de meeste gevallen namelijk helemaal niets aangepast te worden. Slechts in een aantal gevallen kunnen we in het oude en het nieuwe OS niet dezelfde versie van een softwarecomponent leveren. In die gevallen nemen we contact op met de betrokken gebruikers om een zo glad mogelijke transitie te bewerkstelligen.
NodeJS-10 End-Of-Life
Per 30 april 2021 is NodeJS-10 End-Of-Life gebruikers hiervan om tijdig over te stappen naar NodeJS-12. De NodeJS-10 gebruikers zullen we de komende periode persoonlijk gaan aanschrijven.
Software update rooster
Het software update rooster voor de komende tijd ziet er als volgt uit:
software update ronde | uitrol in test | gelegenheid tot testen | uitrol in productie |
---|---|---|---|
Februari | 4–5 februari | 8–12 februari | 15–18 februari |
8–12 Februari | OS upgrade appcluster | ||
Maart | 4–5 maart | 8–12 maart | 15–18 maart |
April | 1 april | 5–9 april | 12–15 april |
Mei | 29–30 maart | 3–7 mei | 10–13 mei |
Reguliere software updates
De updates worden op 4–5 februari op het testcluster doorgevoerd, waarna de week van 8–12 februari gebruikt kan worden om te testen. In de periode van 15–18 februari worden de updates op de productie-omgevingen doorgevoerd volgens onderstaand schema:
wat | impact | op | van | naar |
---|---|---|---|---|
keepalived | 0 | W | 2.2.1 | 2.2.1 |
openldap | 1 | D1 | 2.4.56 | 2.4.57 |
dovecot | 1 | D1 | 2.3.11.3 | 2.3.13 |
grafana | 1 | D1 | 7.3.6 | 7.3.7 |
mp4split | 0 | D1 | 1.10.18 | 1.10.28 |
mod_smooth_streaming | 0 | D1 | 1.9.5 | 1.10.28 |
php 7.3 | 0 | D2 | 7.3.26 | 7.3.27 |
php 7.4 | 0 | D2 | 7.4.14 | 7.4.15 |
perl | 0 | D2 | 5.32.0 | 5.32.1 |
tomcat-native | 0 | D2 | 1.2.25 | 1.2.26 |
ImageMagick | 0 | D2 | 7.0.10-55 | 7.0.10-61 |
goaccess | 0 | D2 | 1.4.3 | 1.4.5 |
rclone | 0 | D2 | 1.53.3 | 1.53.4 |
postfix | 0 | D2 | 3.5.8 | 3.5.9 |
bind | 0 | D2 | 9.11.26 | 9.11.27 |
redis | 1 | D2 | 6.0.9 | 6.0.10 |
OpenJDK8U-jre | 2 | N3 | 8u275b01 | 8u282b08 |
OpenJDK11U-jre | 2 | N3 | 11.0.9_11 | 11.0.10_9 |
OpenJDK11U-jdk | 2 | N3 | 11.0.9_11 | 11.0.10_9 |
mysql-connector-java | 2 | N3 | 8.0.22 | 8.0.23 |
newrelic-java | 2 | N3 | 6.3.0 | 6.4.0 |
ActiveMQ | 2 | N3 | 5.16.0 | 5.16.1 |
keycloak | 2 | N3 | 12.0.1 | 12.0.2 |
mysql | 1 | N3 | 5.7.32 | 5.7.33 |
Elastic Search 7.x | 0 | D3 | 7.10.1 | 7.10.2 |
Legenda
Veel software kan zonder, of met heel weinig impact ge-update worden. Voor deze zaken kiezen we ervoor om zo'n update overdag uit te voeren. Bij een aantal andere componenten is er iets meer impact merkbaar. Die voeren we uit in een nachtelijks change window. Hieronder is de impact genummerd van 0 (geen impact) via 1 (korte onderbreking van enkele seconden) tot 2 (onderbreking van enkele minuten op de dienstverlening). De tijdstippen zijn als volgt:
code | tijdstip |
---|---|
D1 | maandag 15 februari 8:00–17:00 |
D2 | dinsdag 16 februari 8:00–12:00 |
N3 | woensdag 17 februari 1:00–6:00 AM |
D3 | woensdag 17 februari 8:00–17:00 |
W | 15–18 februari 8:00–17:00 |
Bereikbaarheid
Team Hosting&Streaming is gedurende al het onderhoud via de normale kanalen bereikbaar. Zie de contact pagina.