NPO Hosting en Streaming

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
~~META:
title = C2023D11: Software updates november 2023
~~
{{htmlmetatags>
metatag-keywords=(software update)
metatag-og:title=(Software updates november 2023)
metatag-og:description=(
	In de periode van 20--23 november worden er software updates in de
	NPO hosting omgeving uitgevoerd. Het betreft:
	apache, bind, clamav, dovecot, elasticsearch, git, goaccess, icecast,
	imagemagick, iptables, keepalived, memcached, mod_smooth_streaming,
	mp4split, nginx, java, openssh, passenger, postfix, php, python,
	rclone, redis, ruby, syslog-ng, unbound, en unrar.

	Verder aankondigingen betreffende
	End-Of-Life appcluster en download.omroep.nl,
	de vorm van deze aankondigingen en
	uitstel End-Of-Life elasticsearch-7
)
}}
====== C2023D08: Software updates november 2023 ======
====== Aankondiging: Software onderhoud on-prem hosting omgeving ======
Beste klant/collega,

(Is dit bericht niet goed leesbaar? Bekijk dan de [[|online versie]].)

Wij vragen aandacht voor het volgende:
  - End-Of-Life appcluster en download.omroep.nl
  - de vorm van deze aankondigingen
  - uitstel End-Of-Life elasticsearch-7

==== End-Of-Life appcluster en download.omroep.nl ====
Inmiddels zijn we zo ver dat er geen diensten meer op het appcluster
draaien. Geen diensten? Nou, er is nog één dingetje dat dapper weerstand
biedt. (er bleek nog op onverwachte wijze gebruik gemaakt te worden van
de oude upload server, ''upload-sites.omroep.nl'') We verwachten dat dit
op korte termijn omgezet kan worden en dat daarna het appcluster echt
he-le-maal uit kan.

In het geval van het download/content platform schreven we eerder:
> het is zo dat er geen ons
> bekende gebruikers meer zijn. Maar, omdat dit platform al zo lang
> bestaat is er nog wel wat legacy gebruik. In de komende periode proberen
> we te identificeren wat dat is en waar mogelijk zullen we de betreffende
> omroepen aanschrijven of dit gebruik bekend is en hoe relevant het nog
> is.

Hier zijn we nog niet aan toegekomen, dit volgt later.

We we //wel// kunnen melden is dat we ook nog een oud archief van
streaming media beheren (Realmedia + Windows Media). Dit is te vinden
onder ''/e/ap/media'' op ''upload.omroep.nl''. De content die hier staat
wordt al sinds jaren niet meer uitgeserveerd, maar de data zelf is nooit
verwijderd. Dit archief is aangeboden bij Beeld en Geluid om na te gaan
of zij daar iets mee kunnen. Op dit moment ligt het daar ter beoordeling
of er -delen van- het archief opgenomen gaan worden in het Beeld en
Geluid archief. Maar, de kans daarop is niet groot. Bijna alle metadata
ontbreekt namelijk en de content is (vanwege de hoge leeftijd) in hele
lage resolutie. Aan de andere kant: omdat dit content betreft uit het
begin van het streaming tijdperk (grofweg vanaf 1988) zouden er
interessante dingen tussen kunnen staan en willen we deze content niet
zomaar verwijderen.

==== Over de vorm van deze aankondigingen ====
Deze aankondigingen zijn ooit begonnen om te informeren over software
updates in de on-premise hosting omgeving ("het appcluster"). Later zijn
daar als een soort voetnoot de updates van de door team H&S geleverde
images in CHP bijgekomen.
Inmiddels zitten we in de situatie dat het appcluster zo goed als uit
staat met hier en daar wat noodopvang in andere clusters.

Maar, de on-premise omgeving is breder dan alleen het appcluster.
Er zijn nog een aantal andere clusters (o.a. mediacluster, DNS cluster,
mail cluster) Hierin draaien o.a. [[https://arla.npostreaming.nl|ARLA]],
het Content Platform, DNS registratie en DNS resolving en time services
(NTP). Dat lift allemaal mee op de software versies die in deze
aankondigingen gecommuniceerd worden.

Vandaar dat we nog even deze vorm aan blijven houden, zodat als er
bijvoorbeeld opeens een probleem met -zeg- ARLA geconstateerd mocht
worden, dit al-dan-niet gelinked kan worden aan een b.v. een PHP
upgrade.

==== uitstel End-Of-Life elasticsearch-7 ====
In een eerdere aankondiging schreven we al:
> > Vanaf 10 augustus 2023 is elasticsearch-7
> > [[https://hosting.omroep.nl/eol-kalender#elasticsearch|End-Of-Life]]
> > 
> > Dit valt na de End-Of-Life datum van het appcluster zelf, te weten 30
> > juni 2023.
> > Echter, mocht dat gaan opschuiven dan kan dat dus interfereren met
> > de EOL datum van elasticsearch. Uit ervaring weten wij dat elastic
> > search upgrades vaak best complex kunnen zijn. Code moet aangepast
> > worden, indices moeten opnieuw opgebouwd worden en er is best wat tijd
> > voor testen nodig. Begin hier dus op tijd mee!
> 
> Omdat het appcluster op 10 augustus nog aanstaat gaat dit inderdaad
> interfereren. Maar omdat de betreffende applicaties bijna over zijn naar
> CHP heeft het weinig nut om in het appcluster nog een elasticsearch
> upgrade uit te gaan rollen. We houden elasticsearch in het appcluster
> aan tot 1 september 2023.

Inmiddels is de EOL date vanuit de makers van ElasticSearch aangepast.
De website zegt nu: [[https://www.elastic.co/support/eol|The later of
2023-08-01 or the release date of 9.0.0]].

Wij houden elasticsearch-7 aan tot 1 december 2023. We hopen en
verwachten dat tegen die tijd de laatste elasticsearch gebruikers ook
over zijn naar CHP.

===== Software update rooster =====
Het software update rooster voor de komende tijd ziet er als volgt uit:

^weeknr	^Actie					^uitrol in test	^gelegenheid tot testen	^uitrol in productie	^
^2023 ^^^^
|47	|software updates November		|8--10 november		|13--17 november	|20--23 november	|

Ook in 2024 zullen er nog software udates in de on-prem omgeving
plaatsvinden (voor zaken als ARLA, icecast, DNS e.d.) De komende tijd
gaan we er ons op beraden in wat voor vorm en frequentie dat uitgevoerd
gaat worden.

===== Reguliere software updates =====
De updates worden op 8--10 november op het testcluster doorgevoerd.
waarna de week van 13--17 juli gebruikt kan worden om te testen, waar
nog van toepassing.
In de periode van 20--23 november worden de updates op de
productie-omgevingen doorgevoerd.

==== CHP ====
**Vetgedrukte** items zijn geüpdate.

^image						^alpine versie	^tags						^wat is het	^
|**registry.npohosting.nl/npohosting/base**	|**3.18.4**	|**[[https://alpinelinux.org/releases/|3.18.4, 3.18, latest]]**	|[[https://alpinelinux.org/|Alpine linux]]	|
|**registry.npohosting.nl/npohosting/base-jre**	|**3.18.4**	|**[[https://alpinelinux.org/releases/|3.18.4, 3.18, latest]]**	|[[https://alpinelinux.org/releases/|Alpine linux]] + openjdk8-jre	|
|**registry.npohosting.nl/npohosting/nginx**	|**3.18.4**	|**[[http://nginx.org/en/CHANGES|1.25.3, 1.25, latest]]**	|base + [[http://nginx.org/|nginx]] + nginx modules	|
|**registry.npohosting.nl/npohosting/php-fpm**	|3.16.7		|[[https://www.php.net/ChangeLog-8.php#8.0.30|8.0.30, 8.0]]	|base + [[https://www.php.net/|php]] + extensies	|
|**registry.npohosting.nl/npohosting/php-fpm**	|**3.18.4**	|**[[https://www.php.net/ChangeLog-8.php#8.1.25|8.1.25, 8.1]]**	|base + [[https://www.php.net/|php]] + extensies	|
|**registry.npohosting.nl/npohosting/php-fpm**	|**3.18.4**	|**[[https://www.php.net/ChangeLog-8.php#8.2.12|8.2.12, 8.2, latest]]**	|base + [[https://www.php.net/|php]] + extensies	|
|registry.npohosting.nl/npohosting/ruby		|3.18.0		|[[https://www.ruby-lang.org/en/news/2023/03/30/ruby-3-2-2-released/|3.2.2, 3.2, latest]]	|base + [[https://www.ruby-lang.org/en/|ruby]]	|

==== On-prem clusters ====
/* Dingen die deze ronde niet meedoen zijn uit ge-comment */
^wat			^impact	^op	^van		^ naar		^
|keepalived		|0	|W	|2.2.8		|[[http://www.keepalived.org/changelog.html|2.2.8]]((openssl update))|
|icecast		|0	|W	|2.4.0-kh22	|[[https://github.com/karlheyes/icecast-kh|2.4.0-kh22]]((openssl update)) |
/*^ ^^^^^*/
/*|apache			|0	|D3	|2.4.58		|[[http://www.apache.org/dist/httpd/CHANGES_2.4.58|2.4.58]]((openssl update)) |
|mod_smooth_streaming	|0	|D1	|1.12.8-1	|[[https://docs.unified-streaming.com/installation/distributions.html|1.12.11-1]]	|
|mp4split		|0	|D1	|1.12.8-1	|[[https://docs.unified-streaming.com/installation/distributions.html|1.12.11-1]]	|
|nginx			|0	|D1	|1.25.2		|[[http://nginx.org/en/CHANGES|1.25.3]]|
/*|php 8.0		|0	|D1	|8.0.30		|[[https://www.php.net/ChangeLog-8.php#8.0.30|8.0.30]]	|*/
|php 8.1		|0	|D1	|8.1.24		|[[https://www.php.net/ChangeLog-8.php#8.1.25|8.1.25]]	|
|passenger		|0	|D1	|6.0.18		|[[https://github.com/phusion/passenger/blob/stable-6.0/CHANGELOG|6.0.18]]((openssl update)) |
|ruby 3.2		|0	|D1	|3.2.2		|[[https://www.ruby-lang.org/en/news/2023/03/30/ruby-3-2-2-released/|3.2.2]]((openssl update)) |
/*|python		|0	|D1	|2.7.17		|[[https://www.python.org/downloads/release/python-2717/|2.7.17]]	|*/
|python			|0	|D1	|3.8.18		|[[https://docs.python.org/3.8/whatsnew/changelog.html|3.8.18]]((openssl update)) |
/*|node 16		|0	|D1	|16.20.1	|[[https://github.com/nodejs/node/blob/master/doc/changelogs/CHANGELOG_V16.md|16.20.2]]	|*/
/*|yarn			|0	|D1	|1.22.19	|[[https://github.com/yarnpkg/yarn/blob/master/CHANGELOG.md|1.22.19]]|*/
/*|perl			|0	|D1	|5.36.1		|[[https://perldoc.perl.org/index-history.html|5.38.0]]	|*/
|OpenJDK11U-jre		|1	|D1	|11.0.20.1+7	|[[https://adoptopenjdk.net/release_notes.html|11.0.21+9]]	|
/*|OpenJDK11U-jdk		|1	|D1	|11.0.19+7	|[[https://adoptopenjdk.net/release_notes.html|11.0.20.1+1]]	|*/
|Elastic Search 	|0	|D1	|7.17.13	|[[https://www.elastic.co/guide/en/elasticsearch/reference/7.17/es-release-notes.html|7.17.14]] |
/*|grafana		|1	|D1	|10.0.2		|[[https://github.com/grafana/grafana/blob/master/CHANGELOG.md|10.1.2]] |*/
/*|fcron		|0	|D1	|3.2.1		|[[http://fcron.free.fr/doc/en/changes.html|3.2.1]] |*/
/*|influxdb		|1	|D1	|1.8.9		|[[https://docs.influxdata.com/influxdb/v1.8/reference/release-notes/influxdb/|1.8.10]] |*/
|memcached		|1	|D1	|1.6.21		|[[https://github.com/memcached/memcached/wiki/ReleaseNotes1622|1.6.22]]|
|redis7			|1	|D1	|7.2.1		|[[https://raw.githubusercontent.com/antirez/redis/7.2/00-RELEASENOTES|7.2.3]] |
/*|mariadb 10.6 		|1	|D1	|10.6.14	|[[https://mariadb.com/kb/en/mariadb-10612-release-notes/|10.6.15]] |*/
/*|postgresql13 		|1	|D1	|13.11		|[[https://www.postgresql.org/docs/13/static/release.html|13.12]]|*/
|ImageMagick 		|0	|D1	|7.1.1-17	|[[https://www.imagemagick.org/script/changelog.php|7.1.1-21]] |
|goaccess		|0	|D1	|1.7.2		|[[https://goaccess.io/release-notes|1.8.1]] |
/*|gzip			|0	|D1	|1.12		|[[https://www.gnu.org/software/gzip/|1.13]] |*/
|rclone			|0	|D1	|1.64.1		|[[https://rclone.org/changelog/|1.64.2]] |
/*|ts			|0	|D1	|0.7.3		|[[http://freshmeat.sourceforge.net/projects/taskspooler|1.0.2]] |*/
/*|ffmpeg4		|0	|D1	|4.4.3		|[[https://www.ffmpeg.org/download.html#releases|4.4.4]] |*/
/*|ffmpeg5		|0	|D1	|5.1.2		|[[https://www.ffmpeg.org/download.html#releases|5.1.3]] |*/
/*|alsa-utils		|0	|D1	|1.2.8		|[[https://www.alsa-project.org/wiki/Main_Page|1.2.9]] |*/
/*|GeoIP		|0	|D1	|1.6.12		|1.6.12 | */
/*|geoipupdate		|0	|D1	|5.1.1		|[[https://github.com/maxmind/geoipupdate/blob/master/CHANGELOG.md|6.0.0]] |*/
|dovecot		|1	|D1	|2.3.21		|[[https://www.dovecot.org/|2.3.21]]((openssl update)) |
/*|mailman		|1	|D1	|2.1.37		|[[https://launchpad.net/mailman/2.1/2.1.39|2.1.39]] |*/
|syslog-ng		|0	|D1	|4.3.1		|[[https://github.com/balabit/syslog-ng/blob/master/NEWS.md|4.3.1]]((openssl update))	|
|openssh		|0	|D1	|9.4p1		|[[https://www.openssh.com/releasenotes.html|9.5p1]] |
/*|chrony			|0	|D1	|4.3		|[[https://chrony.tuxfamily.org/news.html|4.4]] |*/
/*|vsftpd			|1	|D1	|3.0.5		|[[https://security.appspot.com/vsftpd/Changelog.txt|3.0.5]]	|*/
|postfix		|0	|D1	|3.8.2		|[[http://www.postfix.org/announcements/postfix-3.8.3.html|3.8.3]] |
/*|amavisd		|0	|D1	|2.11.1		|[[https://www.amavis.org/release-notes.txt|2.11.1]] |*/
|clamav			|0	|D1	|1.2.0		|[[https://blog.clamav.net/|1.2.1]] |
/*|p0f			|0	|D1	|3.09b		|[[https://lcamtuf.coredump.cx/p0f3/|3.09b]] |*/
/*|postgrey		|0	|D1	|1.37		|[[https://github.com/schweikert/postgrey/blob/master/Changes|1.37]] |*/
/*|spamassassin		|0	|D1	|3.4.6		|[[https://spamassassin.apache.org/news.html|4.0.0]] |*/
|unrar			|0	|D1	|6.2.10		|[[http://www.linuxfromscratch.org/blfs/view/svn/general/unrar.html|6.2.12]] |
|bind			|0	|D1	|9.18.19	|[[https://ftp.isc.org/isc/bind9/9.18.19/CHANGES|9.18.19]]((openssl update)) |
/*|dhcp			|0	|D1	|4.4.3-P1	|[[https://downloads.isc.org/isc/dhcp/4.4.3-P1/dhcp-4.4.3-P1-RELNOTES|4.4.3-P1]] |*/
|unbound		|0	|D1	|1.18.0		|[[http://www.unbound.net/download.html|1.18.0]]((openssl update))	|
/*|freeipmi		|0	|D1	|1.6.10		|[[https://www.gnu.org/software/freeipmi/NEWS|1.6.11]] |*/
/*|nrpe			|0	|D1	|4.1.0		|[[https://github.com/NagiosEnterprises/nrpe/blob/master/CHANGELOG.md|4.1.0]] |*/
|git			|0	|D1	|2.42.0		|[[https://git-scm.com/|2.42.0]] |
/*|netperf		|0	|D1	|2.7.0		|[[https://github.com/HewlettPackard/netperf/blob/master/Release_Notes|2.7.0]] |*/
/*|id3v2			|0	|D3	|0.1.12		|[[https://sourceforge.net/projects/id3v2/|0.1.12]] |*/
/*|httperf		|0	|D1	|2020-12-06	|[[https://github.com/httperf/httperf|2020-12-06]]	|*/
/*|atop			|0	|D1	|2.8.1		|[[https://www.atoptool.nl/downloadatop.php|2.9.0]]	|*/
/*|wkhtmltox		|0	|D1	|0.12.6		|[[https://github.com/wkhtmltopdf/wkhtmltopdf/blob/master/CHANGELOG.md|0.12.6]] |*/
|iptables		|0	|D1	|1.8.9		|[[https://www.netfilter.org/projects/iptables/files/changes-iptables-1.8.10.txt|1.8.10]]	|
/*|sudo			|0	|D1	|1.9.14p2	|[[https://www.sudo.ws/changes.html|1.9.14p3]]	|*/
/*|phpmyadmin		|0	|D1	|5.2.0		|[[https://www.phpmyadmin.net/files/5.2.1/|5.2.1]]|*/
/*|dokuwiki		|0	|D1	|2022-07-31a	|[[https://www.dokuwiki.org/changes|2023-04-04a]]|*/
^ ^^^^^

==== Legenda ====
Veel software kan zonder, of met heel weinig impact ge-update worden.
Voor deze zaken kiezen we ervoor om zo'n update overdag uit te
voeren. Bij een aantal andere componenten is er iets meer impact
merkbaar. Die voeren we uit in een nachtelijks change window. Hieronder
is de impact genummerd van 0 (geen impact) via 1 (korte onderbreking
van enkele seconden) tot 2 (onderbreking van enkele minuten op de
dienstverlening).

De tijdstippen zijn als volgt:
^code	^tijdstip	^
|D1	|maandag 20 november 8:00--17:00	|
/*|D2	|dinsdag 21 november 8:00--12:00	|*/
/*|N3	|woensdag 22 november 1:00--6:00 AM	|*/
/*|D3	|woensdag 22 november 8:00--17:00	|*/
|W	|20--23 november 8:00--17:00		|
/*|tbd	|te bepalen in overleg met de gebruikers	|*/

==== Bereikbaarheid ====
Team Hosting&Streaming is gedurende al het onderhoud via de normale
kanalen bereikbaar. Zie de [[:contact|contact pagina]].