NPO Hosting en Streaming

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
~~META:
title = C2019D22: Software updates december 2019
~~
{{htmlmetatags>
metatag-keywords=(software update)
metatag-og:title=(Software updates december 2019)
metatag-og:description=(
	In de periode van 9--12 december worden er software updates in de
	NPO hosting omgeving uitgevoerd. Het betreft
	nginx, php, ruby, rubygems, perl, tomcat, graylog,
	elasticsearch,
	keycloak,
	influxdb,
	memcached,
	redis,
	mariadb,
	postgresql,
	openldap,
	freeradius-server,
	ImageMagick,
	Image-ExifTool,
	curl,
	dovecot, syslog-ng,
	postfix,
	bind en unbound.

	Verder zijn er mededelingen m.b.t. de aanstaande End-Of-Life
	voor PHP-5.6, PHP-7.1, Python-2.7, Node.js-8 en Elasticsearch-5.
	Er vindt er een Openssl upgrade plaats en blikken we alvast vooruit
	op het jaar 2020.
	)
}}
====== C2019D22: Software updates december 2019 ======
====== Aankondiging: Software onderhoud hosting omgeving ======
Beste klant/collega,

(Is dit bericht niet goed leesbaar? Bekijk dan de [[|online versie]].)

Wij vragen aandacht voor het volgende:
  - PHP-5.6 en PHP-7.1: Het einde is nabij!
  - Python-2.7, Node.js-8 en Elasticsearch-5: End-Of-Life per 31 dec 2019.
  - OpenSSL upgrade
  - Vooruitblik op het jaar 2020
  - Reguliere software updates

===== PHP-5.6 en PHP-7.1: Het einde is nabij! =====
Het eind voor zowel PHP-5.6 als voor PHP-7.1 zit er nu toch echt aan
te komen. De lijn die gevolgd wordt is: "PHP-5.6 gaat uit, PHP-7.1
wordt omgezet naar PHP-7.2". Het tijdschema daarvoor is als volgt:
^ datum ^ actie ^
| zondag 1 december 2019 | **End-of-life moment voor PHP-7.1** |
| maandag 2 december 2019 | de laatste nog resterende PHP-7.1 sites in de **productie** omgeving worden omgezet naar PHP-7.2 |
| maandag 16 december 2019 | de laatste nog resterende PHP-5.6 sites in de **test** omgeving worden uitgezet |
| dinsdag 31 december 2019 | **En-of-life moment voor PHP-5.6** |
| maandag 6 januari 2020 | de laatste nog resterende PHP-5.6 sites in de **productie** omgeving worden uitgezet |

Inmiddels valt onze gebruikersgroep uiteen in 3 groepen:
  - De mensen die hard hebben gewerkt en geen gebruik meer maken van oude PHP versies. Hulde! Voor deze groep is deze melding dus niet relevant.
  - De mensen die ook hard hebben gewerkt, maar de deadline net niet gaan halen **en** die daarover met ons afspraken hebben gemaakt. Prima! Jullie weten wie jullie zijn en wat de afspraken inhouden.
  - De rest. Daarvoor is bovenstaand schema **wel** van toepassing.

Het is dus van belang om:
  * **voor** maandag 2 december 2019 er zeker van te zijn dat eventuele PHP-7.1 sites het ook doen onder PHP-7.2, en
  * **voor** maandag 6 januari 2020 de migratie van PHP-5.6 naar PHP-7 afgerond te hebben.

Omdat PHP-5.6 al sinds 1 januari 2019 niet meer onderhouden wordt door
de PHP developers kan zich een situatie voordoen dat er tussen nu en het
uitzet-moment een kritiek beveiligingsprobleem aan het licht komt.
Dat was
[[https://thehackernews.com/2019/10/nginx-php-fpm-hacking.html|recent]]
al het geval, toen konden we er nog omheen werken.
Mocht het nog een keer voorkomen, dan zullen we passende maatregelen
nemen. Te denken valt aan het extra afschermen van de getroffen sites.

===== Python-2.7, Node.js-8 en Elasticsearch-5: End-Of-Life per 31 dec 2019 =====
Zoals in de [[:eol-kalender#in_de_toekomst_uit_te_faseren|EOL kalender]] te lezen
valt zijn bovengenoemde producten EOL per 31 dec 2019. In de eerste week
van januari wordt deze software verwijderd van het platform.

===== OpenSSL upgrade =====
Veel software componenten gebruiken een library genaamd "openssl" om
over encrypted kanalen te communiceren. Denk aan een browser die
over https een webserver moet kunnen benaderen, maar ook aan mail
clients of secure shell. Daarnaast zit openssl ingebakken in allerlei
programmeertalen als php, ruby, python en perl.
Omdat de vorige LTS((Long Term Support)) versie van openssl (1.0.2) na
[[https://www.openssl.org/policies/releasestrat.html|31 december 2019]]
geen support meer krijgt zijn wij voor alle componenten
die openssl gebruiken overgestapt op de huidige LTS versie (1.1.1). Dat
betekent dat talen als php en ruby en tools als curl vanaf nu (waar
dat nog niet het geval was) door ons met een ingebakken openssl-1.1.1
uitgeleverd worden. Voor de gebruikers hiervan zal dit niet veel verschil
maken. Hooguit dat nieuwere SSL protocollen (TLS 1.3) voortaan ondersteund
worden.

===== Vooruitblik op het jaar 2020 =====
==== End-Of-Life momenten ====
In 2020 komen de volgende End-Of-Life momenten aan bod
^datum		^einde beschikbaarheid van	^benodigde actie	^
|13 februari	|PostgreSQL 9.4			|Upgrade naar PostgreSQL 9.6	|
|31 maart	|Ruby 2.4			|Upgrade naar Ruby 2.6		|
|30 november	|PHP 7.2			|Upgrade naar PHP 7.3		|
|31 december	|Appcluster			|Migreer sites naar het [[:chp]]	|

==== Ontmanteling van oude UG omgeving / mediastorage ====
In 2015 is de NPO begonnen met de ombouw van Uitzending Gemist naar NPO
Start. Inmiddels is deze ombouw bijna voltooid. Dat betekent dat de oude
UG omgeving afgebouwd kan gaan worden. Begin 2020 zullen we hier meer
concrete plannen over ontvouwen, maar houd in elk geval rekening met het
volgende:
  * Afbouw van de progressive download omgeving (content.omroep.nl aka download.omroep.nl, audio.omroep.nl, video.omroep.nl)
  * Afbouw van de adaptive VOD omgeving (adaptive.npostreaming.nl)
  * Afbouw van de adaptive livestreaming omgeving ("HASP" aka livestreams.omroep.nl)
  * Afbouw van de live audiostreaming omgeving (icecast.omroep.nl)
  * Opruimen van het oude UG audio/video archief.

Ons streven is dat eind 2020 bovenstaande omgevingen opgeheven kunnen
worden. Daar waar dit (nog) niet goed mogelijk is, bijvoorbeeld omdat
de use case out-of-scope voor NPO Start is zullen we met de
betrokkenen in gesprek treden om na te denken over alternatieven.

==== Migratie van Appcluster naar Community Hosting Platform ====
Wij verwachten dat 2020 ook het jaar wordt van een migratie van de oude
hosting omgeving ("het [[:appcluster-hosting|Appcluster]]") naar de nieuwe omgeving ("het [[:chp]]")
Begin 2020 zullen we ook hier meer concrete plannen over presenteren.
Wij streven ernaar dat eind 2020 het Appcluster niet meer, of slechts nog in
zeer uitgeklede vorm bestaat.

===== Reguliere software updates =====
In de periode van 9 tot 12 december worden de
volgende updates doorgevoerd:

/* Dingen die deze ronde niet meedoen zijn uit ge-comment */
^ wat			^ van		^ naar		^ changelog ^
/*|keepalived		|2.0.18		|2.0.19		|[[http://www.keepalived.org/changelog.html|1]]|*/
/*|icecast		|2.4.0-kh11	|2.4.0-kh12	|[[https://github.com/karlheyes/icecast-kh|1]] |*/
/*|flash-policy-server	|0.1		|0.1		|[[http://www.ogre.com/node/134|1]]	|*/
/*|apache		|2.4.39		|2.4.41		|[[http://www.apache.org/dist/httpd/CHANGES_2.4.41|1]] |*/
/*|mod_smooth_streaming	|1.7.6		|1.9.5		|[[https://www.unified-streaming.com/products/unified-origin|1]] |*/
|nginx			|1.17.5		|1.17.6		|[[http://nginx.org/en/CHANGES|1]] |
|php 5.6		|5.6.40		|5.6.40		|((openssl upgrade))	|
|php 7.1		|7.1.33		|7.1.33		|((openssl upgrade))	|
|php 7.2		|7.2.24		|7.2.25		|[[https://www.php.net/ChangeLog-7.php#7.2.25|1]]	|
|php 7.3		|7.3.11		|7.3.12		|[[https://www.php.net/ChangeLog-7.php#7.1.33|1]]	|
/*|passenger 6		|6.0.2		|6.0.4		|[[https://github.com/phusion/passenger/blob/stable-6.0/CHANGELOG|1]] |*/
/*|ruby 2.4		|2.4.7		|2.4.9		|[[https://www.ruby-lang.org/en/news/2019/10/01/ruby-2-4-8-released/|1]] [[https://www.ruby-lang.org/en/news/2019/10/02/ruby-2-4-9-released/|2]] |*/
/*|ruby 2.6		|2.6.4		|2.6.5		|[[https://www.ruby-lang.org/en/news/2019/10/01/ruby-2-6-5-released/|1]] |*/
|ruby 2.4		|2.4.9		|2.4.9		|((openssl upgrade)) |
|ruby 2.6		|2.6.5		|2.6.5		|((openssl upgrade)) |
|ruby 2.4 gems		|diverse	|-		|((openssl upgrade)) |
|ruby 2.6 gems		|diverse	|-		|((openssl upgrade)) |
/*|python			|2.7.16		|2.7.17		|[[https://www.python.org/downloads/release/python-2717/|1]]	|*/
/*|python			|3.7.4		|3.8.0		|[[https://docs.python.org/3.8/whatsnew/changelog.html|1]] |*/
/*|node			|8.16.1		|8.16.2		|[[https://github.com/nodejs/node/blob/master/doc/changelogs/CHANGELOG_V8.md|1]]	|*/
/*|node			|10.16.3	|10.17.0	|[[https://github.com/nodejs/node/blob/master/doc/changelogs/CHANGELOG_V10.md|1]]	|*/
/*|yarn			|1.19.0		|1.19.1		|[[https://github.com/yarnpkg/yarn/blob/master/CHANGELOG.md|1]]|*/
|perl			|5.30.0		|5.30.1		|[[https://perldoc.perl.org/index-history.html|1]]	|
/*|OpenJDK8U-jre		|8u222b10 	|8u232b09	|[[https://adoptopenjdk.net/release_notes.html|1]]	|*/
/*|OpenJDK11U-jre		|11.0.4_11	|11.0.5_10 	|[[https://adoptopenjdk.net/release_notes.html|1]]	|*/
/*|OpenJDK11U-jdk		|11.0.4_11	|11.0.5_10 	|[[https://adoptopenjdk.net/release_notes.html|1]]	|*/
|tomcat 8		|8.5.47		|8.5.49		|[[https://tomcat.apache.org/tomcat-8.5-doc/changelog.html|1]] |
|tomcat 9		|9.0.27		|9.0.29		|[[https://tomcat.apache.org/tomcat-9.0-doc/RELEASE-NOTES.txt|1]] |
/*|mysql-connector-java	|8.0.17		|8.0.18		|[[https://dev.mysql.com/doc/relnotes/connector-j/8.0/en/|1]] |*/
/*|mysql-connector-java5	|5.1.47		|5.1.48		|[[https://dev.mysql.com/doc/relnotes/connector-j/5.1/en/|1]] |*/
/*|newrelic-java		|5.7.0		|5.8.0		|[[https://docs.newrelic.com/docs/agents/java-agent|1]]	|*/
/*|tomcat-native		|1.2.21		|1.2.23		|[[http://tomcat.apache.org/native-doc/miscellaneous/changelog.html|1]] |*/
/*|ActiveMQ		|5.15.9		|5.15.10	|[[http://activemq.apache.org/activemq-51510-release.html|1]] |*/
|Graylog		|3.1.0		|3.1.3		|[[http://docs.graylog.org/en/3.1/pages/changelog.html|1]] |
/*|Elastic Search 5.x	|5.6.15		|5.6.16		|[[https://www.elastic.co/guide/en/elasticsearch/reference/5.6/es-release-notes.html|1]] |*/
|Elastic Search 6.x	|6.8.4		|6.8.5		|[[https://www.elastic.co/guide/en/elasticsearch/reference/6.8/es-release-notes.html|1]] |
|Elastic Search 7.x	|7.4.1		|7.4.2		|[[https://www.elastic.co/guide/en/elasticsearch/reference/7.4/es-release-notes.html|1]] |
|grafana		|6.4.3		|6.5.0		|[[https://github.com/grafana/grafana/blob/master/CHANGELOG.md|1]] |
|keycloak		|7.0.1		|8.0.0		|[[https://www.keycloak.org/docs/latest/release_notes/index.html|1]] |
/*|fcron		|3.2.1		|3.2.1		|[[http://fcron.free.fr/doc/en/changes.html|1]] |*/
/*|influxdb		|1.7.7		|1.7.8		|[[https://docs.influxdata.com/influxdb/v1.7/about_the_project/releasenotes-changelog/|1]] |*/
|memcached		|1.5.19		|1.5.20		|[[https://github.com/memcached/memcached/wiki/ReleaseNotes1520|1]] |
/*|mongodb		|4.2.0		|4.2.1		|[[https://docs.mongodb.com/manual/release-notes/4.2/|1]] |*/
|redis			|5.0.5		|5.0.7		|[[https://raw.githubusercontent.com/antirez/redis/5.0/00-RELEASENOTES|1]] |
|mariadb 		|10.2.27	|10.2.29	|[[https://mariadb.com/kb/en/library/mariadb-10229-release-notes/|1]] |
/*|mysql			|5.7.27		|5.7.28		|[[https://dev.mysql.com/doc/relnotes/mysql/5.7/en/news-5-7-27.html|1]] |*/
|postgresql 9.4		|9.4.24		|9.4.25		|[[https://www.postgresql.org/docs/9.4/static/release.html|1]]|
|postgresql 9.6		|9.6.15		|9.6.16		|[[https://www.postgresql.org/docs/9.6/static/release.html|1]]|
/*|openldap		|2.4.13		|2.4.48		|[[https://www.openldap.org/software/release/changes.html|1]] |*/
|openldap		|2.4.13		|2.4.48		|((openssl upgrade)) |
|ImageMagick 		|7.0.9-1	|7.0.9-2	|[[https://www.imagemagick.org/script/changelog.php|1]] |
|Image-ExifTool		|11.74		|11.76		|[[https://sourceforge.net/projects/exiftool/|1]] |
|curl			|7.66.0		|7.67.0		|[[https://curl.haxx.se/changes.html|1]] |
/*|goaccess		|-		|1.3		|[[https://goaccess.io/release-notes|1]] |*/
/*|gzip			|-		|1.10		|[[https://www.gnu.org/software/gzip/|1]] |*/
/*|ffmpeg			|4.2		|4.2.1		|[[https://www.ffmpeg.org/download.html#releases|1]] |*/
/*|gearmand		|1.1.11	|1.1.188	|[[https://github.com/gearman/gearmand/releases|1]] |*/
/*|GeoIP			|1.6.12		|1.6.12		| | */
/*|geoipupdate		|3.1.1		|3.1.1		|[[https://github.com/maxmind/geoipupdate/blob/master/CHANGELOG.md|1]] |*/
/*|dovecot		|2.3.8		|2.3.8		|[[https://www.dovecot.org/|1]] |*/
|dovecot		|2.3.8		|2.3.8		|((openssl upgrade)) |
/*|syslog-ng		|3.24.1		|3.24.1		|[[https://github.com/balabit/syslog-ng/blob/master/NEWS.md|1]]	|*/
|syslog-ng		|3.24.1		|3.24.1		|((openssl upgrade))	|
/*|openssh		|8.0p1		|8.1p1		|[[https://www.openssh.com/releasenotes.html|1]] |*/
/*|chrony			|3.4		|3.5		|[[https://chrony.tuxfamily.org/news.html|1]] |*/
|postfix		|3.4.7		|3.4.8		|[[http://www.postfix.org/announcements/postfix-3.4.8.html|1]] |
|bind			|9.11.12	|9.11.13	|[[https://ftp.isc.org/isc/bind9/9.11.13/CHANGES|1]] |
|unbound		|1.9.4		|1.9.5		|[[http://www.unbound.net/download.html|1]]	|
/*|dhcp			|4.4.1		|4.4.1		|[[https://ftp.isc.org/isc/dhcp/4.4.1/dhcp-4.4.1-RELNOTES|1]] |*/
/*|freeipmi		|1.6.3		|1.6.4		|[[https://www.gnu.org/software/freeipmi/NEWS|1]] |*/

De updates worden op 29 november op het testcluster doorgevoerd,
zodat er gelegenheid is om de nieuwe versies te testen.

Het schema voor de productie clusters is als volgt:
/* Dingen die deze ronde niet meedoen zijn uit ge-comment */
^ wat ^ actie ^ impact ^ wanneer ^
|graylog	|herstart java			|1 korte onderbreking naar de Graylog instanties	|9 december 8:00 -- 12:00 	|
|influxdb	|herstart databases		|1 korte onderbreking naar de database instanties	|9 december 8:00 -- 12:00	|
|openldap	|herstart databases		|1 korte onderbreking naar de database instanties	|9 december 8:00 -- 12:00	|
/*|mongodb	|herstart databases		|1 korte onderbreking naar de database instanties	|10 december 8:00 -- 12:00	|*/
/*|apache		|herstart webservers		|geen						|10 december 8:00 -- 12:00	|*/
|nginx		|herstart webservers		|geen							|10 december 8:00 -- 12:00	|
|php		|herstart applicatieservers	|geen 							|10 december 8:00 -- 12:00	|
/*|passenger	|herstart Ruby-on-Rails applicaties	|geen						|10 december 8:00 -- 12:00	|*/
|ruby		|herstart Ruby-on-Rails applicaties	|geen						|10 december 8:00 -- 12:00	|
|ruby gems	|herstart Ruby-on-Rails applicaties	|geen						|10 december 8:00 -- 12:00	|
/*|node-js	|nieuwe versie wordt actief	|geen							|10 december 8:00 -- 12:00	|*/
/*|python		|nieuwe versie wordt actief	|geen							|10 december 8:00 -- 12:00	|*/
|perl		|herstart applicatieservers	|geen							|10 december 8:00 -- 12:00	|
|memcached	|herstart Memcached instanties	|memory caches worden gecleared				|10 december 8:00 -- 12:00	|
|redis		|herstart databases		|1 korte onderbreking naar de database instanties	|10 december 8:00 -- 12:00	|
/*|gearmand	|herstart gearman servers	|bestaande verbindingen worden verbroken		|10 december 8:00 -- 12:00	|*/
|ImageMagick	|nieuwe versie wordt actief	|geen							|10 december 8:00 -- 12:00	|
|Image-ExifTool	|nieuwe versie wordt actief	|geen							|10 december 8:00 -- 12:00	|
|curl		|nieuwe versie wordt actief	|geen							|10 december 8:00 -- 12:00	|
/*|yarn		|nieuwe versie wordt actief	|geen							|10 december 8:00 -- 12:00	|*/
/*|ffmpeg		|nieuwe versie wordt actief	|geen						|10 december 8:00 -- 12:00	|*/
/*|goaccess	|nieuwe versie wordt actief	|geen							|10 december 8:00 -- 12:00	|*/
/*|gzip		|nieuwe versie wordt actief	|geen							|10 december 8:00 -- 12:00	|*/
/*|geoipupdate	|nieuwe versie wordt actief	|geen							|10 december 8:00 -- 12:00	|*/
/*|freeipmi	|nieuwe versie wordt actief	|geen							|10 december 8:00 -- 12:00	|*/
/*|openssh	|herstart openssh		|geen							|10 december 8:00 -- 12:00	|*/
|syslog-ng	|herstart syslog		|geen							|10 december 8:00 -- 12:00	|
/*|chrony		|herstart timeservers		|geen						|10 december 8:00 -- 12:00	|*/
|postfix	|herstart mailservers		|geen							|10 december 8:00 -- 12:00	|
|dovecot	|herstart imapservers		|geen							|10 december 8:00 -- 12:00	|*/
|bind		|herstart nameservers		|geen							|10 december 8:00 -- 12:00	|
|unbound	|herstart dns-resolvers		|geen							|10 december 8:00 -- 12:00	|
|grafana	|herstart grafana applicatieserver|geen							|10 december 8:00 -- 12:00	|
/*|jvm		|herstart java applicaties((activemq, graylog, grafana, keycloak, tomcat))	|ongeveer 1-5 min downtime per instantie		|11 december 1:00 -- 6:00 	|*/
|tomcat		|herstart java			|ongeveer 1-5 min downtime per instantie		|11 december 1:00 -- 6:00 	|
/*|mysql-connector-java	|herstart java		|ongeveer 1-5 min downtime per instantie		|11 december 1:00 -- 6:00 	|*/
/*|mysql-connector-java5	|herstart java		|ongeveer 1-5 min downtime per instantie		|11 december 1:00 -- 6:00 	|*/
/*|newrelic-java	|herstart java			|ongeveer 1-5 min downtime per instantie		|11 december 1:00 -- 6:00 	|*/
|keycloak	|herstart java			|1 korte onderbreking naar de Keycloak instanties	|11 december 1:00 -- 6:00 	|
/*|ActiveMQ	|herstart java			|1 korte onderbreking naar de ActiveMQ instanties	|11 december 1:00 -- 6:00 	|*/
|mariadb	|herstart databases		|2 korte onderbrekingen naar de database instanties	|11 december 1:00 -- 6:00	|
/*|mysql		|herstart databases		|2 korte onderbrekingen naar de database instanties	|11 december 1:00 -- 6:00	|*/
|postgresql	|herstart databases		|1 korte onderbreking naar de database instanties	|11 december 1:00 -- 6:00	|
|Elastic Search	|herstart java			|geen							|9--12 december 8:00 -- 17:00	|
/*|keepalived	|herstart loadbalancers		|geen							|9--12 december 8:00 -- 17:00	|*/
/*|icecast	|herstart streamservers		|geen							|9--12 december 8:00 -- 17:00	|*/
|perl		|herstart flash policy servers	|geen							|9--12 december 8:00 -- 17:00	|