NPO Hosting en Streaming
De NPO biedt hosting aan voor publieke omroepen. Deze site is bedoeld om de nodige informatie te geven over de opzet, mogelijkheden en werking van ons Community Hosting Platform (CHP), om antwoord te kunnen kunnen geven op veelgestelde vragen en adviezen te geven voor een goed schaalbare website.
Deze site is vooral gericht op developers en (web)redacteuren. Mochten er dingen zijn die gemist worden, dan horen wij dat natuurlijk graag zodat we de informatie aan kunnen vullen waar nodig. Vragen, opmerkingen en aanvragen via de contact pagina.
Daarnaast is er een mailinglist genaamd hosting waarop iedereen zich kan aanmelden. Via deze lijst ontvangt u 1 a 2 maal per maand aankondigingen van aanstaande werkzaamheden binnen de NPO hosting omgeving. De hosting gerelateerde meldingen zijn ook na te lezen in het hosting archief.
Verder is er een slack workspace, genaamd
NPOHOSTING, met daarin o.a. een kanaal
#anouncements, waarin we bovenstaande aankondigingen ook doen. Dit
kanaal is “invite only”, dus stuur even een mail naar hosting@npo.nl
om een uitnodiging voor dat kanaal te krijgen.
Nieuws
20240425: CHP Software updates mei
Vanaf donderdag 25 april zijn er in CHP een aantal nieuwe H&S images beschikbaar, te weten: nginx, php-fpm en ruby.
20240425: Netboot Software updates mei
De acht-wekelijkse netboot (= on-prem) software update ronde van de hosting omgeving vindt plaats in de periode 6–9 mei
De highlights zijn:
-
vooraankondiging OS upgrade
-
herinnering uitzetten download.omroep.nl / content.omroep.nl
-
Overig: updates van apache, bind, clamav, ffmpeg, geoipupdate, goaccess, memcached, mod_smooth_streaming, mp4split, nginx, openssh, postfix, php, python, rclone, ruby, spamassassin, syslog-ng, ts, unbound,
en unrar.
20240409: CHP5 Test beta
Vanaf woensdag 10 april wordt de CHP5 Testomgeving in beta beschikbaar gesteld aan al onze afnemers. Vanaf dat moment is het mogelijk om in te loggen op de nieuwe omgeving en workloads te starten als test om na te gaan of er grote problemen naar boven komen
20240405: On-Prem storage Onderhoud
Op woensdag 17 april overdag en in de nacht van 17 op 18 april wordt er onderhoud gepleegd aan de on-prem NPO hosting storage omgeving.
Alle webhosting die draait op CHP ondervindt geen impact van dit onderhoud. De impact beperkt zich tot een aantal on-prem omgevingen, waaronder het web-interface van ARLA.
C2024D06: On-Prem Storage Onderhoud
20240321: Activeren WAF op CloudFront CDN
Op donderdag 28 maart zal WAF (Web Application Firewall) worden geactiveerd op de CloudFront CDN voor images.poms.omroep.nl. Deze zal bescherming bieden tegen verscheidene soorten hacking en (D)DOS aanvallen. lees verder
20240315: Netboot OS Upgrade Centos Stream 8 naar 9
In de periode van half maart tot half april vindt er onderhoud plaats aan de on-premise NPO hosting omgeving (de zgn. “netboot” omgeving). Op de linux servers waar deze omgeving uit bestaat worden wordt een OS upgrade van “Centos Stream 8” naar “Centos Stream 9” uitgevoerd.
Dit raakt de diensten die nog op dit platform draaien, te weten Icecast, audio encoding, aanlevering Solutions Radio en SpotON, upload.omroep.nl, download.omroep.nl, ARLA, redir.omroep.nl, NTP, DNS en mail. De OS upgrades hebben geen impact op de beschikbaarheid van deze diensten. De webhosting die op het Community Hosting Platform (CHP) draait wordt niet geraakt door deze upgrades.
20240228: CHP Software updates maart
Vanaf woensdag 28 februari zijn er in CHP een aantal nieuwe H&S images beschikbaar, te weten: base, base-jre, nginx, php-fpm en ruby.
Ook bieden we naast het de bestaande php 8.1 en 8.2 images nu een php 8.3 image aan. Verder is PHP 8.0 al geruime tijd EOL. Het H&S php-fpm 8.0 image is vanaf 11 maart niet meer beschikbaar.
20240223: Netboot Software updates maart
De acht-wekelijkse netboot (= on-prem) software update ronde van de hosting omgeving vindt plaats in de periode 11–14 maart
De highlights zijn:
-
vooraankondiging OS upgrade
-
Overig: updates van goaccess, icecast, keepalived, mariadb, memcached, mod_smooth_streaming, mp4split, nginx, passenger, postfix, php, postgresq, python, rclone, redis, ruby syslog-ng en unbound.
20240220: Update NPO Image Registry
Op woensdag 28 februari zullen wij de NPO Image Registry updaten.
20240208: OpenDKIM activatie
Op donderdag 15 februari zal OpenDKIM worden ge-activeerd op de on premise uitgaande relays smtp.mail.omroep.nl ( aka bulkmail.omroep.nl ) en out.mail.omroep.nl.
20240111: CHP Software updates januari
Vanaf donderdag 11 januari zijn er in CHP een aantal nieuwe H&S
images beschikbaar, te weten: base, base-jre,
nginx, php-fpm en ruby.
Ook bieden we naast het al bestaande ruby:3.2 image nu
een ruby:3.3 image aan.
Verder is PHP 8.0 al; geruime tijd EOL. Het H&S php-fpm:8.0 image is vanaf de
volgende update ronde (11 maart) niet meer beschikbaar.
20240110: Cerberus upgrade EKS
Woensdag 17 januari, zal tussen 06:00 uur en 08:00 uur ‘s ochtends het Cerberus cluster geüpgrade worden van EKS versie 1.24 naar 1.25. Dit heeft impact op de volgende externe diensten:
-
sso.npohosting.nl -
registry.npohosting.nl -
dns.npohosting.nl
20240109: CHP4 Openshift Logging update januari
Op dinsdag 16 januari 2024 zullen we de OpenShift Elasticsearch en de Redhat Openshift Logging Operators updaten van versie 5.6 naar versie 5.7.
20240105: Netboot Software updates januari
De acht-wekelijkse netboot (= on-prem) software update ronde van de hosting omgeving vindt plaats in de periode 15–18 januari
De highlights zijn:
-
de vorm van deze aankondigingen
-
Overig: updates van bind, chrony, drbd-utils, ffmpeg, git, glusterfs imagemagick, mariadb, nagios, nagios-plugins, nginx, openssh, pdns, pdns-recursor, perl, postfix, php, rclone, subversion, sudo, syslog-ng en unbound.
20231214 Verwijderen oude appcluster backups en opheffen mediastorage
In 2023 zijn de laatste afnemers in het appcluster overgestapt naar CHP. Daarmee is het nut van bewaren van backups van de oude appcluster omgeving vervallen. Deze backups worden verwijderd op 2 januari 2024. Verder zal in de loop van 2024 de oude mediastorage (alles achter content.omroep.nl) opgeheven worden. In het licht hiervan zullen we vanaf januari ook geen facturen meer versturen voor backup- en mediastorage.
20231106: Software updates november
De acht-wekelijkse software update ronde van de hosting omgeving vindt plaats in de periode 20–23 november
De highlights zijn:
-
End-Of-Life appcluster en download.omroep.nl
-
de vorm van deze aankondigingen
-
uitstel End-Of-Life elasticsearch-7
-
Overig: updates van apache, bind, clamav, dovecot, elasticsearch, git, goaccess, icecast, imagemagick, iptables, keepalived, memcached, mod_smooth_streaming, mp4split, nginx, java, openssh, passenger, postfix, php, python, rclone, redis, ruby, syslog-ng, unbound, en unrar.
20231020: On-prem OpenSSL Upgrade
Het is tot onze attentie gekomen dat de versie van OpenSSL die we in veel componenten gebruiken (1.1.1x) sind kort End-Of-Life is. Daarom wordt deze vervangen door een nieuwere versie (3.0.x) die wel in support is.
Als gevolg hiervan worden er in de periode van 23–26 oktober software updates uitgevoerd van alle onderdelen die OpenSSL gebruiken. Het betreft: apache, bind, clamav, dovecot, geoipupdate, git, icecast, keepalived, nginx, passenger, postfix, php python ruby, syslog-ng en unbound.
Daarnaast worden in het icecast platform een aantal oude, onveilige encryptie methodes uitgezet, zodat alleen de thans veilig geachte varianten overblijven.
Dit betreft enkel de oude, on-prem omgeving. CHP wordt niet geraakt in deze actie. De werking van alle applicaties blijft gelijk. Dit bericht is enkel ter informatie.
20231005: Migratie mailing list server
Op maandag 16 oktober, tussen 10:30h en 11:00h wordt de
mailinglist server
welke gebruikt wordt voor alle mailinglists die eindigen op
@list.omroep.nl gemigreerd naar een andere omgeving. Het betreft:
BackendUG, Beheerders-themakanalen, ChangesICT, Community-hosting-platform, Demo-tmd, DJ, Djs-radio2, Djs-radio5, Enalyzergebruikersgroep, Hosting, IaaS-aankondigingen, Ictchangemanagement, Ithoofden, Kc-mco, Kernteam-mediapark, Mailman, Mcpxmlgateway, Media-isac, Media-isac-info, Nposchemawijzigingen, Omroepbreed-netwerk, Onlineredacteuren-radio2, Poms-changes, Producers-3fm, Producers-radio2, Producers-radio5, Revokevod, Test-lijst, Topspin-ops, VerstoringenICT, Vmv-changes, Werkgroepcomscore, Werkgroepinternet, Werkgroeptechniek, Werkgroeptypo3 en Whatson-gebruikers.
20230911: Software updates september
De acht-wekelijkse software update ronde van de hosting omgeving vindt plaats in de periode 27–28 september
De highlights zijn:
-
End-Of-Life appcluster en download.omroep.nl
-
de vorm van deze aankondigingen
-
uitstel End-Of-Life elasticsearch-7
-
Overig: updates van bind, chrony, clamav, dovecot, elasticsearch, git, grafana, gzip, imagemagick, mariadb, nagios-plugins, nginx, node16, java, openssh, pf, php, postgresql, promtail, python, rclone, redis, sudo, syslog-ng, unbound, en unrar
20230905: OpenShift Storage Update
Op 14 september tussen 01:00 en 06:00 zullen het OpenShift Storage cluster updaten van versie 4.10.9 naar 4.11.9.
20230830: Uitstel OpenShift Storage upgrade
Wegens omstandigheden kan de upgrade van het OpenShift Storage cluster de komende nacht van 30 op 31 augustus niet door gaan. Voor deze upgrade zal op een later moment een nieuwe datum gecommuniceerd worden.
Uitstel van deze upgrade heeft geen gevolgen voor het functioneren van het Openshift Storage cluster.
20230823: OpenShift Storage Update
Op 30 tussen 01:00 en 06:00 en 31 augustus tussen 01:00 en 06:00 zullen het OpenShift Storage cluster updaten van versie 4.10.9 naar 4.11.9.
20230818: Canary Upgrade OpenShift Container Platform van versie 4.10.45 naar versie 4.11.46
Op woensdag 23 augustus en donderdag 24 augustus vanaf 1:00 uur ‘s nachts tot 5:30 uur 's ochtends zullen we het OpenShift cluster upgraden van versie 4.10.45 naar versie 4.11.46.
20230815: Wijziging onderhoudsvensters OpenShift Storage
De aangekondigde onderhoudsvensters van 16 en 17 augustus voor OpenShift Storage gaan niet door.
[C2023M09] Woensdag 23 en donderdag 24 augustus zullen we het OpenShift Container Platform upgraden naar versie 4.11.46.
[C2023M10] Woensdag 30 en donderdag 31 augustus zullen we OpenShift Data Foundation (OpenShift storage) upgraden naar versie 4.11.9.
Details over de acties en impact van C2023M09/C2023M10 volgen zo spoedig mogelijk.
20230801: Wijziging onderhoudsvensters OpenShift Storage
De aangekondigde onderhoudsvensters van 2 en 3 augustus voor OpenShift Storage gaan niet door.
20230727: Update onderhoud OpenShift Storage
In samenwerking met Red Hat zullen we het onderhoud op OpenShift Storage de komende maand voortzetten.
20230721: Software updates augustus
De acht-wekelijkse software update ronde van de hosting omgeving vindt plaats in de periode 31 juli – 3 augustus.
De highlights zijn:
-
Verwijderen CHP nginx 1.23 images per 31 juli 2023
-
Verwijderen ongebruikte tools appcluster
-
End-Of-Life appcluster en download.omroep.nl
-
End-Of-Life elasticsearch-7 per 10 augustus 2023
-
Overig: updates van bind, elasticsearch, freeipmi, geoipupdate, git, grafana, icecast, imagemagick, keepalived, mariadb, memcached, mod_smooth_streaming, mp4split, nginx, node, openssh, passenger, perl, postfix, php, python, rclone, redis, sudo en unrar.
20230720: Update onderhoud OpenShift Storage
Het geplande onderhoud op Openshift Storage vannacht is niet succesvol afgerond.
20230711: Hervatten onderhoud OpenShift Storage
In de nacht van woensdag 19 op donderdag 20 juli zullen we samen met Red Hat het onderhoud op OpenShift Storage hervatten.
20230628: Update Onderhoud OpenShift Storage
Het geplande onderhoud op Openshift Storage vannacht is niet succesvol afgerond.
20230620: On-prem netwerk redundancy test
Namens onze netwerk collega's willen we laten weten dat er op woensdag 28 juni een redundancy test plaatsvindt in de on-prem netwerk omgeving. Om te voorkomen dat dit impact heeft op on-prem hosting systemen worden voorafgaand aan deze test, in de nacht van 22 op 23 juni, tussen 01:00h en 02:00h een aantal hosting diensten verplaatst naar andere servers. De verwachting is dat de test zelf geen impact heeft op de de hostingdiensten. Het verplaatsen van deze diensten echter kan leiden tot een onderbreking van maximaal 1 minuut hiervan.
20230620: Onderhoud OpenShift Storage
In navolging op de storing in het storage cluster op 26 april zullen we in de nacht van dinsdag 27 op woensdag 28 juni in samenwerking met Red Hat onderhoud uitvoeren op 4 OSD pods.
20230526: Software updates juni
De acht-wekelijkse software update ronde van de hosting omgeving vindt plaats in de periode 5–8 juni.
De highlights zijn:
-
Upgrade nginx 1.23 → 1.25
-
Verwijderen ruby-2.7 binaries (appcluster) en images (CHP)
-
Verwijderen node-14 binaries (appcluster)
-
End-Of-Life elasticsearch-7 per 10 augustus 2023
-
Overig: updates van php, ruby, node, perl, java, elasticsearch, grafana, keycloak, memcached, redis, mariadb, postgresql, imagemagick, goaccess, ffmpeg, alsa-utils, geoipupdate, syslog-ng, postfix, clamav, unrar bind, git en atop.
20230517: On-Prem Storage onderhoud
Op woensdag 31 mei overdag en in de nacht van 31 mei op 1 juni wordt er onderhoud gepleegd aan de on-prem NPO hosting storage omgeving. Gevolg hiervan is dat tussen 1:00 en 3:00 uur de hosting omgeving een aantal maal enkele minuten een iets tragere storage zal ervaren, waardoor websites in het appcluster misschien even haperen. Dit onderhoud heeft geen impact op de OpenShift storage.
20230525: Herstart OpenShift Log Collectors
Op donderdag 1 juni 2023 zullen de Log Collectors van OpenShift worden herstart.
20230516: Configuratiewijziging OpenShift Storage
In navolging op de storing in het storage cluster 26 April zullen we volgende week 23 mei om 5:10 's ochtends een configuratie aanpassen in onze Meta Data Service pods.
20230426: Spoedonderhoud OpenShift Storage
In navolging op de storing in het storage cluster van 10 op 11 april zullen we op 26 april vanaf 10:30 in samenwerking met Red Hat onderhoud plegen op een van de OSD pods.
20230425: OpenShift ClusterLogging migratie
Op woensdag 3 mei maart om 08:00 zullen we de OpenShift ClusterLogging migreren naar een nieuwe omgeving.
20230411: Spoedonderhoud OpenShift storage
Naar aanleiding van de gebeurtenissen van afgelopen nacht plannen we onderhoud in op 11 april om 18:00 uur. Dit onderhoud en duurt naar verwachting 1 uur.
20230406: VMWare onderhoud
Op vrijdag 14 april 2023 vindt er onderhoud plaats aan het VMWare platform waar een deel van de on-prem hosting omgeving op draait (o.a. deel appcluster, deel testcluster en deel dns resolvers) Naar verwachting heeft dit geen impact op de draaiende diensten.
20230406: OpenShift 4.11 upgrade
De upgrade van het OpenShift cluster is voorlopig uitgesteld lees verder
20230406: Voortzetting OpenShift Storage vervangen OSD pods
De komende weken zullen de laatste twee OSD pods worden vervangen in het OpenShift Storage project. lees verder
20230329: Software updates april
De acht-wekelijkse software update ronde van de hosting omgeving vindt plaats in de periode 10–13 april.
De highlights zijn:
-
Verwijderen PHP-7 binaries
-
End-Of-Life ruby-2.7 per 31 maart 2023
-
End-Of-Life node-14 per 30 april 2023
-
End-Of-Life elasticsearch-7 per 10 augustus 2023
-
Overig: updates van apache, bind, clamav, drbd-utils, elasticsearch, ffmpeg, geoipupdate, git, goaccess, grafana, icecast, imagemagick, keycloak, mariadb, memcached, mutt, nginx, node, openldap, openssh, php, postgresql, rclone, redis, sudo, syslog-ng en unrar.
20230330: OpenShift Storage vervangen drietal OSD pods
In de nacht van woensdag 29 op donderdag 30 maart zullen we een drietal OSD pods in het storage cluster vervangen. lees verder
20230315: Migratie storage OpenShift Monitoring
Op woensdag 22 maart om 05:00 zullen we de onderliggende storage van de OpenShift monitoring omgeving aanpassen naar een alternatieve StorageClass. lees verder
20230310: OTP verplicht in CHP
15 maart wordt OTP verplicht in CHP. lees verder
20230310: Herstarten OpenShift ingress deployments
In de nacht van woensdag 15 op donderdag 16 maart 2023 herstarten we OpenShift ingress deployments. lees verder
20230223: Hervatten OpenShift 4.10 upgrade
In de nacht van woensdag 1 op donderdag 2 maart 2023 hervatten we de upgrade van het OpenShift 4 cluster van versie 4.10.30 naar 4.10.45. lees verder
20230213: Verstoring van een aantal on-prem hosting diensten
Op maandag 13 februari, om 12:25h hebben een aantal on-prem hosting diensten te maken gehad met een kortdurende (< 1 min) verstoring, te weten: icecast, DNS resolving, NTP en redir.omroep.nl. Dit was het gevolg van geplanned onderhoud waarbij een bepaald systeem onderdeel (systemd) iets harder om zich heen heeft geslagen dan de bedoeling was en een aantal diensten herstart zijn die niet op deze manier herstart hadden moeten worden. Ondertussen is de oorzaak van het probleem gevonden en is er een aanpassing gedaan zodat dit niet nogmaals voor kan komen.
20230130: Software updates februari
De acht-wekelijkse software update ronde van de hosting omgeving vindt plaats in de periode 13–16 februari.
De highlights zijn:
-
Einde coulance periode PHP-7.4 is in zicht!
-
Default PHP versie van 7 naar 8.
-
End-Of-Life ruby-2.7 per 31 maart 2023
-
End-Of-Life node-14 per 30 april 2023
-
End-Of-Life elasticsearch-7 per 10 augustus 2023
-
Discontinuering van klantenstats.omroep.nl
-
Overig: updates van apache, atop, bind, clamav, dovecot, elasticsearch, git, goaccess, grafana, icecast, imagemagick, iptables, keycloak, memcached, mod_smooth_streaming, mp4split, mysql, nginx, node, node, java, passenger, postfix, php python, rclone, redis, ruby, spamassassin, sudo, syslog-ng, unbound, en unrar.
20230124: OpenShift 4.10 upgrade
In de nacht van maandag 6 op dinsdag 7 februari zullen we het OpenShift cluster upgraden van 4.10.30 naar 4.10.45 lees verder
20230124: OpenShift ODF 4.9 naar 4.10 upgrade
Op dinsdag 31 januari zullen we het OpenShift cluster het storage component (ODF) upgraden van 4.9 naar 4.10 lees verder
20230112: Uitrol DNSSEC
In de periode januari/februari/maart vinden er werkzaamheden plaats om alle (1500+) door NPO gehoste domeinen om te zetten naar DNSSEC. Hiermee wordt de security van de omgeving verbeterd; het wordt voor kwaadwillenden aanzienlijk moeilijker om bijvoorbeeld websites te kapen. Tegelijk hiermee wordt de software van het dns portal vervangen door een ander product. De omzetting gebeurt in 4 fases; eerst op 16 januari enkele noodzakelijke voorbereidingen. Dan van 23–26 januari activatie van DNSSEC op onze klassieke (BIND) DNS omgeving, gevolgd door van 20–23 februari activatie van de nieuwe dns portal en tot slot van 6–9 maart activatie van DNSSEC op de self service (PowerDNS) omgeving.