Differences

This shows you the differences between two versions of the page.

@@ Line 1: / Line 1: @@
+~~META:
+title = C2020D06: Plan Opruimen UG storage
+~~
+{{htmlmetatags>
+metatag-keywords=(borrel)
+metatag-og:title=(Plan Opruimen UG storage)
+metatag-og:description=(
+	Na het voltooien van de migratie van Uitzending Gemist naar NPO
+	Start in de periode 2016--2019 is het nu tijd om het oude UG
+	video archief op te ruimen. Oude UG content wordt door team
+	Hosting&Streaming in een aantal stappen verwijderd. Content die
+	door omroepen zelf geplaatst is blijft bestaan, maar gaat in de
+	loop van 2020 wel doorberekend worden aan de omroepen. Verder
+	is het plan om adaptive.npostreaming.nl per 31 dec 2020 uit te
+	zetten, download.omroep.nl op 31 dec 2021 en icecast.omroep.nl
+	danwel uit te zetten danwel te migreren naar een nieuw te bouwen
+	platform.
+	)
+}}
+====== C2020D06: Plan Opruimen UG storage ======
+Beste klant/collega,
+(Is dit bericht niet goed leesbaar? Bekijk dan de [[|online versie]].)
+In de periode 2016--2019 heeft er een migratie plaatsgevonden van het
+oude Uitzending Gemist (UG), player-7 gebaseerde streaming platform bij
+de NPO naar het nieuwe NPO Start, player-8 gebaseerde streaming platform
+bij NEP. Een onderdeel hiervan was het kopieren van het video archief
+naar de nieuwe locatie. Inmiddels is deze migratie afgerond, maar is het
+oude video archief nog niet opgeruimd. Vanwege de lopende kosten die nog
+voor het oude archief gemaakt moeten worden (+/- 15.000 euro per maand)
+staan in dit plan de stappen beschreven waarin het oude archief
+opgeruimd wordt.
+Samenvatting van het onderstaande:
+  * Content die door omroepen zelf (dwz buiten de gezamelijkheid) beheerd wordt is **niet** bevat in dit plan. Die wordt dus niet verwijderd. Hiervoor gaan we echter **wel** vanaf 1 juli 2020 de storage kosten doorberekenen.
+  * De adaptive streaming platformen (adaptive.npostreaming.nl en livestreams.omroep.nl) houden per 31 dec 2020 op te bestaan. Deze functionaliteit migreert naar NPO Start.
+  * download.omroep.nl houdt per 31 dec 2021 op te bestaan. Dus hoewel wij content van omroepen niet zullen verwijderen is deze na 2021 niet meer uitspeelbaar. Content wordt zoveel mogelijk gemigreerd naar NPO Start. Daar waar dit niet mogelijk is willen we samen met de afnemers nadenken over alternatieven.
+  * De oude Uitzending Gemist (UG) storage gaat de komende maanden in stappen van makkelijk(nieuw) naar moeilijk(oud) van het platform verwijderd worden.
+  * Dit betreft de 4 generaties UG content, die alleen via player-7 uitgeserveerd kon worden en met het uitzetten daarvan dus uberhaupt niet meer benaderbaar is:
+    * eerst de zogeheten "Pluto/M" content uit 2016--2019 waarvoor geldt dat omroepen daar sowieso niet zelf bij kunnen of konden en die bovendien (deels) gemigreerd is naar NPO Start.
+    * Daarna is de zogeheten "Ceres" content uit 2009--2016 aan de beurt. Hiervoor geldt ook dat omroepen daar niet zelf bij kunnen of konden en dat deze (deels) gemigreerd is naar NPO start
+    * Daarna slot is het de beurt aan de eerste generatie UG content, uit een systeem genaamd "Nebo" uit 2005--2008
+    * Nog ouder (1999--2008) is de content die via het NOB aangeleverd werd. Merk op dat deze content vaak ouder is dan metadata systemen als POMS en het dus goed mogelijk is dat deze content niet in POMS voorkomt.
+  * Niet alle bovenstaande UG content is gemigreerd naar NPO Start. Het is dus aan te bevelen om te kijken of daar misschien nog "pareltjes" tussen zitten voordat deze gewist worden. Dit om "Ja zuster, nee zuster" taferelen mbt het wissen van Ampex banden te voorkomen. Het is namelijk niet uit te sluiten dat de NPO op dit moment nog de enige drager van een deel van deze content is.
+  * Audio content is helemaal niet gemigreerd, daar gebeurt vooralsnog niets mee.
+Vooralsnog is dit document een plan. Bij deze vragen we de betrokkenen
+om feedback. Via de (voormalige) Werkgroep Techniek zal uiteindelijk
+besloten worden hoe het opruimen in z'n werk gaat.
+====== Achtergrond uitleg over het UG storage en streaming platform ======
+Het UG storage en streaming platform is van +/- 1999 tot 2019 organisch
+gegroeid van een verzameling bewegende postzegels naar een volwassen
+platform dat honderdduizend kijkers tegelijkertijd aankon.
+In die 20 jaar zijn er meerdere technieken en systemen geintroduceerd
+en ook weer uitgefaseerd. Dat zorgt ervoor dat er nu even wat uitleg
+nodig is over wat er staat en hoe een en ander met elkaar samenhangt.
+===== Streaming technieken =====
+Om te beginnen streaming technieken:
+  * Streaming op het internet begon eind jaren '90 met een techniek genaamd "Realmedia". Van 1999 tot +/- 2002 was Realmedia het meest gebruikte formaat binnen de het publieke bestel.
+  * Daarnaast was er eigenlijk ook altijd al een techniek genaamd "Progressive Download" waarbij je filmpjes in essentie via aan rechttoe rechtaan webserver download.
+  * In de vroege jaren '00 is hier WindowsMedia naast gekomen. Dit heeft heel snel Realmedia overvleugeld als meest populaire streaming formaat en is tot +/- 2010 het meest gebruikte streaming formaat binnen het publieke bestel geweest.
+  * Rond die tijd is er ook Quicktime naast gekomen, wat binnen de NPO nooit een hele hoge vlucht heeft genomen.
+  * In 2009 is het progressive download platform fors onder handen genomen, waarmee de afscherming zodanig verbeterd is dat het voor rechtenorganisaties acceptabel was om UG content als progressive download uit te serveren. Hierna heeft progressive download heel snel Windows Media als meest populaire techniek verdrongen. Met name ook omdat dit via een flash player uitgespeeld kon worden. De rol van flash is inmiddels wel uitgespeeld, maar omdat tegenwoordig eigenlijk alle players ook progressive download ondersteunen blijft dit formaat onverminderd populair.
+  * Met de komst van mobiele devices als iPhone (2007) en iPad (2009) kwam er behoefte aan een formaat dat zich automatisch aanpast aan de kwaliteit van je internetverbinding. Deze techniek staat nu bekend onder de verzamelnaam "Adaptive" en komt voor in de smaken HLS(apple)/HDS(afdobe flash)/HSS(microsoft). Vanaf 2012 levert de NPO z'n content via Adaptive uit. Dit gaat door tot de dag van vandaag.
+Binnen de NPO werd vanwege rechtenkwesties onderscheid gemaakt tussen
+"pure" streaming protocollen zoals Realmedia, Quicktime en Windowsmedia
+en zogeheten "pseudo" streaming protocollen zoals Progressive Download
+en Adaptive. Het verschil tussen de twee is namelijk dat een "puur"
+streaming protocol alleen in realtime valt te downloaden, dwz je bent
+een uur bezig om een programma van een uur te downloaden. Terwijl alle
+"pseudo" streaming protocollen zich lenen voor het zgn "rippen" van
+content. Als je internetverbinding maar snel genoeg is kan je een uur
+aan content in vijf minuten downloaden.
+Om die reden is alle pure streaming content (Realmedia, Quicktime,
+Windowsmedia) bij elkaar in 1 bakje (document root) gestopt en hebben de
+pseudo streaming protocollen elk hun eigen bakje (document root).
+Verder heb je voor al die technieken natuurlijk de bijbehorende servers
+nodig om de boel uit te serveren. Voor Real heb je een Realserver nodig,
+voor Windows Media een Windows Media server, voor progressive download
+een download (web) server en voor Adaptive is een soort opgepimpte
+webserver nodig.
+Maar, omdat de tijd voortschrijdt en het onderhoud van al die technieken
+geld kost worden niet alle smaken meer aangeboden door NPO team
+Hosting&Streaming. De pseudo streaming protocollen (progressive download
+en adaptive) doen we nog, de echte streaming protocollen (Real,
+Windowsmedia, Quicktime) zijn in een meer of minder ver verleden
+uitgefaseerd. Dat betekent dat de bijbehorende content nog wel op het
+platform staat, maar tegenwoordig op geen enkele manier meer
+uitgeserveerd wordt.
+Al met al geeft bovenstaand verhaal aanleiding tot onderstaande tabel
+^techniek	^bestandstypen	^plek op het filesysteem waar de content te vinden is	^bijbehorende uitspeel server^
+|Realmedia	|*.rm *.ra	|/e/real/rmfiles	|**geen**	|
+|WindowsMedia	|*.asf *.wmv	|/e/real/rmfiles	|**geen**	|
+|Quicktime	|*.mp4 *.mov *.qt|/e/real/rmfiles	|**geen**	|
+|Progressive Download|*.mp3 *.mp4 *.m4v en verder wat je maar wilt|/e/ap/download	|https://download.omroep.nl((tevens bekend als content.omroep.nl, audio.omroep.nl en video.omroep.nl))|
+|Adaptive	|*.ism *ismv	|/e/ap/adaptive		|https://adaptive.npostreaming.nl	|
+===== Gebruik van bovenstaande streaming technieken binnen de publieke omroep =====
+Voor bovenstaande streaming technieken zijn 2 groepen afnemers aan te
+duiden
+  - "de gezamelijkheid", waarbij de NPO namens de publieke omroepen een VOD platform  heeft gebouwd en beheerd ("Uitzending Gemist") Het uitspeelplatform was maar een schakel in een veel grotere keten die ook zaken als encoding en metadata beheer omvat.
+  - de individuele omroepen, waarbij een omroep geheel los van de centrale NPO kan besluiten om een stukje content via een van bovenstaande platformen te ontsluiten. In praktijk wordt/werd dit vaak door omroepen gebruikt om b.v. web-only content te ontsluiten. Pas in latere jaren is het mediabeheer van deze content gecentraliseerd door dit in POMS op te nemen.
+Voor de individuele omroepen is de situatie eigenlijk heel overzichtelijk:
+voor elk platform heeft een omroep z'n eigen hoekje (meestal genaamd naar de omroep) waar naar hartelust bestanden naartoe gekopieerd kunnen worden en die dan direct via het betreffende platform uitspeelbaar zijn.
+We nemen even (de inmiddels niet meer bestaande) zendgemachtigde "IKON" als voorbeeld.
+Deze heeft/had voor het progressive download platform een eigen hoekje
+''/e/ap/download/ikon'' en kon daar naar eigen welbevinden content plaatsen, zeg "001.Genesis1Tot5.P1.mp3", welke vervolgens opvraagbaar was middels https://download.omroep.nl/ikon/001.Genesis1Tot5.P1.mp3
+en vergelijkbaar voor de andere platformen.
+Deze content is/was 100% onder het beheer van de omroepen. De NPO faciliteert hier alleen het uitspeelplatform.
+Voor de gezamelijkheid (UG) ligt het wat anders. Bijna alle platformen
+(m.u.v. het adaptive platform) zijn ouder dan dat Uitzending Gemist is.
+Download.omroep.nl bestond al in het jaar 1999, dwz jaren voordat UG
+in 2002/2003 gelanceerd werd.
+Omdat deze platformen al bestonden is UG daar op gaan meeliften en
+heeft zich als een soort koekoeksjong in alle platformen genesteld
+en vervolgens de oorspronkelijke afnemers overvleugeld. Het
+koekoeksjong is groot geworden en is inmiddels uitgevlogen, terwijl
+de oorspronkelijke gebruikers nu enigzins vertwijfeld in hun nest
+zitten en zich afvragen waarom het opeens zo leeg is.
+Chronologisch ziet de schepping van NPO Start er ongeveer zo uit:
+^jaartal ^gebeurtenis	^
+|1995	|Lancering www.omroep.nl, de overkoepelende internetsite voor alle omoepen. Dit is de voorouder van wat uiteindelijk NPO Start zal worden.	|
+|1998	|Lancering van download.omroep.nl, waar omroepen zelf "grote bestanden" (plaatjes) kunnen plaatsen. Later zal dit uitgroeien naar het progressive download platform waarmee pieken tot 100Gbit gehaald worden. |
+|1999	|Lancering real.omroep.nl voor het uitspelen van streaming content, de eerste TV programma's worden omgezet naar realmedia formaat. Kijkers worden geteld in tientallen.	|
+|1999	|portal.omroep.nl splitst af van www.omroep.nl, als algemene toegangsportal voor alle publieke omroep content	|
+|2000	|Lancering media.omroep.nl. Sommige TV programma's zijn nu ook in windowsmedia formaat beschikbaar. Naar sommige providers ligt een dedicated verbinding, zodat er wel tot 100(!) mensen tegelijkertijd kunnen kijken. |
+|2001-2004|portal.omroep.nl vormt zich langzaam om tot terugkijk site.  Er wordt aangehaakt bij download.omroep.nl en media.omroep.nl om content uit te kunnen serveren.|
+|2004	|Lancering www.uitzendinggemist.nl, in de jaren hierna ondergaat het TV (terug)kijken via internet een stormachtige groei van honderden naar tienduizenden gelijktijdige kijkers.	|
+|2007	|De "Publieke Omroep" heet voortaan NPO |
+|2012	|Lancering adaptive.npostreaming.nl voor het uitspelen van adaptive content. Real is inmiddels allang in onbruik geraakt, windowsmedia hangt nog aan een zijden draadje. maar zal nog tot 2017 in leven worden gehouden. Progressive download is still going strong. |
+|2013	|Lancering npo.nl als opvolger uitzendingegemist.nl. De populairste programma's trekken inmiddels tot 100.000 gelijktijdige kijkers.	|
+|2018	|Lancering npostart.nl als opvolger van npo.nl	|
+Tijdens de groeifase van UG zijn er een aantal verpoppingen geweest
+waarbij op de achtergrond andere encoding en metadata systemen ingevoerd
+zijn. Dat uit zich serverside in andere hoekjes waar de content te
+vinden is en wat de omroepen daar wel/niet mee kunnen.
+Oorspronkelijk was het zo dat de encoding door het (toenmalige) NOB door
+een systeem genaamd "De Digitale Voorziening (DDV)
+gedaan werd en dat het ergens op het streaming platform neergezet werd
+waar omroepen ook toegang toe hadden. Op deze manier had een omroep de
+mogelijkheid om een programma later te wijzigen of te verwijderen. Dat
+is soms nodig als er in een programma bepaalde onderdelen zitten die
+later ivm rechten issues of rechtbankuitspraken niet meer getoond mogen
+worden.
+Later is daar een officieel mechanisme voor opgetuigd ("revokes"),
+waardoor het voor omroepen niet meer nodig was om direct zelf bij de
+streaming bestanden te kunnen en heeft dus het beheer hiervan zich
+langzaam aan het zicht van de omroepen onttrokken, culminerend in de
+introductie van Ceres waar omroepen geen rechten op het filesysteem meer
+hadden om uberhaupt nog de bestanden te kunnen bekijken.
+Al met al geeft dat aanleiding tot onderstaande tabel
+^periode	^1999-2008			^2005--2008	^2009--2016	^2016--2019^
+^backend	^DDV1				^NEBO/DDV2	^Ceres/DDV2	^Pluto/M |
+^techniek	^realmedia,windowsmedia		^windowsmedia,quicktime,progressive^progressive,adaptive	^progressive,adaptive	^
+|docroot	|/e/real/rmfiles/tv/<omroep>	|/e/real/rmfiles/id/<OMROEP>, /e/ap/download/id/<OMROEP>|/e/pa/ceres/active/internetvod/wmv/[12], /e/pa/ceres/active/internetdownload/h264/[12]|/e/pa/ceres/active/internetdownload/h264/[12], /e/pa/ceres/active/internetvod/adaptive/p|
+|leesbaar voor omroep?	|ja				|ja	|nee	|nee	|
+|schrijfbaar voor omroep?	|ja				|nee	|nee	|nee	|
+|storage drukt straks op omroepbudget?		|nee	|nee	|nee	|
+|kandidaat om weg te gooien?|ja?	|ja?	|ja	|ja	|
+Van alle "moderne" content (alles vanaf 2009) heeft het denken wij niet
+veel zin deze nog te bewaren. Dit is gemaakt in een tijd dat metadata
+beheer redelijk op orde was. We mogen aannemen dat alles wat het bewaren
+waard was ondertussen gekopieerd is naar NPO Start.
+Voor de oudere content ligt dat wat moeilijker. Hiervan zal niet in alle
+gevallen metadata beschikbaar zijn. Dus dat zal niet in alle gevallen
+gemigreerd zijn naar NPO Start (bijvoorbeeld realmedia content is in
+geen enkel geval gemigreerd en windowsmedia alleen maar deels)
+Het is dus best mogelijk dat hier content tussen zit die nu niet via NPO
+Start beschikbaar is.
+Tegelijkertijd is het zo dat dit vaak in lage
+kwaliteit zal zijn. In het beste geval betreft het "breedband" ("bb.*")
+content van maximaal 450kbit/s en een resolutie van 352x264 pixels. In
+het slechtste geval is het "smalband" ("sb.*") content van 83kbit/s en
+x144 pixels. De smalband bestanden vallen in de categorie "bewegende
+postzegel", de "breedband" bestanden zijn op een klein scherm (smartphone)
+nog wel aan te zien, maar op een groot scherm (TV) ziet het er niet uit.
+====== Metadata ======
+Naast de werkelijke data (de videofiles) is er ook metadata. Dat is data die
+de videodata beschrijft. Wat is de titel? Wanneer werd het uitgezonden?
+Door welke omroep? Enz. Een onderdeel van de metadata is een link naar
+de videodata.
+Stel nou dat de videodata verwijderd wordt, dan moet de metadata ook
+aangepast worden om deze link te verwijderen.
+Een van de systemen waar deze metadata wordt gebruikt is POMS. Het is
+dus zaak om als er een videobestand verwijderd wordt, de bijbehorende
+link in POMS meteen mee te verwijderen.
+De NPO zal er zorg voor dragen (ism met de leverancier van POMS) dat
+dit correct gedaan wordt.
+Echter, misschien zijn er bij de omroepen nog wel meer metadata systemen
+in gebruik die ook bijgewerkt moeten worden. Als dit het geval is den
+verzoeken we je om je bij ons te melden.
+====== En Audio dan? ======
+Bovenstaand verhaal gaat met name over video data. Hoe zit het met
+audio?
+Audio content welke door omroepen zelf ergens in een eigen directory
+neergezet (bijvoorbeeld /e/ap/download/ikon/ in het voorbeeld hierboven)
+is gewoon eigendom van die omroepen. Deze wordt niet door ons opgeruimd,
+maar de storage kosten gaan wel aan de omroepen doorberekend worden.
+Deze sectie gaat vooral over de audio content die in de gezamelijkheid
+is neergezet. Het audio equivalent van Uitzending Gemist.
+Omdat al deze content helemaal nooit bevat is geweest in de migratie naar NPO Start
+wordt deze vooralsnog ook niet opgeruimd. Wel zullen we in de nabije toekomst iets
+met deze content aan moeten. Voor de volledigheid is hieronder het overzicht
+van waar er allemaal audiocontent te vinden is.
+In de gezamelijkheid zijn er een aantal partijen relevant:
+^naam		^periode	^omschrijving	^
+|NOB		|2000--2010	|encodings van programma's	|
+|M&I		|2010--2014?	|encodings van programma's	|
+|Prepr		|2018--heden	|encodings van programma's	|
+|Pluxbox	|2012--heden	|audiologging	|
+|NPO Arla	|2019--heden	|audiologging	|
+Ook hier geldt dat er in de loop der tijd verschillende methoden en
+systemen zijn geweest om deze content te maken en te plaatsen.
+De audio content is terug te vinden op de volgende plaatsen:
+^  pure streaming (/e/real/rmfiles)  ^^
+^locatie				^periode	^wie plaatste het	^drukt op wiens budget?	^
+|/e/real/rmfiles/radio[1-6]/<omroep>	|2000--2013(?)	|NOB/M&I		|<omroep> |
+|/e/real/rmfiles/747am			|2000--2013	|NPO audio encoders	|NPO Audio	|
+|/e/real/rmfiles/cz			|2006--2008	|NOB			|NPO Audio	|
+^  progressive download (/e/ap/download)  ^^
+^locatie				^periode	^wie plaatste het	^drukt op wiens budget?	^
+|/e/ap/download/nporadio		|2018--heden	|Prepr			|NPO Audio	|
+|/e/ap/download/radio[1-6]/<omroep>	|2006--2013(?)	|NOB/M&I		|NPO Audio	|
+|/e/ap/download/747am			|2006		|NOB/M&I		|NPO Audio	|
+|/e/ap/download/projecten/audiologging	|2012--heden	|pluxbox		|NPO Audio	|
+|/e/ap/download/arla			|2019--heden	|NPO Arla		|NPO Audio	|
+Een verschil met TV is dat bij radio de zenders zelf ook entiteiten
+zijn. 3FM is een household names in
+Nederland. Dat zie je terug in de mappenstructuur op de fileserver.
+Er zijn mapjes gewijd aan "3fm" en "funx".
+Voor dit soort entiteiten geldt dat deze door NPO Hosting als een "omroep"
+zijn beschouwd, dwz ze hebben hun eigen mapjes waar individuele zenders hun eigen
+web-only content in konden uploaden. Al deze mapjes drukken qua storage echter weer
+op het gemeenschappelijke budget van NPO Audio.
+Zie hieronder voor een overzicht
+^  pure streaming (/e/real/rmfiles)  ^^
+^locatie				^periode	^wie plaatste het	^drukt op wiens budget?	^
+|/e/real/rmfiles/3fm			|1998--2013	|3fm redactie		|NPO Audio	|
+|/e/real/rmfiles/funx			|2006--2014	|funx redactie		|NPO Audio	|
+|/e/real/rmfiles/r2			|2006--2014	|radio redacties	|NPO Audio	|
+|/e/real/rmfiles/ghettoradio		|2008--2010	|ghettoradio redactie	|NPO Audio	|
+^  progressive download (/e/ap/download)  ^^
+^locatie				^periode	^wie plaatste het	^drukt op wiens budget?	^
+|/e/ap/download/funx			|2012--heden	|funx redactie		|NPO Audio	|
+|/e/ap/download/ghettoradio		|2010--2013	|ghettoradio redactie	|NPO Audio	|
+|/e/ap/download/3fm			|1999--2019	|3fm redactie		|NPO Audio	|
+|/e/ap/download/projecten/radio4/concerthuis	|2011--2014|Elastique		|NPO Audio	|
+|/e/ap/download/projecten/vm.radio4.nl	|2011--heden	|M&I			|NPO Audio	|
+====== Het opruimplan ======
+Vooropgesteld: de bestanden die door de omroepen zelf geplaatst zijn
+worden **niet** opgeruimd. **Wel** is het zo dat de ruimte
+die deze bestanden innemen doorberekend gaat worden aan de omroepen.
+Omroepen hebben zelf de mogelijkheid om bestanden te verwijderen als ze
+vinden dat deze bestanden niet meer nodig zijn en de kosten niet meer
+waard zijn. We willen vanaf **1 juli 2020** deze storagekosten gaan
+doorberekenen. De kosten hierval zullen ongeveer 30 euro per terabyte
+per maand gaan bedragen. Voor veel omroepen komt dit uit op enkele
+tientjes tot enkele honderden euro per maand.
+Het opruimplan gaat dus //uitsluitend// over content die in de
+gezamelijkheid is neergezet ten behoeve van ontsluiting via Uitzending
+Gemist, de voorlopers daarvan (www.omroep.nl en portal.omroep.nl)
+of de opvolger daarvan (npo.nl/gemist).
+Het werkelijke verwijderen van elke tranche gebeurt in een paar stappen
+  - Lijst genereren van de te verwijderen bestanden
+  - Via de WGT mailinglijst inzage in de lijst met te verwijderen bestanden geven.
+  - Deze lijst tegen POMS aanhouden om zo de bijbehorende metadata (de zgn "Publicatie Opties") bij te werken
+  - Zorgen dat de data niet meer via het oorspronkelijke pad te benaderen is (nl door het verwijderen van de bijbehorende ''/e/ap/...'' symlinks)
+  - Na een wachttijd van een week de data verplaatsen naar een hoekje waar applicaties deze niet meer kunnen zien.
+  - Na een wachttijd van nog weer een week het daadwerkelijk verwijderen van de data
+  - Na een wachttijd van een maand het verwijderen van de data uit **alle** backups. Hierna is de data niet meer, **nooit** meer terug te halen. Hooguit via alternatieve wegen als Beeld en Geluid.
+====== Verdere ontmanteling van het UG streaming platform ======
+In het UG streaming platform draaien op dit moment de volgende diensten:
+  * adaptive.npostreaming.nl: Adaptive VOD platform
+  * livestreams.omroep.nl: Adaptive live platform
+  * download.omroep.nl: Progressive download VOD platform
+  * icecast.omroep.nl: Live audiostreaming platform
+Met de migratie van UG naar NPO Start is de bestaansreden onder het oude UG
+streaming platform grotendeels weggevallen. De sizing van het huidige
+platform (groot) is niet meer in overeenstemming met het huidige gebruik
+(klein). download.omroep.nl en adaptive.npostreaming.nl zijn beiden geschaald
+voor een peak bandwidth van +/- 100Gbit, maar de het werkelijke gebruik
+komt normaliter niet meer boven +/- 5Gbit uit. Bovendien heeft het qua kosten maar
+weinig nut om -zeg- 80% van het platform uit te zetten, want zolang er
+nog grote gebruikspieken voor //kunnen// komen moet er toch een groot
+platform achter de hand gehouden worden. (denk aan grote nieuws events
+of incidentele, maar drukke zaken als b.v. Sinterklaasjournaal)
+Dus het lijkt ons veel efficienter als alle huidige gebruikers gaan
+verhuizen, bijvoorbeeld naar het NPO Start platform, zodat het oude UG
+platform in z'n geheel uitgezet kan worden.
+Op adaptive.npostreaming.nl zit eigenlijk nog maar 1 echte gebruiker, nl
+de clips op nos.nl. Deze zijn gescheduled om dit jaar naar het NPO Start
+platform te migreren. Daarom willen we het adaptive platform per **31
+december 2020** uitzetten.
+In dezelfde hoek zit livestreams.omroep.nl. Deze werd tot voor kort door
+de NOS gebruikt bij grote sport- of nieuws events. Dit verhuist in Q1
+naar het NPO Start platform. Hiermee valt het bestaansrecht voor
+livestreams.omroep.nl weg. Dit platform willen we ook per **31 december
+** uitzetten.
+Dan is er download.omroep.nl. Daar wordt nog door een heel aantal
+afnemers gebruik van gemaakt. (met name NPO Audio, NOS nieuws clips,
+sommige regionalen en een trits aan omroepen die hier nog web-only content hebben
+staan) Wij verwachten dat de afbouw van
+download.omroep.nl een ingewikkeld proces gaat worden. Daarom stellen we
+het volgende schema voor:
+  * Q2 2020
+    * inventarisatie wat er nog draait
+    * aanschrijven van de afnemers van download.omroep.nl
+  * Q3+Q4 2020
+    * waar mogelijk migratie naar NPO Start platform
+    * samen met de resterende afnemers kijken hoe de dienstverlening in een nieuw te bouwen platform gecontinueerd kan worden.
+  * Q1+Q2 2021
+    * bouw nieuw platform
+  * Q3+Q4 2021
+    * migratie naar nieuwe platform
+  * 31 december 2021: Opheffen van download.omroep.nl
+Als laatste is er icecast.omroep.nl. Dat is een speciaal geval. Ondanks
+dat alle livestreaming over zou moeten zijn naar het NPO Start platform
+hebben we op icecast nog nooit zulke grote pieken gezien als tijdens de
+top2000 van december 2019. Deze waren groter dan die van 2018, en 2018
+was op zijn beurt weer groter dan 2017.
+Omdat icecast infrastructuur deelt met de andere bovenstaande streaming
+platformen is het onze wens om icecast in z'n huidige vorm op termijn
+ook uit te kunnen zetten. (want anders drukken alle kosten van
+bovenstaande platformen straks alleen nog op icecast en wordt dit wel
+een prijzig platform)
+We willen hier graag het gesprek aangaan met de afnemers (NPO Audio)
+hoe de toekomst van dit platform eruit zou kunnen zien. Wij zien twee
+mogelijkheden:
+  - alle audio streaming loopt via het NPO Start adaptive platform, icecast wordt gediscontinueerd. Probleem hierbij zijn mogelijk internet audio systemen zoals bijvoorbeeld Sonos, welke momenteel alleen via icecast kunnen werken. Of:
+  - we bouwen een nieuw icecast platform dat beter met het gebruik mee kan schalen, zodat de kosten meer variabel worden. Eventueel in conjunctie met een nieuw te bouwen progressive download platform.