I dag fokuserer jeg snevert på allsidig videokoding (VVC), og det er potensial for kommersiell suksess. For ytterligere bakgrunn, ta en titt på artikkelen min, How to predict codec success - Jeg identifiserte ni spørsmål som avslører de kritiske faktorene som i stor grad vil diktere om og når en codec vil oppnå kommersiell suksess.
Med dette i bakhodet vil jeg bruke disse spørsmålene på Versatile Video Coding (VVC), en standardbasert kodek som ble avsluttet i juli. Jeg foreslår at du i det minste skanner kodeksens suksessartikkel før du leser denne.
Et av spørsmålene jeg ikke vurderer, er den tekniske innovasjonen som brukes i den nye kodeken. Så hvis du vil ha mer informasjon om det tekniske fundamentet til VVC, sjekk ut denne artikkelen. Jeg hopper rett inn i spørsmålene.
PRO NYHETSBREVAudio + Video + IT. Våre redaktører er eksperter på å integrere lyd / video og IT. Få daglig innsikt, nyheter og profesjonelt nettverk. Abonner på Pro AV Today.
1. Hva er kodekens komparative effektivitet?
Åpenbart dikterer codecs komparative effektivitet hvor mye båndbredde som kodeken kan levere, en av de viktigste fordelene. I forhold til HEVC lover ITU-T-pressemeldingen at “VVC trenger bare halvparten av bithastigheten til forgjengeren" High Efficiency Video Coding "for å oppnå samme videokvalitet for videoinnhold med høy oppløsning." Qualcomm er litt mindre optimistisk og sier at “VVC … tilbyr en 40% reduksjon i filstørrelse sammenlignet med forrige standard, HEVC, samtidig som det opprettholder samme nivå på videokvaliteten.
Den siste vitenboken om emnet er å sammenligne VVC, HEVC og AV1 ved hjelp av objektiv og subjektiv vurdering. Tabell III, vist nedenfor, presenterer to av de mest relevante testtilfellene som ble vurdert av forskerne, UHD og HD-video, og sammenligner AV1 og VVC (kalt VTM i tabellen) til HEVC ved bruk av to objektive beregninger, PSNR og VMAF.
- Hvordan forstå streaming-løsninger med lav latens
- Live streaming sammenligningsguide
Gjennomsnittslinjen nederst forteller historien. Ved å lese fra venstre til høyre, ved å bruke PSNR som beregning, produserte AV1 samme kvalitet som HEVC med en datahastighetsreduksjon på 7,3%, mens VVC (igjen, VTM) leverte samme kvalitet med en reduksjon i datahastigheten på 28,5%. Når de skanner alle VTM-resultatene, er de i gjennomsnitt litt under 30% sammenlignet med HEVC.
Disse funnene motbeviser ikke ITU-T- eller Qualcomm-resultatene, siden kodeker generelt forbedrer ytelsen over tid. Likevel virker den bevist fordelen i dag nærmere 30% enn 50%, noe som er betydelig, men ikke banebrytende.
Som jeg observerer i Nine Questions-artikkelen, “er de aller fleste nye kodek-distribusjoner ikke for å høste båndbreddebesparelser eller andre leveringseffektiviteter. Eneste spissen av pyramideutgivere som Netflix, Facebook og YouTube har distribuert VP9, til tross for at den for tiden er omtrent 35-40% mer effektiv enn x264. Snarere vedtar utgivere vanligvis nye kodeker som HEVC fordi det åpner markeder for nye kunder.
Dette er en god innføring i spørsmål 2.
2. Hvilke nye markeder eller plattformer aktiverer kodeken?
Ser jeg tilbake, ble H.264 veldig raskt distribuert av streaming-utgivere fordi det muliggjorde levering til mobile enheter, som den forrige kodeken, VP6, ikke gjorde. På samme måte gjør de fleste publisister som distribuerer HEVC det for å sende 4K SDR / HDR-videoer til SmartTV-er, et marked de ikke rimelig kunne betjene med H.264.
Som vi skal diskutere om et øyeblikk, er VVC minst 2-3 år ute av meningsfylte distribusjoner. Kanskje på det tidspunktet vil 8K eller VR være nye og overbevisende markeder, men det er generelt anerkjent at 4K-video er vanskelig å skille fra HD i de fleste konfigurasjoner uten høyt dynamisk område. I beste fall, på dette tidspunktet, vet vi bare ikke om VVC vil aktivere nye markeder eller ikke.
3. Hvordan er kodingstid?
Kodingstid oversettes direkte til kodingskostnader; jo mer det koster å kode med en kodek, jo vanskeligere er det å oppnå brudd på båndbreddebesparelser, spesielt med distribusjonskostnader (i kostnader per GB) som kontinuerlig faller.
Hvitboken sammenlignet VVC (igjen, VTM) og AV1-kodingstider med HEVC normalisert til 1.0 (HM i tabellen), og produserte resultatene vist i tabell 2. Her ser du at det tar mellom 7-9 ganger lenger tid å VVC enn HEVC. Hvis du driver din egen kodingsgård, betyr dette at VVC vil være 7-9 ganger dyrere å kode enn HEVC. Hvis du bruker en tjenesteleverandør, kan du forvente en lignende prisøkning.
Jeg bør være oppmerksom på at observasjonsmeldingene om AV1 var basert på AV1 versjon 1.0, og i mai 2022-2023 ga AOM ut AV1 versjon 2.0. Selv om kvalitetsforbedringer var minimale, er AV1 en mye raskere koder på dette punktet. Så selv om stortingsmeldingens AV1-relaterte kvalitetsobservasjoner sannsynligvis fremdeles er på stedet, er de ytelsesrelaterte observasjonene sannsynligvis utdaterte.
På denne måten bør du også forvente at VVC-koding blir mer effektiv over tid, og ikke forblir på 7-9x HEVC.
4. Kan VVC implementeres i programvare på relevante plattformer?
Sannsynligvis ikke. Som vi alle personlig vet, er batterilevetiden konge når det gjelder mobilbruk. Fra et dekodingskompleksitetsperspektiv er VVC mellom 1-2 ganger mer kompleks enn HEVC ifølge denne studien, og krever 167% av dekodingstiden til HEVC i denne rapporten.
Så selv om VVC kan spilles av på datamaskiner (mer om dette i neste økt) uten maskinvarestøtte, vil den sannsynligvis ikke distribueres til mobile enheter før maskinvaredekoding er tilgjengelig. Tommelfingerregelen for maskinvarestøtte er ett år etter at kodeken er ferdigstilt for at produktene på chipnivå skal bli tilgjengelige, og et nytt år for sluttbrukerprodukter basert på chipsene for å komme på markedet.
Det betyr høsten 2022 for mobilstøtte i maskinvare, best case. Ditto for SmartTV og OTT / STB-enheter, som heller ikke har maskinvarestøtte før da.
5. Støtter Alliance for Open Media (AOM) kodeken?
Sannsynligvis ikke. Alliance for Open Media-medlemmer er programvareutviklere, produsenter av brikker og enheter, innholdsselskaper og tjenesteleverandører som sammen utviklet og lanserte AV1-kodeken. Siden Google og Mozilla begge er medlemmer, har deres respektive nettlesere, Chrome og Firefox, lenge støttet AV1, men verken støtter HEVC-kodeken, selv ikke på plattformer der operativsystemet allerede støtter kodeken.
Dette er et subtilt, men viktig poeng; Google og Mozilla kan trolig støtte HEVC på systemer med eksisterende maskinvare HEVC-støtte uten å pådra seg royalty fordi det er slik Mozilla støtter H.264 på noen plattformer (se her for mer informasjon). Systemer med HEVC-støtte inkluderer alle nye Mac-er og Apple-enheter, mange nye Windows-datamaskiner og de fleste nye Android-enheter. Du kan imidlertid ikke spille HEVC i Chrome, Firefox eller Edge for den saks skyld - Microsoft er også AOM-medlem - fordi ingen av disse selskapene har lagt til støtte for denne maskinvaren.
Det er vanskelig å forestille seg at noen AOM-nettleserutviklere vil utvide støtten til VVC. Så selv om VVC sannsynligvis kunne spille uten maskinvarestøtte på datamaskiner og bærbare datamaskiner (hvor batterilevetiden ikke er så stort problem), vil mangel på støtte i Chrome og Firefox komplisere avspilling på disse enhetene og motvirke adopsjon.
6. Er kodeken en MPEG-standard?
Ja, og dette er generelt en god ting. Men etter royaltybruddet som motet HEVC-støtte, er det neppe garantien for codec-suksess som det var for H.264 og MPEG-2.
7. Hva er modellen for teknologieierskap og inntektsgenerering?
Jo renere modellen for teknologieierskap og inntektsgenerering er, desto lettere er den ultimate lisensieringskostnaden å fastslå. VVC er en ekte MPEG-kodek utviklet av dusinvis om ikke hundrevis av bidragsytere, og deres utviklingsinnsats vil bli tjent med lisensiering.
Som du vil lese om i neste avsnitt, betyr dette at det kan ta litt tid før vi kjenner VVC-royaltystrukturen.
8. Hvor satt er royalty-strukturen?
På dette tidspunktet er det helt ukjent. Forstå at før lanseringen av HEVC-kodeken, mange selskaper forpliktet seg til å støtte nye maskinvarekodeker før royalty-kostnadene var kjent fordi de antok at kostnadene ville være rimelige. Det endret seg med HEVC, som fremdeles er et rot. Så det forventes at større produsenter som Apple og Samsung vil motstå å støtte en ny kodek til royalty-strukturen er klar.
I 2022-2023 ble en bransjegruppe kalt Media Coding Industry Forum (MC-IF) dannet for å hjelpe VVC IP-eiere med å formulere en mer sammenhengende og rimelig royalty for VVC. I juli 2022-2023 lanserte MC-IF formell "patentfremmende" innsats for å bidra til å danne en eneste patentpulje for VVC. Imidlertid kunngjorde en av de tre HEVC-patentadministratorene, HEVC Advance, nylig sitt eget foreslåtte VVC-lisensieringsprogram, som ble sett på som et forsøk på forebyggende streik av minst en annen bassengadministrator.
I beste fall vil patentfremstillingsprosessen føre til valget av en patentbassengadministrator (eller administratorer) innen slutten av 2022-2023, men det er ingen garantier. Så på dette tidspunktet er royalty-strukturen ukjent, og utsiktene til et enkelt basseng er i tvil.
9. Er det en innholds royalty?
Ditto. Vi vet ikke på dette tidspunktet.
Hva betyr alt dette? I beste fall, gitt den to-årige maskinvaresyklusen mellom når en kodek er ferdigbehandlet og når den vises i forbrukerprodukter, vil det være 2022 til enheter med VVC-avkoding kommer på markedet, og det vil være dripping og drabs. Det vil ta mye lengre tid før den installerte basen når relevant kritisk masse. Og denne adopsjonen kan bli forsinket til royalty-bildet er satt, noe som sannsynligvis ikke vil skje før i midten av 2022-2023.
Hvis du er en streamingprodusent som er bekymret for å savne båten på VVC, kan du arkivere den bekymringen i "bekymre deg for i 2022" -filen.