Kodeklandskapet er i endring, med seks nye kodeker som kommer innen utgangen av 2022-2023. I begynnelsen av 2022-2023 kodet de fleste streamingvideoprodusenter eksklusivt med H.264-kodeken, som debuterte i 2003. Noen større utgivere som Netflix, Amazon, YouTube , og Facebook, distribuerte også H.264s standardbaserte etterfølger, HEVC-kodeken og / eller Googles VP9-kodek. Et dryss av produsenter eksperimenterte med Alliance for Open Medias AV1-kodek. Utover disse fire eksisterende kodeker, i 2022-2023, vil MPEG lansere tre nye kodeker, allsidig videokoding (VVC), Essential Video Coding (EVC), og Low Complexity Enhancement Video Coding (LCEVC).
Med seks nye kodeker som skal tas i betraktning innen utgangen av 2022-2023, er det verdt å se på faktorer som bidrar til en vellykket adopsjon av en kodek. I denne artikkelen vil jeg se gjennom disse faktorene ved hjelp av H.264 og HEVC, og lage et analyserammeverk som jeg vil bruke i fremtidige artikler for å hindre potensiell suksess for AV1 og de tre nye MPEG-kodene.
Legg merke til at jeg først og fremst vil skrive fra forlagsperspektivet; ikke fra spillerens eller koderselskapets perspektiv.
- Forstå streaming-løsninger med lav latens
- Beste PTZ-kameraer, fange og streame enheter
1. Hva er kodekens komparative effektivitet?
En kodeks viktigste rolle er å redusere størrelsen på strømmen som kreves for å levere video til seerne våre. I mange tilfeller måles effektivitet mot H.264. Du ser dette i figur 1 fra 2015 HEVC Comparison report fra Moscow State University (MSU). Som forklaring presenterer MSU alltid dataene sine ved hjelp av x264, en av flere H.264-kodeker, med 100% kvalitet. For hver kodek viser den den prosentvise reduksjonen eller økningen i datahastigheten som er nødvendig for å produsere samme kvalitet som x264.
For eksempel, i diagrammet, kan x265-kodeken levere samme kvalitet som x264 ved 74% av bithastigheten, eller en besparelse på omtrent 26%. VP9-kodeken er ikke så langt etter, på 77%, eller en besparelse på rundt 23% i forhold til x264.
Denne besparelsen representerer en primær monetær fordel levert av de nyere kodeksene. Implementering av x265 tilbake i 2015 ville ha redusert båndbreddekostnadene for levering av video av samme kvalitet til HEVC-kompatible spillere med 26%. VP9 ville ha redusert båndbreddekostnadene med 23%.
Tenk på kodetilpasning som en break-even-analyse. Det er to kilder til tilsig; besparelser for levering til eksisterende kunder, som vi nettopp dekket, og merinntekter til kunder i nye markeder, som jeg vil dekke i neste avsnitt. Det er flere kostnader forbundet med kodekimplementeringer. Du vil levere H.264-kodet video i overskuelig fremtid, så koding og lagringskostnader for de nye kodeksene er begge tilsetningsstoffer. Du må også oppdatere spilleren og utføre noen måling av testing og QC.
Båndbreddebesparelser er åpenbart knyttet til antall seere for hver video. Her er et enkelt eksempel. Anta at det koster $ 20,00 å kode til en HEVC-kodestige, og at du sparte $ 0,01 i båndbreddekostnad per seer. Når 2000 seere har sett på videoen, har du gjort opp kostnaden. Hvis to millioner seere ser på videoen, har du spart 20 000 dollar i båndbreddekostnader. Derfor er det lettere for store selskaper som Netflix, YouTube, Amazon og Facebook å distribuere nye koder.
Uansett størrelse er det økonomisk fornuftig å distribuere en ny kodek når besparelser eller nye inntekter knyttet til den nye kodeken overstiger implementering og andre kostnader. Jo større kompresjonseffektivitet over eksisterende løsning, jo større er båndbreddebesparelsene.
Alt dette til side er det store flertallet av nye kodekdistribusjoner ikke for å høste båndbreddebesparelser eller annen leveringseffektivitet. Eneste spissen av pyramideutgivere som Netflix, Facebook og YouTube har distribuert VP9, til tross for at den for tiden er omtrent 35-40% mer effektiv enn x264. Snarere vedtar utgivere vanligvis nye kodeker som HEVC fordi det åpner markeder for nye kunder.
Dette fører til neste spørsmål.
PRO NYHETSBREVAudio + Video + IT. Våre redaktører er eksperter på å integrere lyd / video og IT. Få daglig innsikt, nyheter og profesjonelt nettverk. Abonner på Pro AV Today.
2. Hvilke nye markeder eller plattformer aktiverer kodeken?
Da Adobe la til H.264-avspilling i Flash i 2007, var H.264 bare omtrent 15% mer effektiv enn VP6-kodeken, som var den mest brukte Flash-kodeken før H.264. Til tross for disse sparsomme besparelsene, hvorfor konverterte de fleste utgivere raskt og fullstendig til H.264? For mens VP6 ikke spilte på iPod, iPhones eller andre mobile enheter, gjorde H.264 det. Med H.264 i både Flash og den dominerende kodeken på mobile enheter, kan utgivere droppe VP6 og nå to markeder med en enkelt kodek, en total no-brainer.
På samme måte har de fleste utgivere distribuert HEVC for å levere 4K og / eller HDR-videoer (high dynamic range) til smarte TV-er, set-top-bokser og OTT-enheter. For eksempel rapporterte encoding.com i sin Global Media Format Report fra 2022-2023, som rapporterte om deres 2022-2023-produksjon, at “vi forventer en veldig betydelig økning i volum i 2022-2023 drevet av UHD HDR-innhold som både premium HDR-standarder Dolby Vision og HDR + kartlegges til HEVC-videoformatet. ” Dessverre har encoding.com ikke oppdatert den rapporten for 2022-2023-resultater.
Til slutt begynte Apple endelig å støtte enten VP9 eller AV1 på sine 4K AppleTV-enheter, slik at seerne kunne se 4K-videoer på YouTube. Dette presiserer viktigheten som Alliance for Open Media-leverandører som Facebook, Netflix, YouTube og Amazon vil ha på AV1-adopsjon.
Poenget er at hvis kodeken ikke muliggjør nye markeder, er båndbreddebesparelser den eneste fordelen. Som sagt, uansett årsak, utenfor de største videoutgivere, har få andre funnet disse besparelsene tilstrekkelig motivasjon for å distribuere nye kodeker.
3. Hvordan er kodingstid?
Vi har snakket om breakeven-analysen. Jeg stiller dette spørsmålet fordi kodingstid oversettes direkte til kodingskostnad og jo høyere kostnad, desto vanskeligere er det å oppnå breakeven.
Som et eksempel koster AWS Elemental MediaConvert $ 0,024 per minutt for H.264-koding, $ 0,048 per minutt for HEVC-koding og $ 0,864 per minutt for AV1-koding. Heldigvis har AV1-kodingstider sunket veldig betydelig de siste månedene, og jeg er sikker på at Elemental-priser vil følge. Likevel, når kodingstidene er like glaciale som AV1-erne før, trenger du millioner av visninger for å samle båndbreddebesparelsene som er nødvendige for å oppnå brudd.
4. Kan den implementeres i programvare på relevante plattformer?
Dette spørsmålet snakker om hvor raskt en kodek kan implementeres på plattformer som er relevante for tjenesten din. Tilbake i 2007, da Adobe la til H.264 i Flash, var avspilling nesten universell på alle datamaskiner og mobile enheter. I motsetning til dette, med HEVC, var maskinvarestøtte på mobile enheter nødvendig for batterieffektiv avspilling, og dedikert HEVC-avkodingsmaskinvare var nødvendig på de fleste smarte TV-er, set-top-bokser og OTT-enheter.
Over tid begynte flere og flere enheter å støtte HEVC, og nå er det nesten allestedsnærværende i nåværende generasjons produkter, med VP9 bare litt bak. Men nye kodeker som krever maskinvare for effektiv avspilling, begynner helt fra bunnen av.
Som en tommelfingerregel tar det omtrent to år før de første forbrukerenhetene med maskinvarestøtte vises. Som et eksempel på dette ble AV1-spesifikasjonen avsluttet i midten av 2022-2023, og de første smarte TV-ene med AV1-støtte ble sendt i midten av 2022-2023. Åpenbart spiller det ingen rolle hvor effektiv en kodek er når den lanseres; det blir bare relevant når avspilling er tilgjengelig på et betydelig antall plattformer du leverer til.
Noe som fører til neste spørsmål.
5. Støtter Alliance for Open Media kodeken?
Selv om avspillingskravene er beskjedne, tar det to år for maskinvarestøtte, men avspilling i en nettleser eller et mobilt operativsystem kan ta noen uker. Imidlertid kontrollerer Alliance for Open Media-medlemmer Microsoft, Google, Mozilla og Apple de fleste nettlesere og operativsystemer og formatene de støtter. Dette er grunnen til at hele syv år etter lanseringen støttes HEVC bare i 16,99% av alle nettlesere og mobile operativsystemer sporet av www.caniuse.com (figur 2).
Sammenlignbart antall for AV1, som ble lansert fem år senere? 36,56%. Hva med VP9, som ble lansert omtrent samtidig som HEVC? 94,52%.
Hvis et betydelig antall seere ser på nettlesere og mobile enheter, gjør plattformstøtte en enorm forskjell i økonomien. Dette gjelder spesielt fordi programvarestøtte kan oppnås så raskt.
På dette tidspunktet virker det lite sannsynlig at AOM-medlemmer støtter noen MPEG-kodek, enten HEVC, VVC, EVC eller LCEVC. Så hvor standardbaserte kodeker som H.264 og MPEG-2 en gang hadde overtaket, har MPEG-kodeker nå en tydelig ulempe i tradisjonelle datamaskin- og mobilmarkeder.
6. Er kodeken en MPEG-standard?
Motion Pictures Experts Group, eller MPEG, opprettet og promoterte flere lyd- og videokodeker som hjalp til med å overføre analog video til digital. På et tidspunkt hadde MPEG-standarder som MPEG-2 og H.264 mye tydeligere veier til suksess enn proprietære kodeker som VP9. I dag har denne dynamikken endret seg, så selv om standardiseringsprosessen gir troverdighet til visse teknologier, er det ikke en garanti for suksess?
Hva er endret? Nesten alt. Tilbake da H.264 ble lansert i 2003, var kringkastingen konge, og streaming var ikke hundens hale, det var en negl. Nå er streaming helt klart hunden, og kringkastet halen, og selskaper som kontrollerer distribusjon av kodeker i nettlesere og mobile operativsystemer, og innholdsselskaper som Netflix og YouTube, har en utrolig innflytelse på kodeksutplassering.
Som jeg vil snakke om mer i øyeblikket, med MPEG-2 og H.264, var det en klar og sammenhengende royalty-policy, som gikk ut av vinduet med HEVC, som har tre patentbassenger. To av bassengene har publisert priser, og de årlige taktene hopper fra rundt $ 10 millioner for H.264 til over $ 60 millioner for HEVC. Det andre bassenget publiserer ikke prisene, og mer enn sju år etter utgivelsen av HEVC har fremdeles ikke oppgitt om de vil ta betalt for royalty på innholdet.
Med tanke på den to-årige utviklingssyklusen for kodek-distribusjoner, bestemte mange maskinvareselskaper seg for å distribuere H.264 og HEVC før royalty-policyen var klar. Etter HEVC kan store selskaper som Apple og Samsung utsette adopsjon av teknologi til royalty-bildet er tydeligere, noe som kan legge til ytterligere 24 måneder i adopsjonssyklusen.
Til slutt, fra et videokodekperspektiv, har MPEG trukket seg fra omtrent en ti-års syklus mellom MPEG-2, H.264 og HEVC, til en syv-årig syklus for ytterligere tre videokodeker som skal fullføres i 2022-2023. Sikkert, hver codec tilbyr et annet utvalg av funksjoner, ytelse og andre egenskaper, og det er lite sannsynlig at alle vil oppnå den samme kommersielle adopsjonen.
7. Hva er modellen for teknologieierskap og inntektsgenerering?
De fleste kodeker er resultatet av et samarbeid mellom flere parter. Med noen kodeker resulterer dette i en eller flere patenter for å tillate selskaper å få tilbake kostnadene for sine FoU-investeringer. I motsetning til dette ble VP9 utviklet eksklusivt av Google mens AV1 ble utviklet av Alliance for Open Media-selskaper som alle bidro med sine patenter til AOM på en royaltyfri basis.
Imidlertid, bare fordi et selskap eller en organisasjon hevder å eie alle rettigheter til en teknologi, gjør det ikke slik. Selv om Google hevder at VP9 er åpen kildekode, og det samme gjør Alliance for Open Media for AV1, har patentbassinadministrator Sisvel lansert patentsamlinger for både VP9 og AV1, og sier at disse kodene bruker oppfinnelser som er dekket av patenteiere i bassengene (merk at forfatteren rådfører seg med Sisvel angående disse bassengene).
Selvfølgelig er både H.264 og HEVC royalty-bærende for både kodere og dekodere og noen innholdstyper, så bare den eksistensen av en royalty ikke dømmer en teknologi. Snarere bryr potensielle lisensgivere seg om gruppens sammenheng, klarheten i lisensvilkårene og hvor raskt de er tilgjengelige.
8. Hvor satt er royalty-strukturen?
I 2017 opprettet Jonathan Samuelsson, administrerende direktør for codec-utvikler Divideon, grafikken vist i figur 3, som ble plakatbarnet for dysfunksjonaliteten representert av eiere av HEVC-relaterte patenter. Du ser de tre bassengene, og flere tilleggsselskaper, noen veldig viktige, ikke i noe basseng. Merk at dette er den originale grafikken designet av Samuelsson; eierbildet har endret seg noe siden den gang.
Det er klart at hvis du er en potensiell lisensgiver, foretrekker du et enkelt basseng som inkluderer alle kjente teknologibidragere, noe som faktisk kan skje for EVC og LCEVC. Når det er sagt, har de fleste store standarder mer enn ett basseng; hva lisensgivere ønsker er en betimelig og kjent struktur for alle viktige bidragsytere. Det er viktig at selv om VVC-standarden ble avsluttet i juli 2022-2023, er det lite sannsynlig at lisensvilkår vil være kjent før midten av 2022-2023. Hvis de ser ut som det du ser i figur 3, kan det hende at VVC aldri kommer av banen.
9. Er det en innholds royalty?
Hvis du er en streamingutgiver, dikterer spørsmål 4-8 hvor raskt en kodek kan bli tatt i bruk av maskinvare- og programvareutviklere, som styrer hvor raskt du kan begynne å bruke kodeken for å levere til seerne dine. Dette spørsmålet avgjør hvor mye det vil koste deg som streamingutgiver å distribuere innhold med den kodeken.
Igjen, innholdsavgift er ikke uhørt og dømmer ikke en kodek til å mislykkes; både HEVC og H.264 har noen innholdsavgift. Åpenbart må imidlertid disse kostnadene settes inn i breakeven-modellen for å avgjøre når og om det er økonomisk fornuftig å distribuere den nye kodeken.
Ser bakover og fremover
Når jeg ser tilbake, er det lett å se hvorfor H.264 var (er) en slik suksess: den ga beskjedne båndbreddebesparelser, men spilte på datamaskiner med en gang takket være Flash, og ga tilgang til et nytt marked (mobil). Lisensiering ble kontrollert av en enkelt patentsamling som inneholdt et flertall av de tilhørende patenter, og selv om maskinvareavspilling var nødvendig for H.264-avspilling på mobile enheter, var maskinvarestøtte nesten universell til å begynne med og ble snart allestedsnærværende.
I motsetning til dette debuterte HEVC med en veldig usammenhengende lisensstruktur som motvirket adopsjon av teknologi. Selv om HEVC-støtte er nesten universell på mobile enheter, Smart TV-er og de nyeste generasjonene av OTT-enheter, reduserer mangelen på nettleserstøtte den totale avkastningen på investeringen, mens mangelen på klarhet om innholdsavgift er en stor bekymring for mange utgivere. Som et resultat har HEVC først og fremst blitt implementert av utgivere som distribuerer 4K- og HDR-videoer til stuen.
