Størrelsen betyder noget: Åbne kildesynsgeneratorer kan nu producere fuldlængdefilm.

På dansk: Kort sagt- Åbne kildekode-modeller viser sig at være i stand til at generere konsekvente videoer, der varer minutter, og udfordrer de bedste lukkede alternativer. SkyReels-V2 bryder video-længdebegrænsningerne med sit “diffusionsfremtvingende rammeværk”, der muliggør AI-video-generering af ubegrænset varighed og samtidig opretholder ensartet kvalitet hele vejen igennem. FramePack bringer lang AI-video-generering til forbrugerhardware og kræver kun 6 GB VRAM for at oprette minutlange videoer ved 30 fps ved intelligent komprimering af ældre rammer. Åbne kildegeneratore for videoer bliver varme og udfordrer de lukkede kæmper og giver dem kamp til stregen. De er mere tilpasselige, mindre begrænsede, ucensurerede, endog gratis at bruge – og producerer nu høj kvalitet videoer, hvor tre modeller (Wan, Mochi og Hunyuan) rangerer blandt de 10 bedste af alle AI-videogeneratorer. Den seneste gennemslagskraft kommer i form af forlængelse af videoernes varighed ud over de typiske få sekunder, med to nye modeller, der demonstrerer evnen til at generere indhold, der varer minutter i stedet for sekunder. Faktisk hævder SkyReels-V2, der blev udgivet denne uge, at den kan generere scener af potentielt uendelig varighed, samtidig med at der opretholdes ensartethed hele vejen igennem. Framepack giver brugere med mindre avanceret hardware mulighed for at oprette lange videoer uden at overbelaste deres pc’er. SkyReels-V2: Uendelig video-generering SkyReels-V2 repræsenterer et betydeligt fremskridt inden for videogenereringsteknologi, da det tackler fire kritiske udfordringer, der har begrænset tidligere modeller. Den beskriver sit system, der kombinerer flere AI-teknologier, som en “uendelig længdefilm-generativ model”. Modellen opnår dette gennem det, dens udviklere kalder et “diffusionsfremtvungen rammeværk”, som tillader sømløs udvidelse af videoindhold uden eksplicitte længdebegrænsninger. Den fungerer ved at betinge sidste rammer af tidligere genereret indhold for at skabe nye segmenter, hvilket forhindrer kvalitetsforringelse over udvidede sekvenser. Med andre ord betragter modellen de sidste rammer, den lige har skabt, for at beslutte, hvad der kommer næste, hvilket sikrer glidende overgange og ensartet kvalitet. Dette er hovedårsagen til, at videogeneratorer normalt holder sig til korte videoer på omkring 10 sekunder; noget længere, og genereringen har tendens til at miste sammenhæng. Resultaterne er ret imponerende. Videoer uploadet til sociale medier af udviklere og entusiaster viser, at modellen faktisk er ret sammenhængende, og billederne mister ikke kvalitet. Emner forbliver identificerbare igennem de lange scener, og baggrunde forvrænges ikke eller introducerer artefakter, der kan skade scenen. SkyReels-V2 indeholder flere innovative komponenter, herunder en ny billedtekster, som kombinerer viden fra generelle sprogmodeller med specialiserede “skud-ekspert”-modeller for at sikre præcis justering med filmterminologi. Dette hjælper systemet med bedre at forstå og udføre professionelle filmteknikker. Systemet anvender en flertrins-træningspipeline, der gradvist øger opløsningen fra 256 p til 720 p, hvilket giver høj kvalitet med bibeholdelse af visuel sammenhæng. Til bevægelseskvalitet – en vedvarende svaghed i AI-videogenereringen – implementerede holdet reinforcement learning specifikt designet til at forbedre naturlige bevægelsesmønstre. Modellen kan afprøves på Skyreels.AI. Brugere får nok credits til at generere kun en video; resten kræver et månedligt abonnement, der starter ved 8 dollars om måneden. Dog vil de, der er villige til at køre det lokalt, have brug for en førsteklasses pc. “At generere en 540P-video ved hjælp af 1,3B-modellen kræver cirka 14,7 GB peak VRAM, mens den samme opløsningsvideo ved hjælp af 14B-modellen kræver ca. 51,2 GB peak VRAM,” siger holdet på GitHub. FramePack: Prioritering af effektivitet Enkle pc-ejere kan også glæde sig. Der er også noget for jer. FramePack tilbyder en anden tilgang til Skyreels teknikken, der fokuserer på effektivitet i stedet for kun længde. Ved brug af FramePack-noder kan der genereres rammer med imponerende hastigheder – kun 1,5 sekunder per ramme, når det er optimeret – og samtidig skal der kun bruges 6 GB VRAM. “For at generere en 1 minuts video (60 sekunder) ved 30 fps (1800 billeder) ved hjælp af 13B-modellen, kræves der minimalt GPU-hukommelse 6 GB. (Ja, 6 GB, ikke en stavefejl. Laptop-GPU’er er okay),” sagde forskningsteamet i projektets officielle GitHub-repo. Dette lave hardwarekrav repræsenterer en potentiel demokratisering af AI-video-teknologi, idet den bringer avancerede genereringskapaciteter inden for rækkevidde af forbruger-graderede GPUs. Med en kompakt modelstørrelse på kun 1,3 milliarder parametre (sammenlignet med titusindvis af milliarder i andre modeller) kan FramePack muliggøre implementering på kant-enheder og bredere vedtagelse på tværs af brancher. FramePack blev udviklet af forskere ved Stanford University. Teamet inkluderede Lvmin Zhang, bedre kendt i den generative AI-fællesskabet som illyasviel, dev-influenceren bag mange åbne ressourcer til AI-kunstnere som de forskellige styreenheder og IC Lights-noder, der revolutionerede billedgenerering under SD1.5/SDXL-æraen. FramePacks nøgleinnovation er et intelligent hukommelseskompressionssystem, der prioriterer rammer baseret på deres vigtighed. I stedet for at behandle alle tidligere rammer ens, tildeler systemet flere beregningsressourcer til recente rammer, mens det progressivt komprimerer ældre rammer. Brugen af FramePack-noder under ComfyUI (grænsefladen, der bruges til at generere videoer lokalt) giver meget gode resultater – især taget i betragtning, hvor lidt hardware der kræves. Entusiaster har genereret 120 sekunder sammenhængende video med minimale fejl, og overgår SOTA-modeller, der giver god kvalitet, men alvorligt forringes, når brugerne skubber deres grænser og udvider videoer til mere end et par sekunder. Framepack er tilgængelig til lokal installation via det officielle GitHub-lager. Holdet understregede, at projektet ikke har en officiel hjemmeside, og alle andre webadresser, der bruger dens navn, er svindel-websteder, der ikke er tilknyttet projektet. “Betaler ikke penge eller downloader filer fra nogen af disse websteder,” advarede forskerne. FramePacks praktiske fordele inkluderer muligheden for træning i lille skala, højere kvalitetsresultater på grund af “mindre agressive planlæggere med mindre ekstreme strømskift-tidsintervaller,” ensartet visuel kvalitet bevaret hele vejen igennem lange videoer og kompatibilitet med eksisterende videodiffusionsmodeller som HunyuanVideo og Wan. Redigeret af Sebastian Sinclair og Josh Quittner.