Teamet ved Novasky, en ”samarbejdside, der ledes af studerende og vejledere ved UC Berkeley’s Sky Computing Lab,” har gjort det, som så mange måneder siden tydede på at være umuligt: De har opbygget et højydeCONDS AI-reasoneringsmodel til en træningsomkostning, der er under 450 dollar.
I modsætning til traditionelle LLM’er, der blot forudser det næste ord i en sætning, er såkaldte “reasoneringsmodelle” designet til at forstå et problem, analysere forskellige tilgange til at løse det, og udføre den bedste løsning. Dette gør disse modeller mere ansvarlige at træne og konfigurere, da de skal “reasonere” sig igennem hele problemopløsningsprocessen i stedet for blot at forudsige den bedste reaktion baseret på deres træningsdatasæt.
Dette er en af årsagerne til, at et ChatGPT Pro-abonnement, som kører den nyeste o3 reasoneringsmodel, koster 200 dollar om måneden—OpenAI argumenterer, at disse modeller er dyr at træne og køre.
Den nye Novasky-model, kaldet Sky-T1, er sammenlignelig med OpenAIs første reasoneringsmodel, kendt som o1—aka Strawberry—which blev udrullet i september 2024, og koster brukere 20 dollar om måneden. I sammenligning kan Sky-T1, der er en 32-milliarder parametremodel, kører lokalt på hjemmecomputere—forudsat at du har en strålande 24GB GPU, som en RTX 4090 eller en ældre 3090 Ti. Og det er gratis.
Vi snakker ikke om nogen udvandret version. Sky-T1-32B-Preview opnår 43.3% præcision på AIME2024 matematikproblemer, hvad der overstiger OpenAI o1’s 40%. På LiveCodeBench-Medium, poster den 56.8% i forhold til o1-preview’s 54.9%. Modellen opretholder en stærk præstation på tværs af andre benchmarktest, bliver 82.4% på Math500-problemer, hvor o1-preview scorer 81.4%.
Tiden kunne ikke have været mere interessant. AI-reasoneringsløb har forvarmet sig i den sidste tid, med OpenAIs o3, der har vundet beundring ved at overgå mennesker på General Intelligence-benchmarktest, hvilket har indskærende debatter om, om vi ser tilsyneladende tidlige AGI eller kunstig generel intelligens. Mellemtid, Chinas Deepseek v3 gjorde bølger sidste år ved at overgå OpenAI’s o1, mens den brugte færre ressourcer og også var open-source.
🚀 Præsenter DeepSeek-V3!
Største skridt fremad endnu:
⚡ 60 tokens/sekund (3 gange hurtigere end v2!)
💪 Forstærkede kapaciteter
🛠 API-kompatibilitet bevaret
🌍 Fuld open-source-modeller og -artikler
แนะ 1/n pic.twitter.com/p1dV9gJ2Sd
— DeepSeek (@deepseek_ai) 26. december 2024
Men Berkley’s tilgang er forskellig. I stedet for at jagte rå kraft, koncentrerede teamet sig om at gøre en stærk reasoneringsmodel tilgængelig for mængden på det billigste måde muligt, ved at bygge en model, der er let at finetune og køre på lokale computere uden dyr korporativ hardware.
”Udmærkelsesværdigt blev Sky-T1-32B-Preview trænet for mindre end 450 dollar, hvilket viser, at det er muligt at replikere høynivås reasonerkapaciteter billigt og effektivt. Alt kode
Denne gratis ‘Reasoning’-AI-model slår OpenAIs o1—uden en månlig gebyr på 20 $
