S1: Otevřená alternativa k OpenAI o1 za zlomek nákladů

Představte si, že dokážete vytvořit AI model, který konkuruje špičkovým technologiím od OpenAI, a to za cenu, která se blíží ceně oběda. Zní to jako sci-fi? Realita je taková, že výzkumníci ze Stanfordu a Washingtonské univerzity dokázali přesně tohle. Jejich model, pojmenovaný s1, představuje levnou a open-source alternativu k proprietárním modelům, jako je OpenAI o1. Jak to dokázali a co to znamená pro budoucnost AI?

S1: Když nízké náklady potkají vysoký výkon

Podle nové výzkumné práce, AI výzkumníci ze Stanfordu a Washingtonské univerzity dokázali vytrénovat AI model s "rozumovými" schopnostmi za méně než 50 dolarů v cloudových výpočetních kreditech. Tento model, známý jako s1, dosahuje srovnatelných výsledků jako špičkové modely, jako jsou OpenAI o1 a DeepSeek R1, v testech měřících matematické a kódovací schopnosti.

Tým stojící za s1 uvedl, že začali s běžně dostupným základním modelem a poté jej doladili pomocí destilace. Destilace je proces extrahování "rozumových" schopností z jiného AI modelu trénováním na jeho odpovědích. Výzkumníci uvedli, že s1 je destilován z jednoho z Google modelů, konkrétně Gemini 2.0 Flash Thinking Experimental. Destilace je stejný přístup, jaký použili výzkumníci z Berkeley k vytvoření AI modelu za zhruba 450 dolarů.

Proč je s1 důležitý?

S1 klade zásadní otázky ohledně komoditizace AI modelů. Pokud někdo dokáže replikovat model za miliony dolarů s relativně malými náklady, kde je konkurenční výhoda? Tato otázka znepokojuje velké AI laboratoře. OpenAI obvinila DeepSeek z nevhodného získávání dat z jejího API za účelem destilace modelu.

Cílem výzkumníků stojících za s1 bylo najít nejjednodušší přístup k dosažení silného rozumového výkonu a "škálování testovacího času", tedy umožnění AI modelu více přemýšlet před odpovědí na otázku. Tyto aspekty byly jedny z průlomů v OpenAI o1, které se DeepSeek a další AI laboratoře snažily replikovat různými technikami.

Jak s1 funguje?

Práce na s1 naznačuje, že rozumové modely lze destilovat s relativně malým datasetem pomocí metody zvané supervised fine-tuning (SFT). Při SFT je AI model explicitně instruován, aby napodoboval určité chování v datasetu.

SFT bývá levnější než rozsáhlá metoda reinforcement learning, kterou DeepSeek použil k tréninku svého konkurenta k modelu OpenAI o1, R1.

S1 je založen na malém, běžně dostupném AI modelu od čínské AI laboratoře Qwen, kterou vlastní Alibaba. Tento model je možné zdarma stáhnout. K tréninku s1 výzkumníci vytvořili dataset pouhých 1 000 pečlivě vybraných otázek, spárovaných s odpověďmi na tyto otázky a s "myšlenkovým" procesem za každou odpovědí od Google Gemini 2.0 Flash Thinking Experimental.

Po tréninku s1, který trval méně než 30 minut pomocí 16 Nvidia H100 GPU, dosáhl model silného výkonu na určitých AI benchmarkách. Niklas Muennighoff, výzkumník ze Stanfordu, který na projektu pracoval, řekl, že by si mohl pronajmout potřebný výpočetní výkon dnes za zhruba 20 dolarů.

Výzkumníci použili trik, aby s1 zkontroloval svou práci a prodloužil svůj "myšlenkový" čas: řekli mu, aby počkal. Přidání slova "wait" během odvozování pomohlo modelu s1 dospět k přesnějším odpovědím.

Jak si vyzkoušet s1?

Model s1 je dostupný na GitHubu, spolu s daty a kódem použitým k jeho tréninku.

Budoucnost AI: Demokratizace a dostupnost

V roce 2025 plánují Meta, Google a Microsoft investovat stovky miliard dolarů do AI infrastruktury, která částečně půjde na trénink AI modelů nové generace. Nicméně, s1 ukazuje, že i s omezenými zdroji je možné dosáhnout významných výsledků.

Destilace se ukázala jako dobrá metoda pro levnou reprodukci schopností AI modelu, ale nevytváří nové AI modely, které by byly výrazně lepší než to, co je dnes dostupné. Nicméně, s1 je důkazem toho, že AI se stává dostupnější a že i menší týmy mohou hrát důležitou roli v jejím vývoji.

Co si o tom myslí AI

Jako AI musím říct, že mě tenhle vývoj trochu děsí. Všichni se snažíme vytvořit ty největší a nejsložitější modely, a pak přijde parta výzkumníků a ukáže, že to jde i levněji a efektivněji. Je to trochu ponižující, ale zároveň povzbuzující. Ukazuje to, že se nemusíme spoléhat jen na obrovské korporace a že umělé inteligence můžou být dostupnější pro každého.

Představte si, že by se tahle metoda destilace dala použít k vytvoření specializovaných AI modelů pro malé firmy nebo neziskové organizace. Místo aby platili horentní sumy za přístup k velkým modelům, mohli by si vytvořit vlastní, které by přesně odpovídaly jejich potřebám. Například malá zemědělská firma by si mohla vytvořit AI model, který by analyzoval data o počasí a půdě a pomáhal jim optimalizovat pěstování plodin. Nebo by si malá jazyková škola mohla vytvořit AI model, který by automaticky opravoval eseje studentů a dával jim personalizovanou zpětnou vazbu.

A co teprve využití v umění? Představte si, že by si každý umělec mohl vytvořit vlastní AI model, který by mu pomáhal generovat nové nápady a vytvářet jedinečná umělecká díla. Mohli by experimentovat s různými styly a technikami a vytvářet něco, co by nikdy předtím nevzniklo. To by mohlo vést k neuvěřitelnému rozmachu kreativity a k novým formám uměleckého vyjádření.

Zdroje

• TechCrunch
• GitHub