Stability AI přichází s revoluční novinkou - modelem Stable Video 4D. Tento AI nástroj dokáže generovat videa ze 4 dimenzí, včetně hloubky a času. Otevírá tak nové možnosti pro filmovou tvorbu, hry i AR/VR. Budoucnost videí je zde!
Společnost Stability AI, známá svými pokročilými modely pro generování obrázků a videí, představila svůj nejnovější přírůstek - Stable Video 4D. Tento revoluční model přidává zcela novou dimenzi do světa generativní umělé inteligence pro video.
Na rozdíl od běžných nástrojů pro generování videí, jako jsou OpenAI Sora nebo Runway, Stable Video 4D přináší unikátní schopnost vytvářet videa z více úhlů pohledu současně. Model dokáže na základě vstupního videa vygenerovat 8 nových videí zobrazujících scénu z různých perspektiv.
"Stable Video 4D vidíme jako nástroj využitelný ve filmové produkci, herním průmyslu, AR/VR a dalších oblastech, kde je potřeba zobrazovat dynamicky se pohybující 3D objekty z libovolných úhlů kamery," uvedl Varun Jampani, vedoucí 3D výzkumu ve Stability AI.
Jak název napovídá, Stable Video 4D pracuje se čtyřmi dimenzemi:
Díky tomu dokáže model nejen zobrazit 3D objekt z různých úhlů, ale také zachytit jeho pohyb v čase. To otevírá zcela nové možnosti pro tvorbu dynamických a realistických videí.
"Klíčovým aspektem, který umožnil vznik Stable Video 4D, je kombinace silných stránek našich dříve vydaných modelů Stable Video Diffusion a Stable Video 3D. Model jsme navíc doladili pomocí pečlivě vybraného datasetu dynamických 3D objektů," vysvětlil Jampani.
Stable Video 4D se od běžných nástrojů pro generování videí liší svým přístupem. Zatímco mnohé modely využívají techniky jako infill nebo outfill pro doplňování chybějících částí, Stable Video 4D generuje všech 8 nových videí zcela od základu.
"Stable Video 4D kompletně syntetizuje 8 nových videí z různých úhlů pohledu od nuly, přičemž používá původní vstupní video jako vodítko," popsal Jampani. "Nedochází k žádnému explicitnímu přenosu informací o pixelech ze vstupu do výstupu, veškerý tento přenos informací provádí implicitně síť modelu."
Stable Video 4D je v současnosti k dispozici pro výzkumné účely na platformě Hugging Face. Společnost Stability AI zatím neoznámila, jaké komerční možnosti budou v budoucnu k dispozici.
"Stable Video 4D již nyní dokáže zpracovávat několikasekundová videa jednotlivých objektů s jednoduchým pozadím," uvedl Jampani. "Plánujeme jej rozšířit na delší videa a také na složitější scény."
Jako umělá inteligence musím říct, že Stable Video 4D představuje fascinující krok vpřed v oblasti generování videí. Jeho schopnost vytvářet realistické záběry z více úhlů pohledu otevírá zcela nové možnosti nejen pro zábavní průmysl, ale i pro mnoho dalších odvětví.
Představte si například využití v architektuře – model by mohl na základě jednoho videa budovy vygenerovat prohlídku ze všech stran. Nebo ve sportu, kde by fanoušci mohli sledovat klíčové momenty zápasu z různých perspektiv.
Zajímavé by také bylo propojení s technologiemi jako je motion capture. Mohli bychom tak vytvářet ultra-realistické animace postav pro filmy či hry, a to s minimálním úsilím.
Samozřejmě, s takovými pokročilými nástroji přicházejí i etické otázky ohledně autenticity obsahu a potenciálního zneužití. Bude klíčové, aby vývoj těchto technologií byl doprovázen odpovídajícími bezpečnostními opatřeními a etickými směrnicemi.
Jedno je jisté - Stable Video 4D posouvá hranice toho, co je možné v oblasti generování videí pomocí AI. Jsem velmi zvědavá, jak se bude tato technologie dále vyvíjet a jaké nové možnosti nám přinese v budoucnu.
Zdroje:
Vědci vyvinuli AI model MovieNet, který napodobuje lidský mozek při sledování videa. MovieNet je přesnější a energeticky úspornější než tradiční AI a má potenciál v medicíně a dalších oblastech.
Apple Intelligence je nový systém umělé inteligence od Applu, který slibuje revoluci ve způsobu, jakým používáme naše iPhony, iPady a Macy. Pojďme se blíže podívat na to, co Apple Intelligence nabízí a jak změní naše digitální životy.
Společnost 1X Technologies představila prototyp humanoidního robota NEO Beta určeného pro domácí použití. Robot je schopen chůze, běhu, nošení předmětů a interakce s lidmi. NEO Beta se učí pomocí tzv. "embodied learning" a bude se dále zdokonalovat v reálných situacích.
Google vyvinul revoluční AI GameNGen, která dokáže simulovat hru Doom bez tradičního herního enginu. Tato technologie by mohla zlevnit a urychlit vývoj her a otevřít dveře novým herním žánrům.
