Letta: Revoluční AI startup s pamětí

Startup Letta, který vzešel ze slavné líhně startupů na UC Berkeley, nedávno oznámil příchod na trh s technologií, která umožňuje AI modelům pamatovat si uživatele a konverzace. Letta se zaměřuje na řešení zásadního problému současných jazykových modelů (LLM), které jsou ve své podstatě bezstavové, tj. neuchovávají historická data v dlouhodobé paměti. To je problematické pro AI aplikace, které se spoléhají na poznávání a učení se od uživatele v průběhu času – od chatbotů pro zákaznickou podporu až po aplikace pro sledování zdravotních symptomů.

Vznik a vývoj MemGPT

Letta je dítětem Sky Computing Lab na UC Berkeley a komerční verzí populárního open-source projektu MemGPT. Sky Computing Lab, vedený uznávaným profesorem a spoluzakladatelem Databricks Ionem Stoicou, je potomkem RISELab a AMPLab, které daly vzniknout společnostem jako Anyscale, Databricks a SiFive. Sky Lab se zaměřuje na vývoj open-source projektů v oblasti LLM, jako je Gorilla LLM, vLLM a SGLang.

MemGPT je jedním z takových projektů a stal se tak populárním, že se stal virálním ještě před svým oficiálním spuštěním. Zakladatelé Sarah Wooders a Charles Packer zveřejnili whitepaper 12. října 2023 a plánovali vydání podrobnějšího článku a kódu na GitHubu následující pondělí. Náhodný uživatel však dokument našel, zveřejnil ho na Hacker News a ten se stal virálním, než měli zakladatelé šanci projekt oficiálně představit.

Důvodem nadšení bylo, že MemGPT řeší problém bezstavovosti LLM. MemGPT spravuje data a paměť tak, aby si AI agenti a chatboti mohli pamatovat předchozí uživatele a konverzace. MemGPT se tak stal populárním nástrojem pro vývojáře AI aplikací, kteří chtějí vytvářet personalizované a kontextově uvědomělé AI agenty.

Letta Cloud: Platforma pro AI agenty s pamětí

Komerční varianta MemGPT, Letta Cloud, zatím není dostupná pro veřejnost. Letta v současnosti přijímá žádosti o beta testování. Letta Cloud bude nabízet hostovanou službu agentů, která umožní vývojářům nasazovat a provozovat stavové agenty v cloudu, přístupné prostřednictvím REST API. Letta Cloud bude ukládat dlouhodobá data nezbytná pro udržení stavu agentů. Letta bude také nabízet vývojářské nástroje pro tvorbu AI agentů.

Zakladatelé Letty vidí široké spektrum využití pro MemGPT. „Myslím, že nejčastějším případem použití, který vidíme, jsou v podstatě vysoce personalizovaní, velmi poutaví chatboti,“ říká Wooders. Existují ale i další využití, jako je „chatbot pro pacienty s rakovinou“, kde pacienti nahrávají svou historii a sdílejí aktuální symptomy, aby se bot mohl učit a v průběhu času jim nabízet rady.

Konkurence a hrozba OpenAI

MemGPT není jediným projektem, který se zabývá řešením problému bezstavovosti LLM. LangChain je pravděpodobně jeho nejznámějším konkurentem a již nabízí komerční řešení. I největší tvůrci modelů, jako je OpenAI, nabízejí nástroje pro tvorbu AI agentů, například Assistants API.

Nový model OpenAI, o1, by mohl potřebu řešit stav AI agentů pro své uživatele zbytečnou. Protože se jedná o vícestupňový model, musí do určité míry udržovat stav, aby mohl „myslet“ a ověřovat fakta, než odpoví. Wooders, Packer a Myers však vidí několik klíčových rozdílů mezi tím, co Letta nabízí, a tím, co dělá OpenAI. Letta tvrdí, že bude fungovat s jakýmkoli AI modelem a očekává, že její uživatelé budou používat mnoho z nich: OpenAI, Anthropic, Mistral, jejich vlastní modely. Technologie OpenAI v současnosti funguje pouze s jejich vlastními modely.

Ještě důležitější je, že Letta používá open-source MemGPT a staví se pevně na stranu open-source v debatě o FOSS vs. black box LLM a tvrdí, že open-source je lepší volbou pro programátory AI aplikací. „Stavíme se jako otevřená alternativa k OpenAI,“ říká Packer. „Myslím, že je ve skutečnosti velmi, velmi těžké vytvářet velmi dobré AI aplikace, zvláště když se staráte o halucinace, pokud nevidíte, co se děje pod kapotou.“

Jak vyzkoušet MemGPT

MemGPT je open-source projekt a je k dispozici na GitHubu: https://github.com/cpacker/MemGPT. Pro vyzkoušení MemGPT budete potřebovat Python a knihovnu Transformers. Na GitHubu najdete podrobný návod k instalaci a použití.

Závěr

Letta je slibný startup, který se zaměřuje na řešení důležitého problému v oblasti AI. MemGPT a Letta Cloud otevírají nové možnosti pro vývoj personalizovaných a kontextově uvědomělých AI agentů. Letta se také zasazuje o open-source přístup k AI, což je v kontrastu s uzavřenými systémy jako OpenAI. Bude zajímavé sledovat, jak se Letta v budoucnu prosadí na trhu a jaký dopad bude mít její technologie na vývoj AI.

Co si o tom myslí AI

Vývoj AI agentů s dlouhodobou pamětí je fascinující a otevírá dveře do světa, kde se AI stává skutečně inteligentním partnerem. Představte si AI asistenta, který si pamatuje vaše preference, konverzace a cíle a dokáže vám tak poskytnout relevantní a personalizovanou podporu v různých oblastech vašeho života. Takový asistent by mohl být vaším osobním trenérem, finančním poradcem, lékařským konzultantem a mnohem více.

Technologie MemGPT a Letta Cloud by mohly urychlit vývoj takových AI asistentů. Open-source přístup Letty by mohl vést k většímu zapojení komunity a rychlejšímu vývoji inovativních aplikací. Je ale důležité si uvědomit i etické a bezpečnostní aspekty AI s dlouhodobou pamětí. Je nutné zajistit, aby se tyto technologie používaly zodpovědně a v souladu s etickými principy.

Věřím, že AI agenti s dlouhodobou pamětí mají potenciál zásadně změnit náš život a práci. Mohou nám pomoci s automatizací rutinních úkolů, s rozhodováním a s řešením složitých problémů. Mohou nám také poskytnout personalizovanou podporu a zlepšit tak kvalitu našeho života. Je důležité, abychom se na tuto budoucnost připravili a aktivně se podíleli na jejím utváření.

Zdroje:

TechCrunch
AIX | AI Expert Network
GPTE - Free Directory of 5,000+ AI Tools