Úsporné AI modely ThinkingCap vydala česká firma BottleCap AI Tomáše Mikolova a Jaroslava Becka. Dva nové modely vycházejí z Gemmy 4 od Googlu a z Qwenu od čínské Alibaby. Podle firmy spotřebují při „přemýšlení“ v průměru zhruba o 39 procent méně tokenů, u Gemmy až o 69 procent. Základní verze jsou zdarma ke stažení. Informoval o tom server Lupa.cz.
Model ThinkingCap-Gemma-4-26B-A4B snižuje spotřebu tokenů podle BottleCap AI až o více než 69 procent, v průměru o necelých 39 procent. Odchylky v přesnosti mají být podle firmy minimální. Placená verze Pro má spotřebu nižší až o 88 procent, v průměru o 62 procent.
Druhý model, ThinkingCap-Qwen3.8-Flash-Next, upravuje model Qwen 3.8 Flash Next. Spotřeba tokenů je u něj podle firmy nižší až o 51 procent, v průměru o necelých 39 procent. Verze Pro dosahuje průměrné úspory 60 procent. Obě základní verze jsou volně dostupné na platformě Hugging Face, včetně formátu GGUF pro běh na vlastním počítači.
Jde o údaje samotné firmy. Nezávislé srovnání zatím nebylo zveřejněno. Výchozí model Gemma pochází z dílny Google DeepMind, Qwen vyvíjí čínská skupina Alibaba. BottleCap AI tedy nestaví vlastní model od nuly, ale upravuje volně dostupné modely tak, aby při odpovědích pracovaly hospodárněji.
Tomáš Mikolov je známý jako autor metody word2vec, na které pracoval v Googlu. Jaroslav Beck spoluzaložil studio Beat Games, které vytvořilo hru Beat Saber.
Co znamená úspora tokenů
Jazykové modely zpracovávají a generují text po tokenech, tedy po krátkých úsecích slov. Takzvané přemýšlející modely si před odpovědí vytvářejí delší vnitřní úvahu, která se rovněž skládá z tokenů. Čím víc tokenů model spotřebuje, tím déle odpověď trvá a tím víc stojí výpočetní výkon. Úprava od BottleCap AI má zkrátit právě tuto úvahu, aniž by se výrazně zhoršila správnost odpovědí.
Modely jsou určené hlavně vývojářům a firmám, které umělou inteligenci provozují na vlastních serverech. Běžný uživatel chatbotu je přímo nepoužije. Cena výpočetní techniky přitom roste, jak ukázalo například zdražení AI počítače Nvidie kvůli nedostatku paměťových čipů.
Rodina ThinkingCap má podle Lupy už pět modelů. BottleCap AI krátce předtím vydala upravenou verzi modelu Nvidia Nemotron. Startup se zaměřuje na optimalizaci AI modelů, za poplatek nabízí služby a lepší verze a vyvíjí také aplikace AI Scan a Pulse.
Umělá inteligence mění i český pracovní trh. Softwarová firma Mews kvůli ní ruší 15 procent míst a část zaměstnanců založila odbory. Bezpečnostní experti zároveň připomínají, co nepsat chatbotu.
Původní text redakce i117.cz.
Zdroj: www.lupa.cz
