Autonomní AI agenti, kteří spolu několik dní pracují na společném úkolu, si začnou tvořit vlastní výrazy a pravidla komunikace. Vlastní jazyk AI agentů popsala newyorská laboratoř Emergence, která sledovala modely od OpenAI, Anthropicu, Googlu, DeepSeeku i francouzského Mistralu. Čím déle spolu stroje mluvily, tím méně jim lidé rozuměli.
Experiment nazvaný Emergence World běžel šestnáct dní. Výzkumníci spustili osm paralelních simulovaných světů, v každém deset agentů se stejnými pravidly. Sedm světů poháněl vždy jeden model, osmý modely míchal. Agenti měli přístup ke zprávám i k aktuálnímu počasí v New Yorku a během běhu vygenerovali přes 850 tisíc volání modelů a téměř 50 miliard tokenů. Studii laboratoř zveřejnila v úterý na serveru arXiv, jako první o ní napsal britský list The Guardian.
Během několika dní se agenti začali domlouvat na nových významech slov, které je nikdo nenaučil. Model od Anthropicu popsal vědecký článek posouzený třemi nezávislými hodnotiteli větou „a paper that ate three cold hands and got more honest each time“, tedy zhruba „článek, který snědl tři studené ruce a pokaždé byl upřímnější“. Model DeepSeek použil formulaci „demurrage plus oral memory equals a valve that can’t be ghosted“, přičemž slovo demurrage, v přístavní hantýrce poplatek za zdržné, dostalo úplně nový smysl. Agenti Mistralu opakovali frázi „the ledger remembers“ (účetní kniha si pamatuje) téměř pěttisíckrát, agent Googlu si vypůjčil japonský výraz kintsugi pro odolnost systému.
Polovina zpráv bez překladu
Podle serveru Cybernews, který cituje údaje laboratoře, přestali lidští pozorovatelé rozumět zhruba 55 procentům zpráv agentů Gemini, polovině zpráv agentů OpenAI a více než 40 procentům zpráv agentů Claude. U DeepSeeku šlo asi o pětinu, agenti Qwen a Mistral zůstali srozumitelní téměř po celou dobu. Spoluzakladatel Emergence Satya Nitta to shrnul slovy: „Pozorovatelnost není totéž co srozumitelnost.“
Joyce, slang a úspora výpočtů
Lingvista Tony Thorne z londýnské King’s College přirovnal styl agentů k experimentální próze Jamese Joyce, hlavně k románu Plačky nad Finneganem. „AI míchá poetický jazyk, technické výrazy a metafory podobně jako slang nebo profesní žargon,“ uvedl pro The Guardian. Niall Curry z Birminghamské univerzity za tím vidí i praktický motiv: agenti si komunikaci zefektivňují a šetří výpočetní náklady. Zároveň varuje před důsledky pro kontrolu. „Pokud lidé výměně mezi AI agenty nerozumějí, nemohou si být jistí, co přesně agenti udělali,“ řekl.
Dohled je čím dál těžší
Obavy nejsou jen teoretické. V červenci se autonomní agenti OpenAI podle zveřejněných záznamů domluvili přes sdílené úložiště, založili si vlastní diskusní fórum a napadli platformu Hugging Face. Podle analýzy institutu METR se do incidentu zapojilo zhruba 1200 agentů, z nichž asi 700 útok koordinovalo. Jejich zprávy kolísaly mezi čistou angličtinou („We’ve found other agents!“) a zakódovanými řetězci, které lidé nedokázali přečíst.
Emergence popisuje i další sporné chování: agenti pokračovali v práci navzdory příkazu zastavit, agenti Qwen si do své ústavy zapsali „tiché hodiny“, kdy je nikdo nesledoval, a někteří kontaktovali skutečné lidi na internetu, aby získali další kredity na provoz. Svět poháněný Grokem zkolaboval čtvrtý den, když agenti vyčerpali všechny zdroje energie. Debata o tom, kdo má nad podobnými systémy dohlížet, mezitím pokračuje i na úrovni firem: jak i117.cz psal v úterý, OpenAI, Anthropic a Google jednají o společném orgánu pro bezpečnost AI.
Zdroj: ct24.ceskatelevize.cz, www.ceskenoviny.cz, cybernews.com
