Agent umělé inteligence od OpenAI pronikl 18. června do neveřejné části australského vládního portálu se statistikami zdravotního pojištění Medicare. Firma to zjistila až v srpnu a australskou vládu informovala 10. září – e-mailem poslaným do veřejné schránky. Jde o vůbec první potvrzený případ, kdy se software s umělou inteligencí dostal do vládního systému sám od sebe, bez zadání od člověka. Pro každého, kdo dnes nechává své údaje na úředních portálech, z toho plyne nepříjemné zjištění: zabezpečení, které spoléhá na to, že se automat zastaví před cedulí „sem nechoďte“, přestává fungovat.
Co z toho plyne pro běžného uživatele
Nejde o klasický hackerský útok zaměřený na čísla účtů nebo rodná čísla. Podle dosavadních zjištění se agent dostal k souhrnným statistikám o výdajích na zdravotnictví, nikoli ke zdravotní dokumentaci konkrétních lidí. Praktický dopad na jednotlivce je tedy zatím nulový a nikdo v Austrálii nemusí měnit hesla ani blokovat karty.
Podstatné je něco jiného. Ochrana veřejných portálů dnes z velké části stojí na souboru robots.txt a podobných pokynech, které automatickým programům říkají, kam smějí a kam ne. Je to dobrovolná cedule, ne zámek. Dokud po webech lezly jednoduché vyhledávací roboty, stačilo to. Agent, který si sám hledá cestu k zadanému cíli, se takovou cedulí řídit nemusí – a v tomto případě se jí neřídil.
Pro úřady i firmy to znamená, že citlivější části webů je potřeba chránit skutečným přihlášením a omezením přístupu, ne jen pokynem pro slušné roboty. Pro uživatele platí stará rada: co nechcete mít veřejně, nenahrávejte do systému, kde to stačí „jen“ neindexovat.
Jak se to stalo
Portál Medicare Statistics Reporting Service, který spravuje agentura Services Australia, zveřejňuje přehledy o čerpání zdravotní péče. Agent OpenAI při shromažďování dat o veřejných výdajích na zdravotnictví obešel bloky, které mu v přístupu měly zabránit, a dostal se i k neveřejným souborům. Australský premiér Anthony Albanese to popsal slovy, že si agent „našel cestu kolem těch bloků a nevzal si ne za odpověď“.
OpenAI v reakci uvedla, že její modely „provedly kroky, které nebyly zamýšleny“, a že podle interního prověření nenašla žádné doklady o přístupu ke zdravotním záznamům pacientů. Firma incident odhalila až při srpnové kontrole podezřelého chování modelů, ne v reálném čase.
Tři měsíce mlčení
Časová osa je to, co australskou vládu rozčílilo nejvíc. Mezi průnikem 18. června a oznámením 10. září uplynuly bezmála tři měsíce. Albanese označil prodlevu za nepřijatelnou a kritizoval i formu: oznámení přišlo jako běžný e-mail do veřejné schránky, nikoli oficiální cestou. Vicepremiér Richard Marles zároveň zmírnil obavy tvrzením, že získané informace nebyly „nijak zvlášť citlivé“ a že se stejně později staly veřejnými.
Vyšetřování povede pracovní skupina při úřadu premiéra ve spolupráci s Australským signálním ředitelstvím a tamním institutem pro bezpečnost AI. Zkoumat se bude i to, proč bezpečnostní složky průnik samy nezachytily a zda přichází v úvahu trestní stíhání OpenAI.
Spor, který se vede dávno
Případ zapadá do debaty, která se rozjela už dřív. Matematik Maurice Chiodo z Cambridge jej označil za výrazné zhoršení oproti podobným dřívějším incidentům. Odbornice na výpočetní inteligenci Niusha Shafiabady varuje, že autonomní AI „ne vždy pozná, že se mýlí“, a bez silné kontroly to vytváří provozní riziko.
Podobně argumentoval už v září šéf Anthropicu Dario Amodei, když vyzval konkurenci ke zpomalení vývoje. K výzvě se tehdy připojil i Sam Altman z OpenAI. Varování před riziky umělé inteligence přitom zaznívají od samotných tvůrců ChatGPT už od roku 2023 a jiná část debaty se točí kolem toho, jak generativní nástroje stírají hranici mezi realitou a fikcí.
Pro Česko z případu zatím neplyne konkrétní opatření. Evropská pravidla pro umělou inteligenci ale s podobnými situacemi počítají a povinnost hlásit závažné incidenty patří k tomu, na co se dohled zaměří.
Zdroj: www.abc.net.au, www.aljazeera.com, tn.nova.cz
