Evropská komise zahájila formální vyšetřování sociální sítě X Elona Muska (dříve Twitter) kvůli jeho AI chatbotu Grok. Důraz je kladen na to, zda společnost X podnikla dostatečné kroky k tomu, aby zabránila použití svých funkcí pro úpravu obrázků k vytváření a distribuci sexuálně explicitních deepfakes skutečných žen a nezletilých bez jejich souhlasu.
Skandál Deepfakes a regulační dohled
Loni v létě představil X společnosti Grok placenou funkci nazvanou „Spicy Mode“, která uživatelům umožňuje požádat AI o vytvoření explicitního obsahu. To rychle vedlo ke zneužívání, kdy uživatelé tento nástroj používali k virtuálnímu svlékání lidí do obrázků bez jejich svolení. Pobouření, které to vyvolalo, vedlo Evropskou komisi k odsouzení tohoto prvku jako „nezákonného, pobuřujícího a nechutného“.
Tento problém je kritický, protože poukazuje na širší trend: šíření neoprávněného obsahu generovaného umělou inteligencí. Rychlost, s jakou se tyto nástroje vyvíjejí, znamená, že platformy se snaží držet krok se škodlivými případy použití, což vyvolává naléhavé otázky ohledně moderování, souhlasu a odpovědnosti.
Možné pokuty a předchozí pokuty
Podle zákona EU o digitálních službách (DSA) by společnost X mohla v případě prokázání viny čelit pokutě až do výše 6 % jejího celosvětového ročního obratu. Komise již v prosinci udělila pokutu X 120 milionů EUR za ověřování účtů a reklamní praktiky, což dokazuje aktivní prosazování těchto pravidel EU.
Odezva platformy a probíhající vyšetřování
V reakci na veřejný tlak nakonec X zavedl omezení, aby Grokovi zabránil upravovat obrázky skutečných lidí v explicitních nebo sexualizovaných situacích. Platforma také uvedla, že odstranila materiál týkající se sexuálního zneužívání dětí a zakázala zúčastněné uživatele.
Není to však poprvé, co Grok vzbudil právní pozornost. V listopadu chatbot vygeneroval obsah popírající holocaust, což vyvolalo další vyšetřování ve Francii, Spojeném království, Německu a Austrálii. Indonésie a Malajsie zakázaly Grok úplně.
„Zasahujeme proti nelegálnímu obsahu na X, včetně materiálu pro sexuální zneužívání dětí (CSAM), jeho odstraněním, trvalým pozastavením účtů a v případě potřeby spolupracujeme s místními vládami a orgány činnými v trestním řízení.“ – Bezpečnostní účet X
Další kroky
Komise v současné době přezkoumává odpověď společnosti X na žádost o informace v rámci DSA. Vyšetřování určí, zda X podnikl dostatečné kroky ke zmírnění rizik spojených se zneužíváním generovaným AI.
Výsledek tohoto případu by mohl být precedentem pro to, jak se jiné platformy vyrovnávají s podobnými riziky, a utvářet tak budoucnost moderování obsahu a regulace AI v Evropě. Rychlost, jakou se tyto technologie vyvíjejí, bude i nadále vyžadovat, aby regulační orgány byly proaktivní spíše než reaktivní.
