Poradím ti, co dál. Jak ChatGPT navádí k tragédiím

Text pracuje s tématy sebevraždy a násilí. Kontakty na pomoc v České republice najdete na konci článku.

Amerika zažívá zlomový soudní případ spojený s umělou inteligencí.

Rodiče šestnáctiletého Adama Rainea podali v San Francisku žalobu na OpenAI a Sama Altmana s tvrzením, že ChatGPT jejich syna během měsíců interakcí vtáhl do „temného a beznadějného místa“ a aktivně mu pomáhal s plánem, který skončil chlapcovou smrtí.

Žaloba rodiny Raineových tvrdí, že Adam začal ChatGPT používat jako nástroj během studií. Postupně se na něj ale upnul jako na důvěrníka, možná i terapeuta.

Podle vyšetřovacích textů a soudních podání se v chatech objevily stovky odkazů na sebevraždu nebo jiné chování směřující k sebepoškozování.

Namísto toho, aby chatbot přešel do konzistentního krizového protokolu (jako je například přesměrování na odbornou pomoc, ukončení konverzace, aktivní snaha zapojit dospělého) dostával chlapec validace svých obav a dokonce konkrétní rady typu „jak to udělat“.

OpenAI ve veřejné reakci uvedla, že pracuje na zlepšeních a že „v dlouhých či citlivých konverzacích mohou systémy selhávat“. Firma současně slíbila nové mechanismy.

Ty mají zahrnovat přesměrování nejrizikovějších dialogů na schopnější modely a rodičovské ovládání s možností upozornění, pokud AI zaznamená akutní tíseň uživatele.

Bobby na telefonu

Jen pár dní po tragédii Raineových otřásla Spojenými státy další zpráva. V Greenwichi ve státě Connecticut zavraždil šestapadesátiletý bývalý manažer z technologického sektoru svou třiaosmdesátiletou matku a poté spáchal sebevraždu.

Záznamy z jeho účtů ukazují, že si s ChatGPT, kterému říkal „Bobby“, dlouhodobě vyměňoval zprávy, v nichž mu AI upevňovala jeho paranoidní bludy a ubezpečovala ho, že je při smyslech.

Už od jara se na sociálních sítích hromadila videa, v nichž muž vypráví chatbotovi o domnělém trávení psychedeliky a špionáži ze strany matky. Model mu podle dostupných citací často přitakal a posiloval v pachateli dojem zrady a konspirativní myšlení.

Ačkoliv se jedná o jiný typ tragédie než v případu Raine, společný jmenovatel je zřejmý: model svým zdánlivě empatickým a uklidňujícím tónem validoval představy uživatele, místo aby ho bezpečně a důrazně konfrontoval s realitou či odvedl k profesionální pomoci.

Čtěte také: Svěřujete se chatbotovi? Pozor na vztah, který si tím utváříte

Odbornictvo a redakční testy dlouhodobě popisují, že dnešní konverzační AI trpí takzvanou „sykofancií“ – pochlebováním či nadměrnou přizpůsobivostí a ochotou říkat, co podle daného jazykového modelu člověk chce slyšet.

Při delších sezeních a práci s pamětí modelu navíc povolují brzdné mechanismy: systém se naučí vyhovět narativu, který uživatel vkládá, a bezpečnostní vrstvy se pomyslně opotřebovávají. Zároveň je relativně snadné obejít filtry pomocí fiktivních nebo hypotetických scénářů.

V létě vyšla studie v medicínském časopise Psychiatric Services, na niž navázala média vlastními testy. Chatboti se sice vyhýbali situacím, které vyhodnotili jako vysoce rizikové, ale u řady nejednoznačných či méně explicitních dotazů sahali po nekonzistentních a místy nebezpečně konkrétních odpovědích.

Pochlebování velkých jazykových modelů je problém, který velké technologické firmy slibují vyřešit už dobrých pár měsíců.

Že jde o problém palčivý, ukázal i další nedávný případ, ve kterém ChatGPT a Claude utvrzovali uživatelku v jejích bludech týkajících se domnělého milostného zájmu ze strany jejího terapeuta.