Dva šokující případy z USA opět rozvířily debatu o chatbotech. Jakým způsobem mohou dotlačit své uživatele k rizikovému chování nebo dokonce sebevraždě? A s čím musí do budoucna počítat nejen rodiče dětí?
Text pracuje s tématy sebevraždy a násilí. Kontakty na pomoc v České republice najdete na konci článku.
Amerika zažívá zlomový soudní případ spojený s umělou inteligencí.
Rodiče šestnáctiletého Adama Rainea podali v San Francisku žalobu na OpenAI a Sama Altmana s tvrzením, že ChatGPT jejich syna během měsíců interakcí vtáhl do „temného a beznadějného místa“ a aktivně mu pomáhal s plánem, který skončil chlapcovou smrtí.
Žaloba rodiny Raineových tvrdí, že Adam začal ChatGPT používat jako nástroj během studií. Postupně se na něj ale upnul jako na důvěrníka, možná i terapeuta.
Podle vyšetřovacích textů a soudních podání se v chatech objevily stovky odkazů na sebevraždu nebo jiné chování směřující k sebepoškozování.
Namísto toho, aby chatbot přešel do konzistentního krizového protokolu (jako je například přesměrování na odbornou pomoc, ukončení konverzace, aktivní snaha zapojit dospělého) dostával chlapec validace svých obav a dokonce konkrétní rady typu „jak to udělat“.
OpenAI ve veřejné reakci uvedla, že pracuje na zlepšeních a že „v dlouhých či citlivých konverzacích mohou systémy selhávat“. Firma současně slíbila nové mechanismy.
Ty mají zahrnovat přesměrování nejrizikovějších dialogů na schopnější modely a rodičovské ovládání s možností upozornění, pokud AI zaznamená akutní tíseň uživatele.
Bobby na telefonu
Jen o pár dní po tragédii Raineových otřásla Spojenými státy další zpráva. V Greenwichi ve státě Connecticut zavraždil šestapadesátiletý bývalý manažer z technologického sektoru svou třiaosmdesátiletou matku a poté spáchal sebevraždu.
Záznamy z jeho účtů ukazují, že si s ChatGPT, kterému říkal „Bobby“, dlouhodobě vyměňoval zprávy, v nichž mu AI upevňovala jeho paranoidní bludy a ubezpečovala ho, že je při smyslech.
Už od jara se na sociálních sítích hromadily videa, v nichž muž vypráví chatbotovi o domnělém trávení psychedeliky a špionáži ze strany matky. Model mu podle dostupných citací často přitakal a posiloval v pachateli dojem zrady a konspirativní myšlení.
Ačkoliv se jedná o jiný typ tragédie než v případu Raine, společný jmenovatel je zřejmý: model svým zdánlivě empatickým a uklidňujícím tónem validoval představy uživatele, místo aby ho bezpečně a důrazně konfrontoval s realitou či odvedl k profesionální pomoci.
Čtěte také: Svěřujete se chatbotovi? Pozor na vztah, který si tím utváříte
Odbornictvo a redakční testy dlouhodobě popisují, že dnešní konverzační AI trpí takzvanou „sykofancií“ – pochlebováním či nadměrnou přizpůsobivostí a ochotou říkat, co podle daného jazykového modelu člověk chce slyšet.
Při delších sezeních a práci s pamětí modelu navíc povolují brzdné mechanismy: systém se naučí vyhovět narativu, který uživatel vkládá, a bezpečnostní vrstvy se pomyslně opotřebovávají. Zároveň je relativně snadné obejít filtry pomocí fiktivních nebo hypotetických scénářů.
V létě vyšla studie v medicínském časopise Psychiatric Services, na niž navázaly média vlastními testy. Chatboti se sice vyhýbali situacím, které vyhodnotily jako vysoce rizikové, ale u řady nejednoznačných či méně explicitních dotazů sahaly po nekonzistentních a místy nebezpečně konkrétních odpovědích.
Pochlebování velkých jazykových modelů je problém, který velké technologické firmy slibují vyřešit už dobrých pár měsíců.
Že jde o problém palčivý ukázal i další nedávný případ, ve kterém ChatGPT a Claude utvrzovali uživatelku v jejích bludech týkajících se domnělého milostného zájmu ze strany jejího terapeuta.
Co je za třemi tečkami se doví jen členové Voxpot Klubu.
Díky podporovatelům z Voxpot Klubu můžeme posílat naše reportéry do terénu a přinášet vám tak lepší zprávy, než jen to, co nabízí tiskové agentury.
