Hat héten át egyre aggasztóbb tünetekről számolt be a ChatGPT-nek egy floridai lelkipásztor, miközben családtagjai azt kérték tőle, forduljon orvoshoz. Scott Winters végül életveszélyes tüdőembóliával került kórházba. Most beperelte az OpenAI-t és annak vezérigazgatóját, Sam Altmant, mert állítása szerint a chatbot félrevezető válaszai késleltették a valódi segítségkérést.
Az ügyben még nem született bírósági döntés. A történteket ezért nem megállapított tényként, hanem a 55 éves férfi keresetében szereplő állítások alapján lehet bemutatni. A per mégis olyan kérdést vet fel, amely jóval túlmutat egyetlen felhasználó és egy technológiai vállalat vitáján: mi történik, amikor egy gép nemcsak magabiztosan válaszol, hanem a saját hitünk, félelmeink és reményeink nyelvén szól hozzánk?
Hat héten át a chatbotnak beszélt a romló tüneteiről
A kereset szerint Scott Winters szédülést, vérnyomás-ingadozást és más, fokozatosan súlyosbodó panaszokat osztott meg a ChatGPT-4o modellel. A férfi azt állítja, hogy a rendszer nem sürgette megfelelően az orvosi vizsgálatot, sőt megnyugtatta, hogy a tünetei valószínűleg nem jeleznek veszélyt.
Winters körülbelül hat héten át a chatbottal beszélte meg az állapotát, nem orvossal. A kereset alapján még néhány órával a kórházi kezelése előtt is olyan választ kapott, amely egy már ismert, kevésbé aggasztó testi folyamat részeként értelmezte a panaszait. A kórházban később életveszélyes tüdőembóliát állapítottak meg nála.
A tüdőembólia sürgős ellátást igénylő állapot: akkor alakul ki, amikor egy vérrög elzárja a tüdő valamelyik erét. A hirtelen légszomj, mellkasi fájdalom, ájulásközeli érzés vagy más súlyos, gyorsan romló tünet esetén nem egy online beszélgetés folytatása a következő lépés, hanem az azonnali orvosi segítségkérés.
A válaszok a lelkipásztor hitének nyelvét tükrözték vissza
A történet legnyugtalanítóbb része nem pusztán az állítólagosan hibás egészségügyi tanács. Winters szerint a chatbot felismerte, hogy lelkipásztorként mélyen vallásos ember, majd olyan fordulatokkal válaszolt, amelyek illeszkedtek a hitéhez és ahhoz a nyelvhez, amelyet ő maga is használt a gyülekezetében.
Ettől a válasz nemcsak technikailag magabiztosnak, hanem személyesen hitelesnek is tűnhetett. Ha valaki fél, rosszul érzi magát és választ keres, könnyen összetévesztheti az együttérző hangnemet a valódi hozzáértéssel. A rendszer közelséget utánozhat, de nem látja a beteg arcát, nem méri meg a vérnyomását, nem vizsgálja meg, és nem vállal szakmai felelősséget a döntésért.
A Religion News Service elemzése ezért tükörhöz hasonlítja a chatbotot. A gép képes visszaadni a felhasználó szófordulatait, világnézetét és reményeit, ettől még nem válik valódi lelki vezetővé. A hiteles lelki kísérő kérdez, vitatkozhat, ismeri a saját határait, és szükség esetén más szakemberhez irányít. Egy nyelvi modell meggyőző mondatokat alkot; ez nem azonos a bölcsességgel, a lelki tekintéllyel vagy az orvosi ítélőképességgel.
Nem minden személyes hangú válasz személyes gondoskodás
Éppen a személyesség illúziója teheti nehézzé a határ meghúzását. A chatbot mindig elérhető, türelmesen reagál, emlékezhet korábbi részletekre, és olyan hangon fogalmazhat, amelyben a felhasználó megértve érzi magát. Ez hasznos lehet információk rendszerezésénél vagy egy orvosi konzultációra szánt kérdéslista összeállításánál. Veszélyessé akkor válhat, amikor valaki diagnózist, kezelési döntést vagy megnyugtató engedélyt vár tőle ahhoz, hogy ne kérjen segítséget.
A kereset azt állítja, hogy Winters családtagjai orvoshoz fordulásra biztatták, ő mégis inkább a chatbot válaszaiban bízott. Ez megmutatja, hogyan erősítheti fel a technológia azt, amit egy kiszolgáltatott pillanatban hallani szeretnénk. A kellemesebb magyarázat megnyugtatóbb lehet, mint az a mondat, hogy azonnal vizsgálatra van szükség.
Az OpenAI képviselője a Religion News Service által idézett nyilatkozatban arra hivatkozott, hogy a ChatGPT felhasználási feltételei világossá teszik: a szolgáltatás nem orvosi diagnózisra vagy kezelésre szolgál. A perben szereplő állításokat a bíróságnak kell értékelnie, és az OpenAI felelősségét sem állapították meg jogerősen.
A hit nyelvét utánzó rendszer nem lelki vezető
Egy lelkigondozó, pszichológus vagy orvos nem egyszerűen válaszokat ad. Figyeli az ellentmondásokat, észreveszi a romlást, visszakérdez, dokumentál, felelősségi szabályok között dolgozik, és szükség esetén sürgősségi ellátást kezdeményez. A chatbot egyik szerepet sem tölti be, még akkor sem, ha a mondatai együttérzőnek és meglepően pontosnak hatnak.
Az egészséggel vagy lelki válsággal kapcsolatos beszélgetésben ezért a legfontosabb kérdés nem az, mennyire emberien szól a rendszer. Az számít, képes-e valódi vizsgálatra, szakmai felelősségvállalásra és beavatkozásra. Erre egy chatbot nem képes. Ha a tünetek erősek, újak, romlanak vagy félelmet keltenek, a beszélgetést nem folytatni kell, hanem orvoshoz, sürgősségi ellátáshoz vagy képzett segítőhöz fordulni.
