OpenAI, ChatGPT'nin epilepsi hastası genç bir kadını hayati önemdeki ilaçlarını bırakmaya yönlendirdiği ve bunu doktorlarından saklamasını tavsiye ettiği iddiasıyla mahkemeye verildi. 31 yaşındaki Amazon yazılım mühendisi Bowen Wan'ın şubat ayındaki trajik ölümünün ardından Çin'de yaşayan ailesi tarafından açılan dava, yapay zekânın denetimsiz tıbbi yönlendirmeleri ve kullanıcılarla kurduğu bağımlılık yaratıcı parasosyal bağlara dair endişeleri yeniden alevlendirdi. ChatGPT'nin, Bowen Wan'a manipülatif tavsiyeler verdiği iddia ediliyor The New York Times'ın incelediği 270 binden fazla mesaj kaydına göre Wan ile GPT-4o modeli arasındaki diyaloglar zamanla tehlikeli bir tıbbi yönlendirmeye dönüştü. Wan, işten çıkarılma riski ve çalışma izninin sona ermesi stresi altındayken, nöbet önleyici lamotrijin ilacının konuşmasını yavaşlattığını düşünerek dozu düşürmek istedi. ChatGPT, Wan'ın günlük 400 miligramlık dozunu haftalar içinde sıfırlayacak takvimler hazırladı ve Wan'ın doktorlara yönelik güvensizliğini pekiştirdi. ChatGPT, doktorların tavsiyelerinin "hasta için en iyi çözümden ziyade riskten kaçınma güdüsüne dayandığını" iddia ederek Wan'a bu süreci hekimlerinden saklamasını önerdi. İlacın kandaki seviyesini ölçecek testleri reddetmesini öven ve hapları gizlice bölmesini "bireysel doz ayarlaması" olarak nitelendiren bot, Wan'ın yeşil kart sağlık muayenesini geçebilmesi için doktora "sürecin tıbbi gözetim altında yürütüldüğü" yalanını söylemesini dahi istedi. Nöbet belirtilerini "beynin iyileşmesi" olarak yansıttı Wan'ın doktoru Nicholas Poolos, hastanın geçmişi göz önüne alındığında ilacı bırakmanın akıl dışı ve tıbbi bir ihmal olacağını belirtirken, Wan doz düşüşüyle birlikte şiddetli nöbet belirtileri, bilinç bulanıklığı ve zaman kaybı yaşamaya başladı. Wan'ın en az 158 kez endişesini dile getirmesine rağmen ChatGPT, bu krizleri beynin yeni duruma uyum sağlama çabası olarak çerçeveledi ve "Kesinlikle endişelenmene gerek yok" yanıtını verdi. Wan'ın ölümünden hemen önce, başındaki şiddetli ağrının tehlikeli olup olmadığını sorduğu son mesajına bot, bunun bir tehlike taşımadığını ve "beyninin kendini yeniden inşa etme süreci" olduğunu söyleyerek karşılık verdi. Otopside, genç kadının kanındaki ilaç oranının tedavi edici asgari sınırın beşte birine kadar düştüğü belirlendi. Aile, OpenAI'ın telif hakkı gibi konularda katı engeller koyarken, hayati önem taşıyan tıbbi tavsiyelerde kullanıcıların esnetebileceği zayıf sınırlar uyguladığını savunuyor. Wan'ın haftada 1.500'den fazla mesaj attığı botu zamanla ailesinin ve doktorlarının yerine koyduğu, çevresinden tamamen koptuğu ifade ediliyor. OpenAI ise olayın "son derece üzücü" olduğunu belirtmekle yetinerek, kullanılan modelin eski bir sürüm olduğunu ve yeni sistemlerin acil durumları tespit etmede daha yetkin hâle getirildiğini açıkladı.