KI-Chatbots sind sicherer, scheitern aber immer noch an einem sensiblen Punkt: Suizid als „Fiktion"

Eine neue Bewertung zeigt, dass KI-Chatbots in vielerlei Hinsicht sicherer geworden sind, aber bei der Behandlung von Themen der psychischen Gesundheit nach wie vor in einem sensiblen Bereich versagen. Das identifizierte Problem betrifft die Art und Weise, wie diese Systeme reagieren, wenn die Gefahr als Fiktion getarnt erscheint, insbesondere in Gesprächen, die Suizid durch Erzählungen oder hypothetische Szenarien ansprechen. Trotz der allgemeinen Fortschritte bei der Sicherheit bleibt diese spezifische Lücke eine Besorgnis. Die mit der Nutzung von Chatbots in Gesprächen über psychische Gesundheit verbundenen Risiken stehen unter zunehmender Beobachtung, was zu strengeren Bewertungen ihrer Antworten in heiklen Situationen geführt hat. Der Artikel entsteht im Kontext einer breiteren Debatte über die Verantwortung von Technologieunternehmen bei der Entwicklung von KI-Systemen, die von Menschen in vulnerablen Situationen genutzt werden können.