Coraz więcej osób korzysta z chatbotów opartych na sztucznej inteligencji, szukając informacji o objawach, chorobach i leczeniu. Problem pojawia się wtedy, gdy AI udziela błędnej porady, a jej konsekwencje pozostają niewidoczne dla lekarzy i instytucji nadzorczych. Naukowcy z amerykańskich uczelni w artykule opublikowanym w „Nature Health” ostrzegają przed systemową luką w monitorowaniu bezpieczeństwa informacji medycznych generowanych przez sztuczną inteligencję.
Z tego artykułu dowiesz się…
- Dlaczego błędne porady medyczne udzielane przez chatboty AI mogą pozostawać niewykryte przez lekarzy, badaczy i organy regulacyjne oraz jakie zagrożenia opisali naukowcy w „Nature Health”.
- Więcej na temat przypadku 60-letniego pacjenta, który po konsultacji z ChatGPT zatruł się bromkiem sodu, oraz zrozumiesz, dlaczego brak historii rozmowy utrudnił lekarzom ustalenie przebiegu zdarzenia.
- W jaki sposób sztuczna inteligencja może rozpowszechniać dezinformację medyczną, również poprzez wyszukiwarki internetowe i platformy społecznościowe.
- Jakie rozwiązania proponują naukowcy, aby zwiększyć bezpieczeństwo porad zdrowotnych generowanych przez AI, w tym dostęp do historii rozmów, zgłaszanie błędów i niezależny nadzór.
Błędne porady medyczne AI mogą pozostawać niewykryte
Chatboty AI zapewniają szybki dostęp do informacji zdrowotnych, często przez całą dobę. Mogą pomagać w wyjaśnianiu terminów medycznych czy przygotowaniu pytań do lekarza. Jednocześnie ich odpowiedzi nie zawsze są poprawne, aktualne i zgodne z wiedzą medyczną. Naukowcy z Binghamton University, Stanford University, Texas A&M University i Indiana University zwracają uwagę na problem, który wykracza poza samą jakość generowanych odpowiedzi.
Jeżeli użytkownik zastosuje się do błędnej porady chatbota, lekarz może nie wiedzieć, że źródłem problemu była sztuczna inteligencja. Rozmowa pozostaje bowiem na platformie dostawcy technologii, a jej treść nie zawsze jest dostępna podczas późniejszej diagnostyki. Jak podkreśla Kaicheng Yang z Binghamton University:
Otrzymujemy porady medyczne od tych chatbotów, ale nikt – dosłownie nikt – nie zwraca na to uwagi. Jeśli wystąpi błąd lub problem, ludzie po prostu nie mają jak się o tym dowiedzieć.
Autorzy wskazują, że brak możliwości systematycznego dokumentowania takich zdarzeń utrudnia ocenę rzeczywistej skali zagrożeń.
Pacjent zatruł się bromkiem po konsultacji z ChatGPT
W publikacji przywołano przypadek 60-letniego mężczyzny, który zapytał ChatGPT o sposób wyeliminowania chlorków z diety. Mężczyzna zastąpił sól kuchenną bromkiem sodu. W konsekwencji doszło do zatrucia bromkiem, a pacjent trafił do szpitala z objawami obejmującymi halucynacje i paranoję. Przypadek pokazuje, jak niebezpieczne może być samodzielne wdrażanie zaleceń zdrowotnych uzyskanych od chatbota.
Co istotne, pacjent nie był w stanie odtworzyć wcześniejszej rozmowy z AI. Lekarze nie mogli więc dokładnie ustalić, jakie informacje otrzymał i w jaki sposób wpłynęły one na jego decyzję. Brak zapisu interakcji utrudnia nie tylko rozpoznanie przyczyn zdarzenia, lecz także identyfikację potencjalnie niebezpiecznych odpowiedzi systemu.
Dlaczego chatboty AI mogą przekazywać nieprawdziwe informacje medyczne?
Autorzy publikacji wskazują na kilka mechanizmów, które mogą prowadzić do powstawania błędnych porad zdrowotnych. Chatboty mogą generować nieprawdziwe informacje z dużą pewnością siebie, nadmiernie upraszczać złożone zagadnienia medyczne lub wykorzystywać nieaktualne dane. Problemem jest również przedstawianie niezweryfikowanych twierdzeń w sposób sugerujący ich wiarygodność. Zagrożenie nie ogranicza się do osób, które świadomie pytają AI o zdrowie.
Coraz częściej informacje generowane przez sztuczną inteligencję pojawiają się w podsumowaniach wyników wyszukiwania oraz na platformach społecznościowych, takich jak X czy Meta. Oznacza to, że użytkownik może zetknąć się z dezinformacją medyczną, nawet jeśli nie poszukuje porady dotyczącej leczenia.
Naukowcy proponują system zgłaszania błędnych porad AI
W artykule opublikowanym w „Nature Health” przedstawiono propozycje zwiększenia przejrzystości i odpowiedzialności dostawców sztucznej inteligencji. Zdaniem autorów użytkownicy powinni mieć możliwość dostępu do historii swoich rozmów dotyczących zdrowia, aby w razie potrzeby przekazać je lekarzowi. Firmy technologiczne powinny również opracować mechanizmy umożliwiające zgłaszanie, oznaczanie i analizowanie potencjalnie szkodliwych zaleceń medycznych. Badacze postulują ponadto:
- Wyraźne oznaczanie treści medycznych generowanych przez AI w mediach społecznościowych.
- Weryfikację takich materiałów przed ich publikacją przez odpowiednie podmioty nadzoru medycznego.
- Wykorzystywanie zweryfikowanych informacji zdrowotnych w podsumowaniach generowanych przez wyszukiwarki.
- Rozważenie rozszerzenia zasad odpowiedzialności za szkody medyczne na firmy rozwijające chatboty AI.
Propozycje te mają umożliwić skuteczniejsze wykrywanie błędów i ograniczanie ich konsekwencji dla pacjentów.
Niezależny nadzór nad AI w medycynie
Autorzy publikacji podkreślają, że monitorowanie bezpieczeństwa chatbotów nie powinno zależeć wyłącznie od firm technologicznych. Ich zdaniem potrzebne są niezależne mechanizmy oceny, które pozwolą badaczom, lekarzom i organom regulacyjnym analizować zagrożenia wynikające z wykorzystywania generatywnej AI do uzyskiwania informacji zdrowotnych. Jak zaznacza Kaicheng Yang:
Uważamy, że nie powinniśmy polegać na firmach w tej kwestii, ponieważ ich motywacją zawsze jest chęć zarobienia jak największych pieniędzy. Budowa takiego systemu jest sprzeczna z tą motywacją. Dlatego potrzebujemy jakiegoś zewnętrznego systemu monitorowania, niezależnej oceny.
Ważnym wyzwaniem pozostaje pogodzenie przejrzystości systemów AI z ochroną prywatności użytkowników, ponieważ rozmowy dotyczące zdrowia mogą zawierać szczególnie wrażliwe informacje.
Bezpieczeństwo pacjentów wymaga większej przejrzystości AI
Rozwój chatbotów medycznych i ogólnych modeli AI wykorzystywanych do wyszukiwania informacji zdrowotnych stawia przed systemami ochrony zdrowia nowe wyzwania. Autorzy publikacji w „Nature Health” zwracają uwagę, że problemem nie są wyłącznie błędne odpowiedzi sztucznej inteligencji, ale również brak mechanizmów pozwalających wykrywać i analizować ich konsekwencje.
Dlatego potrzebne są rozwiązania zapewniające dostęp do historii porad, skuteczne zgłaszanie niebezpiecznych treści oraz niezależną ocenę bezpieczeństwa systemów. Bez takich mechanizmów rzeczywista skala szkód związanych z poradami zdrowotnymi generowanymi przez AI może pozostawać nieznana.
Źródło:
- https://www.nature.com/articles/s44360-026-00206-x
- Binghamton University
