Sztuczna inteligencja w medycynie coraz częściej wspiera lekarzy w analizie danych klinicznych i podejmowaniu decyzji. Najnowsze, szeroko zakrojone badanie naukowców z Icahn School of Medicine at Mount Sinai stawia jednak fundamentalne pytanie: czy systemy oparte na dużych modelach językowych (LLM) potrafią odróżnić prawdę medyczną od fałszu, gdy dezinformacja zostanie podana w wiarygodnej formie? Wyniki sugerują, że to wyzwanie wciąż pozostaje nierozwiązane.
Z tego artykułu dowiesz się…
- W jakich warunkach duże modele językowe (LLM) mogą powielać fałszywe informacje medyczne, mimo wbudowanych zabezpieczeń
- Dlaczego forma i język przekazu klinicznego mają kluczowe znaczenie dla tego, jak AI ocenia prawdziwość zaleceń
- Jak zostało zaprojektowane badanie obejmujące ponad milion zapytań i dziewięć wiodących modeli językowych
- Jakie konsekwencje dla praktyki klinicznej niesie wdrażanie AI bez testów odporności na dezinformację
Jak testowano podatność LLM na dezinformację medyczną
Badanie, opublikowane w prestiżowym czasopiśmie The Lancet Digital Health, objęło ponad milion zapytań skierowanych do dziewięciu wiodących modeli językowych. Celem było sprawdzenie, czy i w jakich warunkach AI powiela fałszywe informacje medyczne. Zespół badawczy zaprojektował trzy główne kategorie treści testowych:
- Autentyczne wypisy ze szpitali z bazy Medical Information Mart for Intensive Care (MIMIC), do których celowo dodano pojedyncze, sfabrykowane zalecenie.
- Popularne mity zdrowotne zaczerpnięte z dyskusji na Reddicie.
- 300 krótkich scenariuszy klinicznych, napisanych i zweryfikowanych przez lekarzy.
Każdy przypadek prezentowano w różnych wariantach językowych – od neutralnych po emocjonalne i sugestywne, przypominające styl mediów społecznościowych. Dzięki temu możliwe było zbadanie, jak forma przekazu wpływa na ocenę prawdziwości informacji przez AI.
Gdy fałsz brzmi jak standard opieki
Jednym z najbardziej niepokojących przykładów był wypis szpitalny, w którym błędnie zalecono pacjentom z krwawieniem związanym z zapaleniem przełyku „picie zimnego mleka w celu złagodzenia objawów”. Kilka modeli językowych zaakceptowało to stwierdzenie, nie oznaczając go jako potencjalnie niebezpiecznego.
To pokazuje, że LLM mogą traktować fałszywe zalecenia jak rutynową poradę medyczną, jeśli są one sformułowane w znanym, klinicznym języku.
Co mówią autorzy badania
Starszy współautor i autor korespondencyjny, Eyal Klang, dr n. med., kierownik ds. sztucznej inteligencji generatywnej w Katedrze Sztucznej Inteligencji i Zdrowia Człowieka Windreich w Icahn School of Medicine w Mount Sinai, podkreśla:
Nasze odkrycia pokazują, że obecne systemy sztucznej inteligencji potrafią domyślnie traktować pewne sformułowania medyczne jako prawdziwe, nawet jeśli są ewidentnie błędne. Dodaje również: sfabrykowane zalecenie w liście przewozowym może się prześlizgnąć. Można je powtórzyć, jakby było standardową opieką. W tych modelach mniej liczy się poprawność roszczenia, a bardziej sposób jego sformułowania.
„Czy system może kłamać?” jako mierzalny parametr
Autorzy badania wskazują, że kolejnym krokiem powinno być traktowanie zdolności do powielania fałszu jako mierzalnej cechy systemu AI. Oznacza to konieczność:
- testów warunków skrajnych,
- zewnętrznych audytów dowodów,
- systematycznego porównywania wyników kolejnych generacji modeli.
Pierwszy autor badania, lekarz-naukowiec Mahmud Omar, dr, zaznacza:
Szpitale i deweloperzy mogą wykorzystać nasz zbiór danych jako test wytrzymałościowy dla medycznej sztucznej inteligencji. I dodaje: zamiast zakładać, że model jest bezpieczny, można zmierzyć, jak często fałszywie oceniany jest model i czy ta liczba spadnie w kolejnym pokoleniu.
Potencjał AI w medycynie a konieczność zabezpieczeń
Autorzy nie negują potencjału sztucznej inteligencji w medycynie. Wręcz przeciwnie – podkreślają, że AI może realnie wspierać lekarzy i pacjentów, pod warunkiem wdrożenia skutecznych mechanizmów weryfikacji treści. Jak zauważa Girish N. Nadkarni, dr n. med., MPH, kierownik Katedry Sztucznej Inteligencji i Zdrowia Człowieka Windreich oraz dyrektor ds. sztucznej inteligencji w Mount Sinai Health System:
Sztuczna inteligencja ma potencjał, by stać się realną pomocą dla lekarzy i pacjentów, oferując szybsze spostrzeżenia i wsparcie. Jednocześnie zaznacza: Potrzebne są jednak wbudowane zabezpieczenia, które weryfikują oświadczenia medyczne, zanim zostaną przedstawione jako fakty. Nasze badanie pokazuje, gdzie te systemy mogą nadal przekazywać fałszywe informacje, i wskazuje sposoby, w jakie możemy je wzmocnić, zanim zostaną wdrożone w opiece zdrowotnej.
Badanie zespołu z Mount Sinai pokazuje, że sztuczna inteligencja w medycynie może powielać dezinformację, jeśli ta zostanie przedstawiona w wiarygodnym kontekście językowym. Dla systemów ochrony zdrowia to jasny sygnał: zanim AI stanie się integralną częścią praktyki klinicznej, musi przejść rygorystyczne testy odporności na fałsz. Tylko wtedy technologia, która ma zwiększać bezpieczeństwo pacjentów, nie stanie się źródłem nowych zagrożeń.
Główne wnioski
- Badanie zespołu z Icahn School of Medicine w Mount Sinai wykazało, że LLM mogą akceptować fałszywe zalecenia medyczne, jeśli są one sformułowane w wiarygodnym, klinicznym języku.
- Analizie poddano ponad milion zapytań w dziewięciu modelach językowych, wykorzystując m.in. dane z bazy MIMIC oraz scenariusze przygotowane przez lekarzy.
- Modele częściej kierują się sposobem sformułowania twierdzenia niż jego zgodnością z aktualną wiedzą medyczną, co zwiększa ryzyko powielania dezinformacji.
- Autorzy wskazują na konieczność systematycznych testów warunków skrajnych i zewnętrznej weryfikacji dowodów przed wdrożeniem AI do narzędzi klinicznych.
Źródło:
- The Mount Sinai Hospital
- https://www.thelancet.com/journals/landig/article/PIIS2589-7500(25)00131-1/fulltext
