Sztuczna inteligencja coraz częściej wspiera lekarzy i pacjentów w diagnostyce chorób, jednak jej skuteczność zależy nie tylko od jakości algorytmów, ale również od tego, kto z nich korzysta. Najnowsze badanie naukowców z Massachusetts Institute of Technology (MIT), Uniwersytetu Stanforda oraz innych ośrodków pokazuje, że korzyści płynące z medycznej AI różnią się w zależności od doświadczenia użytkownika. Co więcej, osoby bez wykształcenia medycznego są znacznie bardziej podatne na błędne sugestie generowane przez sztuczną inteligencję.
Wyniki opublikowane na łamach prestiżowego czasopisma „Nature Medicine” wskazują, że projektowanie systemów AI powinno uwzględniać nie tylko dokładność modeli, ale także sposób prezentowania wyników różnym grupom użytkowników.
Z tego artykułu dowiesz się…
- Jak sztuczna inteligencja wpływa na trafność diagnoz chorób skóry u lekarzy i osób bez wykształcenia medycznego.
- Dlaczego wyjaśnienia generowane przez modele językowe (LLM) mogą pomagać ekspertom, ale jednocześnie wprowadzać w błąd osoby niebędące specjalistami.
- Czym jest stronniczość automatyzacji (automation bias) i dlaczego nadmierne zaufanie do AI może prowadzić do błędnych decyzji diagnostycznych.
- Jakie wnioski płyną z badania opublikowanego w „Nature Medicine” i jak powinny być projektowane przyszłe systemy AI wspierające ochronę zdrowia.
Badacze sprawdzili, jak AI wpływa na diagnozowanie chorób skóry
Celem badania było sprawdzenie, czy wyjaśnienia generowane przez systemy sztucznej inteligencji rzeczywiście pomagają użytkownikom podejmować trafniejsze decyzje diagnostyczne. Naukowcy przeprowadzili eksperyment z udziałem dwóch grup:
- osób niebędących ekspertami medycznymi,
- lekarzy podstawowej opieki zdrowotnej.
Obie grupy wykonywały zadania związane z rozpoznawaniem chorób dermatologicznych z wykorzystaniem obrazów medycznych. Osoby bez wykształcenia medycznego miały określić, czy znamię skórne jest nowotworowe, natomiast lekarze wykonywali znacznie bardziej wymagające zadanie – stawiali diagnozę różnicową chorób skóry. Uczestnicy pracowali zarówno samodzielnie, jak i z pomocą różnych systemów sztucznej inteligencji.
Jakie metody wyjaśniania decyzji AI oceniano?
Badacze porównali kilka sposobów prezentowania rekomendacji generowanych przez sztuczną inteligencję. Wśród nich znalazły się:
- sama prognoza AI wraz z poziomem pewności,
- prezentacja podobnych obrazów medycznych,
- mapy cieplne wskazujące fragmenty obrazu, które miały największy wpływ na decyzję algorytmu,
- wyjaśnienia przygotowane przez duże modele językowe (LLM) opisujące rozumowanie systemu prostym językiem.
Takie rozwiązania określa się mianem wyjaśnialnej sztucznej inteligencji (Explainable AI, XAI). Ich celem jest zwiększenie zaufania użytkowników poprzez pokazanie, dlaczego algorytm podjął określoną decyzję.
AI poprawiała trafność diagnoz, ale z różnych powodów
Analiza wyników pokazała, że wykorzystanie AI poprawiało skuteczność diagnozowania chorób skóry zarówno u lekarzy, jak i u osób bez wiedzy medycznej. Mechanizm tej poprawy okazał się jednak zupełnie inny. W przypadku osób niebędących ekspertami większa trafność wynikała przede wszystkim z bezkrytycznego podążania za rekomendacjami sztucznej inteligencji. Największą poprawę odnotowano podczas rozpoznawania zmian nienowotworowych. Jednocześnie naukowcy zauważyli, że gdy system AI popełniał błąd, osoby bez wiedzy medycznej bardzo często powielały jego błędną ocenę. Jak wyjaśnia Marzyeh Ghassemi:
Dobre systemy sztucznej inteligencji (AI) mogą poprawić wydajność w niektórych placówkach opieki zdrowotnej, ale należy to starannie zrównoważyć z algorytmicznymi metodami, które mogą prowadzić do większej liczby błędów. Wiemy, że zarówno SI, jak i metody wyjaśnialności mogą u ludzi wywoływać stronniczość automatyzacji, a ten efekt zakotwiczenia musi być uwzględniony podczas projektowania systemów AI.
Osoby bez wiedzy medycznej najłatwiej ulegają AI
Jednym z najważniejszych wniosków badania było wykazanie zjawiska określanego jako stronniczość automatyzacji (automation bias). Polega ono na tym, że użytkownik nadmiernie ufa decyzjom systemu komputerowego, nawet wtedy, gdy są one błędne. Badacze odkryli, że osoby niebędące ekspertami:
- ufały wyjaśnieniom generowanym przez modele LLM niezależnie od ich poprawności,
- bardziej wierzyły wyjaśnieniom ogólnym niż precyzyjnym,
- były bardziej pewne swoich błędnych odpowiedzi, jeśli otrzymywały przekonujące uzasadnienie AI.
Jak podkreśla Roxana Daneshjou:
Te odkrycia są istotne, ponieważ pacjenci coraz częściej zwracają się do sztucznej inteligencji o pomoc w opiece zdrowotnej. Nasze odkrycia pokazują, że osoby z najmniejszą wiedzą medyczną są najbardziej narażone na wprowadzenie w błąd, gdy wyjaśnialne modele sztucznej inteligencji generują błędne wyniki.
Lekarze wykorzystywali AI zupełnie inaczej
Zupełnie inaczej wyglądała współpraca sztucznej inteligencji z lekarzami. Specjaliści nie traktowali rekomendacji AI jako ostatecznej odpowiedzi, lecz jako dodatkowe źródło informacji. Najlepsze wyniki osiągali wtedy, gdy otrzymywali jedynie:
- przewidywanie modelu,
- poziom pewności diagnozy.
Dodatkowe wyjaśnienia, zwłaszcza generowane przez modele językowe, nie zwiększały znacząco skuteczności diagnostycznej lekarzy. Jak tłumaczy główny autor badania Orson Xu:
Wszystko sprowadza się do tego, jak każda grupa korzysta z tego wyjaśnienia. Lekarz ma już na myśli diagnozę i sprawdza sztuczną inteligencję pod kątem własnego szkolenia, więc błędne wyjaśnienie zostaje wykryte. Tymczasem osoba niebędąca ekspertem może użyć dokładnie tego samego wyjaśnienia, aby wyrobić sobie opinię, więc wiarygodna, brzmiąca pewnie racjonalizacja może skłonić ją do błędnej odpowiedzi. To samo narzędzie okazuje się atutem dla jednego użytkownika i obciążeniem dla innego.
AI lepiej wykrywa subtelne zmiany, ale człowiek pozostaje niezastąpiony
Badanie przyniosło również interesujące informacje dotyczące sytuacji, w których AI przewyższa człowieka. Systemy sztucznej inteligencji radziły sobie lepiej, gdy zmiany skórne były:
- subtelne,
- trudne do zauważenia,
- słabo widoczne.
Natomiast lekarze osiągali lepsze wyniki w przypadkach:
- nietypowych objawów,
- rzadkich prezentacji chorób,
- zmian zawierających elementy niezwiązane z podstawowym schorzeniem.
Pokazuje to, że najlepsze rezultaty może przynieść współpraca człowieka i sztucznej inteligencji, a nie zastępowanie jednego przez drugiego.
Wyjaśnienia AI mogą zwiększać ryzyko błędów
Badacze zauważyli również, że sposób prezentowania informacji ma ogromne znaczenie. Jeżeli użytkownik najpierw otrzymywał wyjaśnienie AI, a dopiero później miał samodzielnie postawić diagnozę, znacznie częściej bezkrytycznie zgadzał się z algorytmem.
Najbardziej podatni na ten efekt byli użytkownicy, którzy bez wsparcia AI osiągali najsłabsze wyniki. Oznacza to, że osoby najbardziej potrzebujące pomocy sztucznej inteligencji są jednocześnie najbardziej narażone na jej negatywny wpływ.
Projektowanie AI powinno uwzględniać użytkownika
Zdaniem autorów badania przyszłe systemy sztucznej inteligencji powinny zachęcać użytkownika do samodzielnego myślenia zamiast podawania gotowych odpowiedzi. Jednym z proponowanych rozwiązań jest zmiana kolejności działania systemu. Najpierw użytkownik powinien sam wskazać najbardziej prawdopodobną diagnozę, a dopiero później otrzymać sugestie AI, które pomogą zweryfikować własne rozumowanie oraz rozważyć alternatywne rozpoznania. Jak podkreśla Marzyeh Ghassemi:
Naprawdę chcemy, aby sztuczna inteligencja rozwijała kreatywność i podnosiła kwalifikacje lub wypełniała luki, w których użytkownicy nie dostrzegają subtelnych prezentacji. W przeciwnym razie ryzykujemy, że wpadniemy w pułapkę automatyzacji, a gdy model okaże się błędny, użytkownicy nie będą mogli się z niego wydostać.
Główne wnioski
- Badanie opublikowane w „Nature Medicine”, przeprowadzone przez naukowców z MIT, Uniwersytetu Stanforda i innych ośrodków, wykazało, że wpływ sztucznej inteligencji na diagnostykę zależy od poziomu wiedzy użytkownika.
- Osoby bez wykształcenia medycznego poprawiały trafność diagnoz dzięki AI, jednak często bezkrytycznie ufały rekomendacjom i wyjaśnieniom modeli LLM, nawet gdy były one błędne lub zbyt ogólne.
- Lekarze podstawowej opieki zdrowotnej najlepiej wykorzystywali AI jako narzędzie wspierające własną ocenę kliniczną i osiągali najwyższą skuteczność, gdy otrzymywali jedynie przewidywanie modelu bez dodatkowych wyjaśnień.
- Autorzy badania podkreślają, że przyszłe systemy sztucznej inteligencji w medycynie powinny być projektowane z myślą o konkretnych użytkownikach, tak aby wspierały krytyczne myślenie i ograniczały ryzyko nadmiernego polegania na rekomendacjach AI.
Źródło:
- https://www.nature.com/articles/s41591-026-04553-w
- Massachusetts Institute of Technology
