Sztuczna inteligencja coraz częściej wspiera lekarzy w podejmowaniu decyzji klinicznych – od analizy obrazów medycznych po ocenę ryzyka i dobór terapii. Jej potencjał jest ogromny, jednak równie ważne pozostaje zachowanie krytycznej oceny rekomendacji generowanych przez algorytmy. Najnowsze badanie opublikowane w czasopiśmie PLOS Digital Health pokazuje, że nawet doświadczeni lekarze mogą mieć trudności z zakwestionowaniem błędnych sugestii sztucznej inteligencji, mimo że dysponują informacjami wskazującymi na ich nieprawidłowość. Wyniki zwracają uwagę na jedno z kluczowych wyzwań związanych z wdrażaniem AI do codziennej praktyki klinicznej.
Z tego artykułu dowiesz się…
- Dlaczego lekarze mogą nadmiernie ufać rekomendacjom sztucznej inteligencji, nawet gdy dane kliniczne wskazują, że algorytm się myli,
- Jakie wnioski przyniosło badanie opublikowane w czasopiśmie „PLOS Digital Health” z udziałem 223 lekarzy,
- Czym jest automation bias i dlaczego może wpływać na bezpieczeństwo decyzji podejmowanych z wykorzystaniem narzędzi AI,
- Dlaczego skuteczne wdrażanie sztucznej inteligencji w ochronie zdrowia wymaga nie tylko rozwoju algorytmów, ale również odpowiednich procedur i nadzoru klinicznego.
AI ma wspierać decyzje lekarzy, a nie zastępować ich ocenę
Systemy sztucznej inteligencji są coraz częściej wykorzystywane do klasyfikowania pacjentów według przewidywanego ryzyka, rokowania czy prawdopodobieństwa uzyskania korzyści z określonego leczenia. Takie narzędzia mają wspierać lekarzy w podejmowaniu bardziej precyzyjnych decyzji terapeutycznych.
Jednocześnie twórcy tych rozwiązań podkreślają, że AI nie jest nieomylna. Rekomendacje algorytmów powinny stanowić jedynie element procesu decyzyjnego, a ostateczna odpowiedzialność za ocenę sytuacji klinicznej pozostaje po stronie lekarza. Nowe badanie sugeruje jednak, że w praktyce zachowanie odpowiedniego dystansu wobec wskazań sztucznej inteligencji może być trudniejsze, niż dotychczas przypuszczano.
Badanie objęło 223 lekarzy
Badacze z Uniwersytetu Kraju Basków w Hiszpanii przeprowadzili dwa eksperymenty z udziałem 223 lekarzy, którzy anonimowo uczestniczyli w badaniach online. Uczestnicy zostali poproszeni o wyobrażenie sobie sytuacji klinicznej, w której mają możliwość zastosowania eksperymentalnej terapii u pacjentów z rzadką chorobą. Otrzymali informację, że system sztucznej inteligencji podzielił pacjentów na osoby z większym lub mniejszym prawdopodobieństwem odniesienia korzyści z leczenia.
Na podstawie tych rekomendacji lekarze podejmowali decyzje terapeutyczne, a następnie analizowali informacje dotyczące rekonwalescencji pacjentów i oceniali wiarygodność systemu AI.
Dane przeczyły rekomendacjom algorytmu
Kluczowym elementem eksperymentu było celowe rozbieżne zestawienie zaleceń sztucznej inteligencji z rzeczywistymi wynikami leczenia. W pierwszym eksperymencie terapia okazała się umiarkowanie skuteczna u wszystkich pacjentów, niezależnie od klasyfikacji dokonanej przez AI.
W drugim eksperymencie leczenie było całkowicie nieskuteczne u wszystkich pacjentów. Oznaczało to, że dane dotyczące efektów terapii wyraźnie podważały trafność rekomendacji generowanych przez algorytm.
Lekarze nadal ufali sztucznej inteligencji
Pomimo przedstawienia informacji wskazujących, że system AI błędnie klasyfikował pacjentów, uczestnicy badania nadal oceniali algorytm jako wiarygodny. Co więcej, autorzy zauważyli, że lekarze nie wykorzystywali dostępnych danych dotyczących rekonwalescencji pacjentów do zakwestionowania poprawności działania sztucznej inteligencji.
Jeszcze bardziej zaskakujące wyniki uzyskano w drugim eksperymencie, w którym wielu uczestników nie dostrzegło, że zastosowana terapia nie przyniosła żadnych korzyści. Autor badania Aranzazu Vinas podsumowuje:
W obu eksperymentach lekarze w większości ufali klasyfikacjom sztucznej inteligencji i mieli trudności z wyciąganiem wniosków z informacji zwrotnych. Co więcej, w drugim eksperymencie specjaliści nie zauważyli, że leczenie było całkowicie nieskuteczne.
Dlaczego lekarze mogą przeceniać rekomendacje AI?
Autorzy zwracają uwagę, że problem nie wynika z braku wiedzy medycznej, lecz z mechanizmów poznawczych, które dotyczą praktycznie wszystkich ludzi. Współautorka badania Helena Matute wyjaśnia:
Ludzie mają tendencję do twierdzenia, że za algorytm zawsze odpowiada człowiek, ale nasze eksperymenty pokazują, że lekarze (jak i wszyscy inni) mają problem z wyciąganiem wniosków z dostępnych dowodów, gdy przeczą one sugestiom algorytmu.
Zjawisko to określane jest jako automation bias, czyli tendencja do nadmiernego polegania na zautomatyzowanych systemach nawet wtedy, gdy istnieją przesłanki wskazujące na ich błędy.
Wyzwanie dla przyszłości medycyny opartej na AI
Autorzy podkreślają, że uzyskane wyniki nie podważają potencjału sztucznej inteligencji w ochronie zdrowia. Przeciwnie – wskazują na konieczność projektowania systemów, które będą wspierały, a nie ograniczały krytyczne myślenie lekarzy.
Rozwój AI powinien obejmować nie tylko doskonalenie algorytmów, ale również opracowanie procedur umożliwiających skuteczne wykrywanie błędnych rekomendacji oraz szkolenie personelu medycznego w zakresie świadomego korzystania z narzędzi wspomagających decyzje kliniczne.
Potrzebne są nowe strategie współpracy człowieka z AI
Zdaniem badaczy kolejnym krokiem powinno być opracowanie metod zwiększających skuteczność nadzoru człowieka nad systemami sztucznej inteligencji. Chodzi między innymi o:
- projektowanie interfejsów ułatwiających analizę decyzji AI,
- wdrażanie procedur zachęcających do niezależnej oceny danych klinicznych,
- rozwijanie szkoleń z zakresu rozpoznawania błędów algorytmów,
- tworzenie standardów współpracy lekarza i sztucznej inteligencji.
Jak podkreśla współautor badania Fernando Blanco:
Ważne jest zbadanie błędów, jakie popełniają ludzie (w tym lekarze) podczas pracy z algorytmami, aby dowiedzieć się, jak zminimalizować problemy, które z nich wynikają.
Badanie pokazuje, że AI wymaga skutecznego nadzoru klinicznego
Wyniki opublikowane w PLOS Digital Health przypominają, że nawet najbardziej zaawansowane narzędzia sztucznej inteligencji nie eliminują potrzeby krytycznej analizy i doświadczenia klinicznego. Wręcz przeciwnie – im większą rolę AI będzie odgrywać w diagnostyce i leczeniu, tym ważniejsze stanie się utrzymanie skutecznego nadzoru człowieka nad podejmowanymi decyzjami.
Autorzy badania podkreślają, że przyszłość medycyny nie polega na zastępowaniu lekarzy algorytmami, lecz na budowaniu modeli współpracy, w których sztuczna inteligencja wspiera proces decyzyjny, a jednocześnie pozostaje pod stałą, świadomą kontrolą specjalistów. Tylko takie podejście pozwoli w pełni wykorzystać potencjał AI, jednocześnie minimalizując ryzyko błędów mogących wpływać na bezpieczeństwo pacjentów.
Główne wnioski
- Badanie opublikowane w PLOS Digital Health z udziałem 223 lekarzy wykazało, że uczestnicy często ufali rekomendacjom AI, mimo że dane dotyczące wyników leczenia przeczyły trafności klasyfikacji algorytmu.
- W jednym z eksperymentów leczenie było całkowicie nieskuteczne u wszystkich pacjentów, jednak wielu lekarzy nie rozpoznało tej zależności i nadal wysoko oceniało wiarygodność systemu sztucznej inteligencji.
- Wyniki wskazują na znaczenie zjawiska automation bias, czyli tendencji do nadmiernego polegania na rekomendacjach algorytmów, nawet gdy dostępne dowody sugerują, że są one błędne.
- Autorzy podkreślają, że bezpieczne wdrażanie AI w ochronie zdrowia wymaga rozwijania strategii wspierających krytyczne myślenie lekarzy, skuteczny nadzór kliniczny oraz wykrywanie błędów popełnianych przez systemy sztucznej inteligencji.
Źródło:
- https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0001490
