Sztuczna inteligencja coraz śmielej wkracza do systemów ochrony zdrowia – od diagnostyki obrazowej po modele predykcyjne wspierające decyzje kliniczne. Jednak najnowsze międzynarodowe badanie wskazuje, że większość narzędzi AI rozwijanych dla medycyny nie spełnia podstawowych kryteriów bezpieczeństwa, przejrzystości i gotowości do wdrożenia przy łóżku pacjenta. W obliczu dynamicznego rozwoju technologii rośnie ryzyko, że niedostatecznie zwalidowane modele trafią do praktyki klinicznej.
Z tego artykułu dowiesz się…
- Dlaczego większość klinicznych modeli AI nie jest jeszcze gotowa do bezpiecznego wdrożenia w realnych warunkach opieki nad pacjentem.
- Jakie luki wykazano w analizie 390 modeli AI, w tym brak planów aktualizacji i niedostateczne raportowanie danych demograficznych.
- Jakie ryzyko dla pacjentów niosą algorytmy bez zewnętrznej walidacji oraz bez przejrzystych standardów oceny jakości.
- Jak sześciopunktowa lista kontrolna CHARMS może pomóc klinicystom ocenić wiarygodność i gotowość modelu AI do zastosowania w praktyce.
390 modeli AI pod lupą badaczy
W przeglądzie zakresowym opublikowanym w czasopiśmie Medical Research Archives naukowcy przeanalizowali 390 klinicznych modeli AI i uczenia maszynowego opublikowanych między marcem 2020 a grudniem 2021 roku. Wśród autorów badania znalazła się adiunkt CUNY School of Public Health Karmen Williams oraz Ilse Siguachi. Celem analizy było sprawdzenie, czy twórcy modeli:
- zaplanowali aktualizację algorytmu w czasie,
- przestrzegali najlepszych praktyk programistycznych i raportowych,
- jasno określili, kto został uwzględniony w danych treningowych.
Wyniki są niepokojące. Zaledwie 9% badań wspominało o tym, jak modele będą aktualizowane w czasie, mimo że wydajność algorytmów zmienia się wraz z ewolucją praktyki klinicznej, populacji pacjentów oraz systemów opieki zdrowotnej.
Luka między innowacją a wdrożeniem
Badanie wykazało, że aż 98% modeli pozostawało na etapie badań, a jedynie 2% zostało faktycznie wdrożonych w praktyce klinicznej. Oznacza to znaczącą przepaść między rozwojem technologicznym, a realnym zastosowaniem w opiece nad pacjentem. Co więcej:
- tylko 12% modeli spełniało ustalone standardy raportowania lub rozwoju,
- 84% publikacji nie uwzględniało podziału rasowego lub etnicznego danych użytych do trenowania algorytmu.
Brak informacji o strukturze populacji treningowej budzi poważne obawy dotyczące przejrzystości, powtarzalności wyników oraz ryzyka utrwalania istniejących nierówności zdrowotnych. W kontekście rosnącego zainteresowania, jakim cieszy się zastosowanie AI w medycynie, wyniki te wskazują, że tempo wdrażania technologii wyprzedza rozwój standardów jej oceny.
Problem aktualizacji i „starzenia się” modeli
Modele AI w ochronie zdrowia nie są narzędziami statycznymi. Ich skuteczność może ulegać pogorszeniu wraz ze zmianami:
- w standardach diagnostycznych,
- w sposobie kodowania danych medycznych,
w charakterystyce demograficznej populacji.
Tymczasem brak planów aktualizacji oznacza, że algorytmy mogą z czasem generować mniej trafne rekomendacje, zwiększając ryzyko błędów klinicznych. Badacze zauważyli, że modele, które proaktywnie opisywały sposób przyszłej aktualizacji, uzyskiwały wyższe wyniki w ogólnej ocenie jakości. Planowanie utrzymania modelu okazało się więc jednym z wyznaczników solidniejszych badań.
Sześciopunktowa lista kontrolna dla klinicystów
Aby odpowiedzieć na zidentyfikowane luki, autorzy opracowali uproszczoną, sześciopunktową wersję listy kontrolnej CHARMS (Critical Appraisal and Data Extraction for Systematic Reviews of Prediction Modeling Studies). Nowe narzędzie koncentruje się na trzech kluczowych aspektach:
- stosowalności modelu w realnych warunkach klinicznych,
- powtarzalności i zewnętrznej walidacji,
- bezpieczeństwie pacjenta.
Lista została zaprojektowana z myślą o lekarzach pierwszego kontaktu oraz praktykach klinicznych, którzy nie muszą posiadać zaawansowanego przeszkolenia z analizy danych, ale potrzebują szybkiego i praktycznego sposobu oceny, czy dany model AI został odpowiednio zaprojektowany i zwalidowany.
Ryzyko dla pacjentów w erze autonomicznych systemów
Autorzy ostrzegają, że w miarę przechodzenia opieki zdrowotnej w stronę bardziej autonomicznych, „agencyjnych” systemów AI, brak jasnych standardów oceny klinicznych modeli staje się coraz poważniejszym zagrożeniem. Dr Williams podkreśla:
Bez praktycznych narzędzi do weryfikacji algorytmów przed ich wdrożeniem systemy opieki zdrowotnej mogą nieświadomie wprowadzać sztuczną inteligencję, która jest słabo sprawdzona, nie jest regularnie aktualizowana i nie uwzględnia potrzeb zróżnicowanych grup społecznych.
To ostrzeżenie ma szczególne znaczenie w kontekście globalnych wysiłków na rzecz cyfryzacji medycyny. Algorytmy wspierające decyzje kliniczne muszą być nie tylko skuteczne, lecz także przejrzyste, sprawiedliwe i podlegające regularnej kontroli.
Potrzeba transparentności i otwartych rejestrów
Badacze postulują szersze wykorzystanie otwartych rejestrów danych, które umożliwią niezależną weryfikację modeli. Rekomendują również rutynowe raportowanie płci oraz pochodzenia etnicznego w zbiorach danych treningowych, aby ograniczyć ryzyko reprodukowania istniejących nierówności zdrowotnych.
Transparentność w projektowaniu i raportowaniu modeli AI powinna stać się standardem, a nie wyjątkiem. Bez niej trudno mówić o odpowiedzialnym wdrażaniu systemów wspierających decyzje kliniczne.
Główne wnioski
- W analizie 390 klinicznych modeli AI opublikowanych w latach 2020–2021 tylko 9% badań opisało plan aktualizacji algorytmu w czasie.
- Aż 98% modeli pozostawało w fazie badań, a jedynie 2% zostało wdrożonych w praktyce klinicznej, co wskazuje na znaczną lukę między innowacją a implementacją.
- Tylko 12% modeli spełniało ustalone standardy raportowania, a 84% publikacji nie uwzględniało podziału rasowego lub etnicznego danych treningowych.
- Autorzy proponują uproszczoną, sześciopunktową listę kontrolną CHARMS, która ma wspierać ocenę bezpieczeństwa, powtarzalności i gotowości modeli AI do zastosowania klinicznego.
Źródło:
- https://esmed.org/MRA/mra/article/view/7083
