Algorytmy sztucznej inteligencji opracowane w ramach konkursu AI Challenge organizowanego przez Radiological Society of North America (RSNA) osiągnęły bardzo wysoką skuteczność w wykrywaniu raka piersi przy użyciu mammografii. Wyniki badania, opublikowanego w prestiżowym czasopiśmie Radiology, wskazują, że połączenie najlepszych modeli AI może znacząco zwiększyć czułość badań, zachowując jednocześnie niski odsetek zbędnych powtórzeń diagnostycznych.
Z tego artykułu dowiesz się…
- Jakie wyniki osiągnęły algorytmy AI w konkursie RSNA AI Challenge w wykrywaniu raka piersi.
- W jaki sposób połączenie najlepszych modeli zwiększyło czułość badań przesiewowych.
- Jak różne algorytmy uzupełniały się w wykrywaniu różnych typów nowotworów.
- Dlaczego udostępnienie kodu open source może przyspieszyć wdrażanie AI w diagnostyce.
Największy konkurs RSNA AI Challenge i jego cele
RSNA Screening Mammography Breast Cancer Detection AI Challenge z 2023 roku przyciągnął ponad 1500 zespołów z całego świata, co czyni go jednym z najliczniej obsadzonych konkursów w historii RSNA. Jak podkreśla dr Yan Chen, profesor badań przesiewowych w kierunku raka na Uniwersytecie w Nottingham i główny autor publikacji:
Byliśmy pod wrażeniem liczby uczestników i liczby algorytmów sztucznej inteligencji zgłoszonych w ramach konkursu. To jeden z najliczniej obsadzonych konkursów RSNA AI Challenge. Byliśmy również pod wrażeniem wydajności algorytmów, biorąc pod uwagę stosunkowo krótki czas na ich opracowanie oraz konieczność pozyskiwania danych szkoleniowych z otwartych źródeł.
Celem wyzwania było stworzenie narzędzi, które usprawnią automatyczne wykrywanie raka piersi w mammografiach przesiewowych, zwiększą efektywność pracy radiologów, poprawią jakość diagnostyki i bezpieczeństwo pacjentów, a także ograniczą koszty i liczbę niepotrzebnych procedur.
Dane i metody oceny modeli AI
Do trenowania modeli udostępniono zbiór około 11 000 obrazów mammograficznych pochodzących z Uniwersytetu Emory (USA) i BreastScreen Victoria (Australia). Uczestnicy mogli także korzystać z publicznych zbiorów danych.
W etapie testowym oceniono 1 537 działających algorytmów na zestawie 10 830 badań pojedynczych piersi, które nie były wcześniej wykorzystywane do treningu modeli. Wyniki badań patologicznych posłużyły do potwierdzenia obecności lub braku nowotworu.
Łącznie algorytmy osiągnęły medianę swoistości na poziomie 98,7%, czułość 27,6% i wskaźnik powtórzeń 1,7%. Połączenie trzech najlepszych modeli pozwoliło zwiększyć czułość do 60,7%, a połączenie dziesięciu – do 67,8%, osiągając wyniki zbliżone do poziomu pracy radiologów z Europy czy Australii.
Komplementarność algorytmów i różnice w wydajności
Badacze zauważyli, że poszczególne modele często uzupełniały się, wykrywając różne typy nowotworów. Jak zaznaczył prof. Chen:
Gromadząc zgłoszenia o najlepszych wynikach, byliśmy zaskoczeni, jak bardzo różne algorytmy sztucznej inteligencji wzajemnie się uzupełniały, identyfikując różne nowotwory.
Różnice w skuteczności były widoczne w zależności od rodzaju nowotworu, producenta sprzętu do obrazowania czy miejsca wykonania badań. Ogólnie algorytmy lepiej radziły sobie z wykrywaniem nowotworów inwazyjnych niż nieinwazyjnych.
Znaczenie open source i przyszłe badania
Wiele modeli powstałych w ramach konkursu ma charakter open source, co umożliwia dalsze badania i rozwój narzędzi AI. Jak podkreślił prof. Chen:
Udostępniając publicznie algorytmy i kompleksowy zestaw danych obrazowych, uczestnicy zapewniają cenne zasoby, które mogą napędzać dalsze badania i umożliwić przeprowadzanie testów porównawczych niezbędnych do efektywnej i bezpiecznej integracji sztucznej inteligencji z praktyką kliniczną.
Zespół badawczy planuje porównać najlepsze algorytmy z dostępnymi komercyjnie rozwiązaniami, wykorzystując większe i bardziej zróżnicowane zbiory danych. Przewidziano także testy na mniejszych, trudniejszych zestawach, takich jak brytyjski program PERFORMS, służący ocenie jakości pracy radiologów.
Wyniki RSNA AI Challenge potwierdzają, że sztuczna inteligencja ma ogromny potencjał w diagnostyce raka piersi, zwłaszcza w badaniach przesiewowych. Połączenie najlepszych modeli może dorównywać skuteczności doświadczonych radiologów, a rozwój narzędzi open source przyspieszy wdrażanie AI w praktyce klinicznej.
👉 Wyniki oraz opis badań znajdziesz pod TYM LINKIEM
Główne wnioski
- 1537 algorytmów oceniono na zestawie 10 830 badań mammograficznych niezależnych od danych treningowych.
- Średnia swoistość wyniosła 98,7%, czułość 27,6%, a wskaźnik powtórzeń – 1,7%.
- Połączenie 3 najlepszych modeli zwiększyło czułość do 60,7%, a 10 modeli – do 67,8%, osiągając wyniki porównywalne z radiologami.
- Wiele modeli ma charakter open source, co umożliwia dalsze badania i rozwój narzędzi AI w mammografii.
Źródło:
- Radiological Society of North America
- Radiology
