Google poddał swój medyczny system AI AMIE ocenie opartej na standaryzowanym egzaminie klinicznym OSCE. W randomizowanym badaniu obejmującym 100 scenariuszy i 300 konsultacji AMIE (Video) uzyskało w kluczowych obszarach wyniki porównywalne z lekarzami podstawowej opieki medycznej. System prowadził konsultacje wideo w czasie rzeczywistym, analizował obraz i dźwięk, wychwytywał sygnały niewerbalne oraz instruował pacjentów podczas elementów zdalnego badania fizykalnego. Badanie przeprowadzono jednak z udziałem aktorów odgrywających pacjentów, dlatego wyniki nie potwierdzają jeszcze skuteczności systemu w rzeczywistej praktyce klinicznej.
Z tego artykułu dowiesz się…
- Jak AMIE (Video) wykorzystuje obraz i dźwięk podczas konsultacji medycznej.
- Jak wyglądało badanie oparte na standaryzowanym egzaminie klinicznym OSCE.
- Jak AMIE wypadło na tle lekarzy podczas 300 symulowanych konsultacji.
- Jakie ograniczenia mają przedstawione wyniki i jakie badania są planowane dalej.
AMIE przechodzi od czatu do konsultacji wideo
Articulate Medical Intelligence Explorer (AMIE) to rozwijany przez Google system badawczy wykorzystujący AI do rozumowania klinicznego i prowadzenia dialogu medycznego. Jego wcześniejsze wersje były oceniane m.in. w tekstowych rozmowach diagnostycznych, a prace nad systemem rozszerzono później o zarządzanie leczeniem oraz specjalistyczne oceny w onkologii, kardiologii i okulistyce.
Ograniczeniem tekstowego interfejsu pozostawał brak informacji, które lekarz uzyskuje dzięki obserwacji i słuchaniu pacjenta. Podczas konsultacji znaczenie mogą mieć m.in. sposób poruszania się, widoczne oznaki bólu lub duszności, zachowanie pacjenta czy inne sygnały, których nie da się w pełni przekazać w wiadomości tekstowej.
AMIE (Video), zbudowane z wykorzystaniem Gemini i Project Astra, ma przetwarzać takie informacje podczas synchronicznej rozmowy wideo. System może również prowadzić pacjenta przez możliwe do wykonania zdalnie elementy badania fizykalnego i uwzględniać uzyskane obserwacje w rozumowaniu diagnostycznym.
AMIE wykorzystuje trzy moduły działające równolegle
Google zastosował w AMIE (Video) asynchroniczną architekturę wieloagentową. Ma ona rozwiązać problem charakterystyczny dla konsultacji prowadzonych w czasie rzeczywistym – konieczność jednoczesnego utrzymania naturalnego tempa rozmowy, analizowania obrazu i dźwięku oraz prowadzenia pogłębionego rozumowania klinicznego.
System dzieli te zadania pomiędzy trzy wyspecjalizowane moduły. Agent Talker odpowiada za bezpośrednią rozmowę z pacjentem i jej płynność. Agent Planner, działający w tle, aktualizuje diagnostykę różnicową i plan postępowania, identyfikuje brakujące informacje oraz ustala kolejne cele konsultacji. Agent Perception analizuje natomiast strumień audio i wideo, szukając informacji mogących mieć znaczenie kliniczne.
Dzięki temu rozmowa z pacjentem nie musi być zatrzymywana za każdym razem, gdy system wykonuje bardziej złożone operacje diagnostyczne. Według autorów automatyczne testy poszczególnych elementów architektury wskazały, że wszystkie trzy agenty mają znaczenie dla wyników dotyczących m.in. zbierania wywiadu, rozumowania klinicznego, rekomendacji terapeutycznych, komunikacji z pacjentem i czasu odpowiedzi.
100 scenariuszy klinicznych i 300 konsultacji
AMIE (Video) oceniono następnie w randomizowanym badaniu wykorzystującym model Objective Structured Clinical Examination (OSCE). Przygotowano 100 scenariuszy klinicznych obejmujących pięć grup problemów zdrowotnych: krążeniowo-oddechowe, brzuszne, dotyczące głowy, oczu, uszu, nosa i gardła (HEENT), neurologiczne i psychiatryczne oraz mięśniowo-szkieletowe.
Piętnaścioro przeszkolonych aktorów odgrywających pacjentów przeprowadziło łącznie 300 standaryzowanych konsultacji. Badanie podzielono na trzy grupy: AMIE (Video), tekstową wersję AMIE oraz konsultacje wideo prowadzone przez lekarzy podstawowej opieki zdrowotnej.
W części lekarskiej uczestniczyło 10 certyfikowanych lekarzy, natomiast niezależny panel 20 doświadczonych lekarzy podstawowej opieki zdrowotnej oceniał konsultacje na podstawie ogólnych skal kompetencji klinicznych oraz kryteriów przygotowanych dla poszczególnych przypadków.
Łącznie w badaniu uczestniczyło więc 30 lekarzy podstawowej opieki medycznej – 10 prowadzących konsultacje i 20 dokonujących niezależnej oceny.
AMIE (Video) uzyskało wyniki porównywalne z lekarzami
W ocenie podstawowych kompetencji klinicznych – obejmujących dokładność zbierania wywiadu, trafność diagnostyczną, adekwatność postępowania oraz jakość komunikacji – AMIE (Video) zostało ocenione na poziomie porównywalnym z lekarzami. System osiągał również wyniki porównywalne lub lepsze od tekstowej wersji AMIE.
Szczególnie interesujące wyniki dotyczyły wykorzystania obrazu podczas konsultacji. AMIE (Video) było średnio oceniane istotnie wyżej niż zarówno lekarze, jak i tekstowa wersja systemu pod względem pozyskiwania informacji o objawach i oznakach możliwych do zaobserwowania oraz aktywnego instruowania aktorów podczas zdalnych elementów badania fizykalnego.
Przewaga ta znalazła odzwierciedlenie także w szczegółowych ocenach dotyczących percepcji i badania fizykalnego przygotowanych dla poszczególnych scenariuszy.
Aktorzy-pacjenci lepiej ocenili konsultację wideo niż czat
Autorzy badania sprawdzili również doświadczenia osób występujących w roli pacjentów. Aktorzy zdecydowanie preferowali synchroniczną konsultację wideo względem rozmowy prowadzonej za pomocą czatu tekstowego. Oceniali wideo jako łatwiejsze w użyciu i pozwalające skuteczniej przekazać informacje o problemach zdrowotnych.
AMIE (Video) uzyskało także korzystne oceny dotyczące empatii, budowania relacji oraz zaufania do udzielanej pomocy w porównaniu zarówno z lekarzami, jak i tekstową wersją AMIE.
Wyniki dotyczą jednak szczególnej grupy uczestników – przeszkolonych aktorów realizujących przygotowane wcześniej scenariusze. Nie pokazują więc jeszcze, jak system byłby odbierany przez rzeczywistych pacjentów, zwłaszcza osoby starsze, przewlekle chore, z wielochorobowością czy znajdujące się w nagłej sytuacji zdrowotnej.
Google wskazuje na ograniczenia badania AMIE
Autorzy pracy wyraźnie zastrzegają, że eksperyment przeprowadzono w warunkach symulowanych. Aktorzy, nawet odpowiednio przygotowani, nie są w stanie odtworzyć całej złożoności i nieprzewidywalności rzeczywistych konsultacji.
Zakres badania ograniczał się ponadto do objawów i stanów, które można wiarygodnie odegrać. Nie obejmował części sytuacji klinicznych, w których informacje wizualne lub dźwiękowe mogą mieć szczególnie duże znaczenie diagnostyczne.
W testach systemu pojawiały się także sporadyczne błędy percepcji i rozumowania. Odnotowano również problemy techniczne mogące zaburzać naturalny przebieg rozmowy. Autorzy zwracają przy tym uwagę na prototypowy charakter Project Astra.
Dlatego określenie „expert-level performance” należy odnosić wyłącznie do wyników uzyskanych w opisanym badaniu symulacyjnym. Nie jest ono dowodem, że AMIE może obecnie samodzielnie zastępować lekarza podczas rzeczywistej teleporady.
Kolejny etap to badania w rzeczywistej opiece nad pacjentami
Google prowadzi już prace nad oceną AMIE poza środowiskiem symulacyjnym. Badanie wykonalności realizowane z Beth Israel Deaconess Medical Center dostarczyło pierwszych danych dotyczących bezpieczeństwa i użyteczności tekstowej wersji systemu w praktyce klinicznej.
Trwa również ogólnokrajowe randomizowane badanie prowadzone we współpracy z Included Health, które ma oceniać zastosowanie AI w rzeczywistej opiece wirtualnej. Dotyczy ono jednak dotychczasowego kierunku rozwoju AMIE i nie stanowi jeszcze klinicznego potwierdzenia skuteczności nowej wersji audio-wideo.
Dalsze badania AMIE (Video) mają wymagać udziału rzeczywistych pacjentów, poszerzenia katalogu sytuacji klinicznych oraz stworzenia odpowiednich mechanizmów bezpieczeństwa i nadzoru.
Główne wnioski
- AMIE (Video) oceniono w randomizowanym badaniu opartym na standaryzowanym egzaminie klinicznym OSCE, obejmującym 100 scenariuszy i 300 konsultacji.
- W zakresie zbierania wywiadu, trafności diagnostycznej, postępowania i komunikacji AMIE (Video) uzyskało wyniki porównywalne z lekarzami.
- System analizuje obraz i dźwięk oraz może prowadzić pacjenta przez elementy zdalnego badania fizykalnego.
- Badanie przeprowadzono z udziałem aktorów odgrywających pacjentów, dlatego wyniki nie potwierdzają jeszcze skuteczności AMIE w rzeczywistej praktyce klinicznej.
Źródło:
- https://research.google/blog/advancing-amie-towards-expert-level-audio-visual-clinical-consultations/
