Cyfrowa transformacja medycyny obejmuje dziś nie tylko sztuczną inteligencję czy robotykę chirurgiczną, ale również nowe sposoby współpracy specjalistów. Naukowcy z Uniwersytetu Jagiellońskiego Collegium Medicum opracowali innowacyjny system zdalnej komunikacji przestrzennej, który wykorzystuje obrazowanie 3D oraz rozszerzoną rzeczywistość (AR). Rozwiązanie pozwala na obserwację operacji z dowolnej perspektywy, prowadzenie precyzyjnych konsultacji na odległość oraz tworzenie nowego rodzaju dokumentacji medycznej. Technologia może znaleźć zastosowanie zarówno w praktyce klinicznej, jak i w kształceniu przyszłych lekarzy.
Z tego artykułu dowiesz się…
- Jak opracowany na Uniwersytecie Jagiellońskim Collegium Medicum system 3D i rozszerzonej rzeczywistości może zmienić sposób prowadzenia operacji i zdalnych konsultacji,
- W jaki sposób technologia umożliwia obserwowanie zabiegu z dowolnej perspektywy oraz analizę jego przebiegu po zakończeniu operacji,
- Dlaczego nowe rozwiązanie może stać się cennym narzędziem w kształceniu studentów medycyny i szkoleniu lekarzy,
- Jakie kolejne etapy rozwoju i wdrożenia technologii planują naukowcy z Uniwersytetu Jagiellońskiego
Nowe podejście do zdalnej współpracy w medycynie
System został opracowany przez zespół z Centrum Medycyny Cyfrowej i Robotyki Uniwersytetu Jagiellońskiego Collegium Medicum pod kierunkiem dr hab. inż. Klaudii Proniewskiej-van Dam oraz mgr. inż. Damiana Dołęga-Dołęgowskiego. Najważniejszą cechą rozwiązania jest możliwość stworzenia cyfrowego, trójwymiarowego modelu sali operacyjnej w czasie rzeczywistym. Dzięki temu specjaliści znajdujący się w różnych miejscach mogą współpracować tak, jakby przebywali obok siebie.
W przeciwieństwie do klasycznych transmisji wideo system nie ogranicza się do jednego ujęcia kamery. Użytkownik może samodzielnie zmieniać punkt obserwacji i analizować przebieg operacji z dowolnej perspektywy.
Trójwymiarowy obraz zamiast płaskiej transmisji
Twórcy podkreślają, że rozwiązanie znacząco wykracza poza możliwości obecnie wykorzystywanych systemów.
W przeciwieństwie do tradycyjnych systemów obrazowania sal operacyjnych, opartych na transmisji obrazu 2D czy podstawowych narzędziach rozszerzonej rzeczywistości wykorzystujących pojedynczy obraz z kamery, nasze rozwiązanie generuje dynamiczny, trójwymiarowy obraz sali operacyjnej. Dzięki temu użytkownik może nie tylko zdalnie obserwować przebieg działań, lecz także analizować sytuację z dowolnie wybranej perspektywy. Technologia odwzorowuje cyfrowo w czasie rzeczywistym środowisko pracy, dając przy tym możliwości zdalnej komunikacji – mówi współtwórczyni rozwiązania, dr hab. inż. Klaudia Proniewska-van Dam, prof. UJ.
Podejście takie pozwala nie tylko śledzić przebieg zabiegu, ale również wielokrotnie odtwarzać operację i analizować wszystkie działania zespołu medycznego.
Jak działa system opracowany na UJ?
Podstawą rozwiązania jest jednoczesne wykorzystanie kilku technologii. System korzysta z:
- zestawu kamer 3D rozmieszczonych wokół stanowiska operacyjnego,
- gogli rozszerzonej rzeczywistości używanych przez operatora,
- jednostki obliczeniowej synchronizującej i przetwarzającej dane przestrzenne.
Na tej podstawie tworzony jest szczegółowy cyfrowy model sali operacyjnej, który odwzorowuje:
- położenie wszystkich elementów,
- relacje przestrzenne pomiędzy obiektami,
- ruch członków zespołu operacyjnego,
- przebieg wykonywanych czynności.
Efektem jest wierne odwzorowanie środowiska operacyjnego w czasie rzeczywistym.
Kluczowa jest precyzyjna kalibracja przestrzeni
Jednym z najważniejszych elementów systemu pozostaje metoda kalibracji.
Kluczowe znaczenie ma metoda kalibracji przestrzeni. Wykorzystuje ona fizyczny obiekt referencyjny, który pozwala precyzyjnie dopasować układy odniesienia wszystkich urządzeń uczestniczących w operacji. Dzięki temu odwzorowanie przestrzeni zachowuje wysoką dokładność. To też pozwala stabilnie osadzić w przestrzeni wszelkie wskazówki udzielane zdalnie przez zewnętrznego użytkownika systemu – wyjaśnia mgr inż. Damian Dołęga-Dołęgowski, współtwórca rozwiązania.
Pozwala to zachować wysoką precyzję nawet podczas dynamicznych zmian zachodzących na sali operacyjnej.
Zdalne konsultacje z wykorzystaniem rozszerzonej rzeczywistości
Jednym z najciekawszych zastosowań nowej technologii medycznej jest możliwość prowadzenia konsultacji eksperckich na odległość. Konsultant może umieszczać w cyfrowym modelu:
- znaczniki,
- strzałki,
- punkty orientacyjne,
- adnotacje przypisane do konkretnych elementów przestrzeni.
Informacje te są następnie wyświetlane operatorowi bezpośrednio w goglach rozszerzonej rzeczywistości.
W praktyce oznacza to, że ekspert konsultujący zabieg z innego miasta lub kraju może wskazać konkretny instrument, urządzenie czy miejsce wykonywania określonej czynności, a operator zobaczy tę informację dokładnie tam, gdzie powinna się znajdować. Takie podejście znacząco ogranicza ryzyko nieporozumień wynikających z komunikacji werbalnej. Pozwala też szybciej przekazywać rekomendację i wiedzę – dodaje Damian Dołęga-Dołęgowski.
Może to mieć szczególne znaczenie podczas skomplikowanych procedur wykonywanych przy wsparciu ekspertów znajdujących się w innych ośrodkach lub krajach.
Nowe możliwości dla edukacji medycznej
Autorzy projektu podkreślają, że jednym z najważniejszych obszarów wykorzystania systemu będzie kształcenie studentów medycyny oraz szkolenie lekarzy. Obecnie uczestnicy zajęć najczęściej obserwują jedynie fragment pola operacyjnego lub obraz z jednej kamery. Nowa technologia pozwala analizować:
- organizację pracy całego zespołu,
- komunikację pomiędzy członkami personelu,
- wykorzystanie narzędzi,
- przygotowanie procedur,
- przebieg operacji z wielu różnych perspektyw.
Materiały mogą być odtwarzane wielokrotnie, co umożliwia dokładną analizę poszczególnych etapów zabiegu.
Edukacja to bardzo obiecujący kierunek wykorzystania tej technologii. Obecnie studenci najczęściej obserwują zabiegi z ograniczonej perspektywy. Widzą jedynie fragment pola operacyjnego lub obraz z pojedynczej kamery, a przecież zabieg operacyjny obejmuje znacznie więcej działań wykonywanych przez cały zespół medyczny. Nasz system pozwala odtwarzać pełny kontekst pracy na sali, co oznacza, że również materiały archiwalne zarejestrowane w tej technologii mogą być wykorzystywane do celów edukacyjnych – mówi dr hab. inż. Klaudia Proniewska-van Dam.
Dokumentacja operacji w zupełnie nowym wymiarze
Twórcy rozwiązania wskazują również na potencjał technologii w zakresie dokumentowania procedur medycznych. Obecnie archiwizacja materiałów operacyjnych skupia się przede wszystkim na obrazie pola zabiegowego. Nowy system pozwala natomiast rejestrować także:
- organizację pracy zespołu,
- rozmieszczenie sprzętu,
- komunikację pomiędzy członkami personelu,
- wszystkie działania wykonywane poza bezpośrednim polem operacyjnym.
Może to stanowić cenne źródło informacji podczas analiz jakościowych, szkoleń oraz oceny przebiegu zabiegów.
Technologia znajdzie zastosowanie także poza medycyną
Choć projekt powstał z myślą o ochronie zdrowia, jego możliwości są znacznie szersze. System może wspierać między innymi:
- zdalną diagnostykę urządzeń,
- serwisowanie zaawansowanej aparatury,
- szkolenia specjalistyczne,
- działania ratownicze,
- przemysł wymagający precyzyjnej współpracy na odległość.
Przed technologią kolejne etapy rozwoju
Najbliższym krokiem będzie testowanie rozwiązania w rzeczywistych warunkach klinicznych. W tym celu planowane jest mapowanie sal operacyjnych w Centralnym Bloku Operacyjnym Szpitala Uniwersyteckiego w Krakowie. Projekt został już zgłoszony do ochrony patentowej, a za jego komercjalizację odpowiada Centrum Transferu Technologii CITTRU Uniwersytetu Jagiellońskiego.
Widzimy w opracowanym rozwiązaniu duży potencjał wdrożeniowy. Rosnące znaczenie telemedycyny, zdalnych konsultacji eksperckich oraz nowoczesnych metod kształcenia medycznego sprawia, że zapotrzebowanie na rozwiązania umożliwiające współpracę w środowisku trójwymiarowym stale rośnie. Naszym celem jest nawiązanie współpracy z placówkami medycznymi i uniwersytetami medycznymi, które rozpowszechnią tę technologię i przyczynią się do jej dalszego rozwoju, a potem wdrożenia – mówi dr inż. Gabriela Konopka-Cupiał, dyrektorka CTT CITTRU.
Projekt opracowania systemu 3D został zrealizowany dzięki wsparciu Narodowego Centrum Badań i Rozwoju w ramach programu LIDER pod nazwą „Holograficzny Asystent Medyczny” (LIDER/17/0064/L-11/19/NCBR/2020).
Główne wnioski
- Naukowcy z Uniwersytetu Jagiellońskiego Collegium Medicum opracowali system zdalnej komunikacji przestrzennej wykorzystujący obrazowanie 3D i rozszerzoną rzeczywistość, który umożliwia obserwację operacji z dowolnego punktu widzenia.
- Technologia pozwala ekspertom prowadzić zdalne konsultacje, nanosząc przestrzenne wskazówki i oznaczenia widoczne bezpośrednio w polu widzenia operatora, co ogranicza ryzyko nieporozumień podczas zabiegów.
- System może znacząco usprawnić edukację medyczną, umożliwiając studentom i lekarzom wielokrotną analizę przebiegu operacji oraz organizacji pracy całego zespołu z różnych perspektyw.
- Kolejnym etapem projektu będą testy w Centralnym Bloku Operacyjnym Szpitala Uniwersyteckiego w Krakowie. Technologia została zgłoszona do ochrony patentowej, a za jej komercjalizację odpowiada Centrum Transferu Technologii CITTRU UJ.
Źródło:
- Materiał prasowy
