Autonomiczne samochody, roboty medyczne i zaawansowane systemy obrazowania od lat rozwijają się w imponującym tempie. Wciąż jednak istnieje jeden problem, który ogranicza ich skuteczność – trudność w prawidłowym interpretowaniu powierzchni o różnym stopniu odbicia światła. Błyszczący metal, mokre tkanki czy refleksy świetlne mogą dezorientować nawet najbardziej zaawansowane systemy widzenia maszynowego. Naukowcy z Uniwersytetu Arizony opracowali jednak nową technologię czujników 3D, która może znacząco zmienić możliwości autonomicznej nawigacji, chirurgii robotycznej i obrazowania biomedycznego. Wyniki badań opublikowano w czasopiśmie Nature Communications.
Z tego artykułu dowiesz się…
- Dlaczego obecne systemy widzenia 3D zawodzą w przypadku powierzchni błyszczących i lustrzanych
- W jaki sposób nowa technologia może zwiększyć bezpieczeństwo autonomicznych samochodów i chirurgii robotycznej
- Czym są neuromorficzne kamery zdarzeń i dlaczego mogą zrewolucjonizować obrazowanie 3D
- Jakie zastosowania medyczne i przemysłowe przewidują naukowcy dla nowego systemu
Dlaczego autonomiczne maszyny mają problem z widzeniem?
Ludzkie oczy potrafią błyskawicznie dostosować się do zmiennego światła, cieni i refleksów. Dla maszyn jest to znacznie trudniejsze. Obecne systemy obrazowania 3D często tracą orientację podczas przechodzenia pomiędzy powierzchniami matowymi a silnie odbijającymi światło. Problem ten ma szczególne znaczenie w przypadku autonomicznych samochodów, które muszą analizować dynamiczne środowisko miejskie w czasie rzeczywistym. Błyszczące karoserie pojazdów, mokre nawierzchnie czy refleksy świetlne mogą zakłócać działanie sensorów.
Podobne wyzwania występują podczas chirurgii robotycznej. Narzędzia chirurgiczne oraz płyny ustrojowe odbijają światło inaczej niż tkanki, co może utrudniać systemom robotycznym prawidłową ocenę głębokości i struktury operowanego obszaru. Jak podkreślił Florian Willomitzer z Uniwersytetu Arizony:
Ludzie mają już wbudowany system kamer 3D – widzenie stereoskopowe naszych oczu. Naukowiec zwrócił również uwagę na szerszy cel projektu: jednym z naszych celów jest umożliwienie komputerom i maszynom widzenia w 3D lepiej niż jakikolwiek człowiek, co jest kluczowe dla rozwiązania wielu wyzwań technologicznych, takich jak niezawodna nawigacja samochodów autonomicznych, precyzyjne prowadzenie podczas operacji robotycznych czy ulepszone możliwości wykrywania w kontroli przemysłowej i obrazowaniu biomedycznym.
Czym jest deflektometria i dlaczego dotychczas była problematyczna?
W przypadku bardzo błyszczących powierzchni klasyczne systemy obrazowania 3D okazują się niewystarczające. Dlatego wykorzystywana jest technika nazywana deflektometrią. Polega ona na wyświetlaniu wzorów geometrycznych na powierzchni obiektu i analizowaniu deformacji tych wzorów. Na tej podstawie można odtworzyć trójwymiarowy kształt badanego elementu.
Technologia ta ma jednak poważne ograniczenia. Aby dokładnie odwzorować duże i złożone obiekty, konieczne są ogromne instalacje wyposażone w wielkoformatowe ekrany. W przemyśle motoryzacyjnym stosuje się specjalne tunele pomiarowe służące do analizy świeżo lakierowanych karoserii. Takie rozwiązanie jest kosztowne, mało mobilne i praktycznie niemożliwe do wykorzystania w dynamicznych środowiskach, takich jak ruch uliczny czy sala operacyjna.
Naukowcy zamienili całe pomieszczenie w ekran
Zespół badawczy z Uniwersytetu Arizony zaproponował zupełnie inne podejście. Zamiast budować ogromne ekrany projekcyjne, naukowcy wykorzystali otoczenie jako „wirtualny ekran”. System wykorzystuje skaner laserowy do mapowania całego pomieszczenia wraz ze wszystkimi znajdującymi się w nim obiektami – zarówno matowymi, jak i lustrzanymi. Jak wyjaśnił pierwszy autor badania, Aniket Dashpute:
Możemy użyć skanera laserowego, aby zarejestrować wszystko w pomieszczeniu, łącznie z tym, co się w nim znajduje, w tym obiekty o powierzchniach lustrzanych, błyszczących i matowych, a także matowe ściany. Następnie używamy naszych algorytmów do oddzielenia powierzchni rozproszonych od lustrzanych i ostatecznie możemy wykorzystać wszystkie zmierzone części sceny rozproszonej jako wirtualny ekran do pomiaru deflektometrii części lustrzanych.
Dzięki temu możliwe stało się znaczne ograniczenie wymagań sprzętowych przy jednoczesnym zachowaniu wysokiej precyzji pomiarów.
Neuromorficzne kamery zdarzeń mogą zmienić obrazowanie 3D
Kluczowym elementem nowej technologii okazało się zastosowanie neuromorficznych kamer zdarzeń. W przeciwieństwie do klasycznych kamer, które rejestrują obraz klatka po klatce, kamery zdarzeń zapisują wyłącznie zmiany jasności w poszczególnych punktach obrazu. Takie podejście pozwala radykalnie ograniczyć ilość zbędnych danych oraz znacząco zwiększyć szybkość działania systemu.
W praktyce oznacza to możliwość tworzenia niezwykle szybkich, trójwymiarowych nagrań nawet w środowiskach o bardzo trudnych warunkach oświetleniowych i zmiennym współczynniku odbicia światła. Nowy system potrafi śledzić dynamiczne sceny z bardzo wysoką liczbą klatek na sekundę, co ma ogromne znaczenie zarówno dla autonomicznych pojazdów, jak i robotycznych systemów chirurgicznych.
Potencjalne zastosowania w medycynie i przemyśle
Choć obecnie technologia działa w warunkach laboratoryjnych, naukowcy podkreślają, że architektura systemu jest skalowalna i może zostać dostosowana do wielu zastosowań klinicznych oraz przemysłowych. W medycynie system mógłby wspierać:
- chirurgię robotyczną wymagającą ultrawysokiej precyzji,
- śledzenie mikroskopijnych naczyń krwionośnych,
- obrazowanie biomedyczne w czasie rzeczywistym,
- bardziej dokładną nawigację narzędzi chirurgicznych.
Z kolei w sektorze przemysłowym technologia może znaleźć zastosowanie w:
- kontroli jakości produkcji,
- autonomicznych systemach transportowych,
- mapowaniu przestrzeni,
- inspekcji powierzchni o wysokim połysku.
Eksperci zwracają uwagę, że poprawa jakości widzenia maszynowego może mieć bezpośredni wpływ na bezpieczeństwo pacjentów oraz niezawodność autonomicznych systemów transportowych.
Nowe możliwości dla medycyny przyszłości
Rozwój systemów widzenia 3D stanowi jeden z fundamentów nowoczesnej medycyny oraz autonomicznych technologii. Nowe rozwiązanie opracowane przez naukowców z Uniwersytetu Arizony pokazuje, że możliwe jest połączenie wysokiej szybkości działania, dokładności i odporności na trudne warunki optyczne.
Jeżeli technologia zostanie skutecznie wdrożona poza laboratorium, może odegrać istotną rolę w rozwoju chirurgii robotycznej nowej generacji, autonomicznego transportu oraz zaawansowanych systemów obrazowania medycznego. Dla ochrony zdrowia oznaczałoby to nie tylko większą precyzję procedur, ale również potencjalnie wyższy poziom bezpieczeństwa pacjentów.
Główne wnioski
- Naukowcy z Uniwersytetu Arizony opracowali nową technologię czujników 3D, która lepiej radzi sobie z powierzchniami błyszczącymi i lustrzanymi.
- System wykorzystuje skaner laserowy i neuromorficzną kamerę zdarzeń, co umożliwia bardzo szybkie obrazowanie 3D.
- Technologia może poprawić bezpieczeństwo autonomicznych samochodów oraz zwiększyć precyzję chirurgii robotycznej.
- Badanie opublikowane w Nature Communications wskazuje na szeroki potencjał zastosowań w medycynie, przemyśle i obrazowaniu biomedycznym.
Źródło:
- https://www.nature.com/articles/s41467-026-72254-6
- University of Arizona
