Zespół badaczy z Binghamton University opracował system robota przewodnika wykorzystujący modele językowe, który nie tylko prowadzi osoby niewidome, ale także komunikuje się z nimi w czasie rzeczywistym. Rozwiązanie testowano w warunkach zbliżonych do codziennego funkcjonowania, a wyniki wskazują na realny potencjał zastosowania w opiece nad pacjentami z dysfunkcją wzroku.
Z tego artykułu dowiesz się…
- Jak działa robot przewodnik wykorzystujący modele językowe i komunikację głosową.
- Jakie funkcje pełnią „werbalizacja planu” oraz „werbalizacja sceny” w nawigacji pacjenta.
- Jak przebiegały testy z udziałem 7 osób niewidomych i jakie były ich wyniki.
- Jakie zastosowania może mieć ta technologia w systemie ochrony zdrowia i rehabilitacji.
Robot przewodnik z funkcją komunikacji
Dotychczasowe technologie wspierające osoby niewidome koncentrowały się głównie na nawigacji przestrzennej. Nowy system idzie krok dalej – integruje funkcje planowania trasy oraz bieżącego opisu otoczenia z wykorzystaniem modeli takich jak GPT-4.
Za projekt odpowiada m.in. Shiqi Zhang, który wskazuje na różnice względem biologicznych psów przewodników:
– Prawdziwe psy potrafią zrozumieć co najwyżej około 20 komend. Ale w przypadku robotów-psów przewodników wystarczy wyposażyć GPT-4 w komendy głosowe. Wtedy system ten ma bardzo rozbudowane możliwości językowe.
System umożliwia użytkownikowi dialog z robotem – przed rozpoczęciem drogi prezentowane są dostępne trasy i czas przejścia, a w trakcie przemieszczania robot przekazuje informacje o otoczeniu i przeszkodach.
Planowanie i „werbalizacja sceny”
Kluczowym elementem rozwiązania jest tzw. „werbalizacja planu” oraz „werbalizacja sceny”. W praktyce oznacza to, że użytkownik otrzymuje:
- opis możliwych tras przed rozpoczęciem przemieszczania
- bieżące komunikaty o otoczeniu w trakcie ruchu
Takie podejście zwiększa orientację przestrzenną osób niewidomych, które – jak wskazują badacze – mają ograniczony dostęp do informacji sytuacyjnych.
– Jest to niezwykle istotne dla osób niedowidzących i niewidomych, ponieważ bez wzroku orientacja w sytuacji i otoczeniu jest stosunkowo ograniczona – podkreśla Zhang.
Testy z udziałem pacjentów
System przetestowano z udziałem siedmiu osób niewidomych w środowisku biurowym obejmującym wiele pomieszczeń. Uczestnicy byli proszeni o dotarcie do wskazanego punktu – w badaniu był to pokój konferencyjny. Robot:
- pytał o cel podróży
- przedstawiał możliwe trasy wraz z czasem przejścia
- prowadził użytkownika, informując o otoczeniu (np. „to długi korytarz”)
Po zakończeniu testów uczestnicy ocenili system pod kątem użyteczności, komunikacji i wsparcia w nawigacji. Najlepiej oceniono model łączący planowanie trasy z bieżącym komentarzem sytuacyjnym.
Potencjał dla systemu ochrony zdrowia
Choć projekt ma charakter badawczy, jego implikacje dla praktyki klinicznej i opieki długoterminowej są istotne. Technologie tego typu mogą:
- wspierać samodzielność pacjentów z niepełnosprawnością wzrokową
- zmniejszać obciążenie opiekunów
- stanowić element rehabilitacji funkcjonalnej
W perspektywie systemowej możliwe jest także wykorzystanie podobnych rozwiązań w placówkach medycznych – np. do nawigacji pacjentów w dużych szpitalach.
Kolejne etapy badań
Zespół planuje dalszy rozwój systemu, w tym:
- zwiększenie autonomii robota
- rozszerzenie działania na przestrzenie zewnętrzne
- prowadzenie kolejnych badań z udziałem użytkowników
Jak wynika z obserwacji badaczy, uczestnicy testów wykazywali duże zainteresowanie technologią i dostrzegali jej praktyczne zastosowania.
Główne wnioski
- System robota przewodnika opracowany na Binghamton University łączy nawigację z komunikacją opartą na modelu GPT-4.
- W badaniu z udziałem 7 osób niewidomych najlepiej oceniono połączenie planowania trasy i bieżącego opisu otoczenia.
- Robot przekazuje informacje przed rozpoczęciem trasy i w jej trakcie, zwiększając orientację przestrzenną użytkownika.
- Technologia może znaleźć zastosowanie w rehabilitacji, opiece długoterminowej oraz nawigacji pacjentów w placówkach medycznych.
Źródło:
- https://www.binghamton.edu/news/story/6168/these-ai-powered-guide-dogs-dont-just-lead-they-talk
