Interfejs mózg-komputer (BCI) opracowany przez naukowców z University of California, San Francisco pozwolił osobom z ciężkim paraliżem jednocześnie komunikować mowę i gesty za pośrednictwem cyfrowego awatara. To pierwszy system BCI, który umożliwia równoczesne wykorzystanie obu form ekspresji, zbliżając komunikację wspomaganą do naturalnej rozmowy. Wyniki badania finansowanego przez National Institutes of Health (NIH) opublikowano w „Nature Neuroscience”.
Z tego artykułu dowiesz się…
- Jak nowy interfejs mózg-komputer (BCI) umożliwia jednoczesne odtwarzanie mowy i gestów u osób z ciężkim paraliżem.
- Jak elektrody ECoG i algorytmy uczenia maszynowego odczytują aktywność kory ruchowej i przekształcają ją w polecenia sterujące cyfrowym awatarem.
- Dlaczego mózg inaczej koduje jednoczesne mówienie i gestykulację niż każdą z tych czynności wykonywaną oddzielnie.
- Na jakim etapie rozwoju znajduje się technologia i dlaczego kolejnym krokiem mają być testy w pełni wszczepialnego, bezprzewodowego BCI.
BCI ma przywrócić nie tylko mowę, ale również gesty
Osoby z ciężkim paraliżem, m.in. w przebiegu stwardnienia zanikowego bocznego (SLA) lub po udarze pnia mózgu, mogą utracić możliwość komunikowania się zarówno za pomocą mowy, jak i ruchów ciała. Stosowane technologie śledzenia wzroku pozwalają m.in. wybierać tekst, który następnie jest przekształcany w mowę. Rozwiązania te mogą być jednak stosunkowo wolne, ograniczają możliwości ekspresji i bywają dla użytkownika wyczerpujące.
Naukowcy z University of California, San Francisco (UCSF) pracują nad rozwiązaniem, które bezpośrednio odczytuje aktywność mózgu i przekształca ją w komunikaty. W nowym badaniu poszli o krok dalej – zamiast odtwarzać tylko mowę lub pojedynczy rodzaj ruchu, postanowili jednocześnie dekodować komunikację werbalną i niewerbalną.
Elektrody ECoG odczytywały aktywność kory ruchowej
Badacze wykorzystali macierze elektrokortykograficzne (ECoG), czyli cienkie układy elektrod umieszczone na powierzchni mózgu. Implanty rejestrowały aktywność kory ruchowej u trzech uczestników z różnym stopniem paraliżu aparatu mowy i ciała. Następnie algorytmy uczenia maszynowego analizowały sygnały powstające, gdy uczestnicy próbowali wypowiadać określone frazy oraz wykonywać typowe gesty, m.in. machać ręką lub unosić kciuk.
Zadania wykonywano zarówno oddzielnie, jak i jednocześnie. Dzięki temu naukowcy mogli sprawdzić, czy aktywność mózgu podczas równoczesnego mówienia i gestykulowania jest prostym połączeniem wzorców związanych z każdą z tych czynności.
Mowa i gesty tworzą w mózgu odrębny wzorzec aktywności
Wyniki przyniosły istotną obserwację. Aktywność neuronalna związana z jednoczesnym mówieniem i gestykulacją nie była jedynie sumą sygnałów rejestrowanych podczas wykonywania tych czynności osobno. Chociaż część aktywności się nakładała, wzorce występujące podczas komunikacji multimodalnej wyraźnie różniły się od tych związanych wyłącznie z mową albo gestami.
Miało to bezpośrednie znaczenie dla działania BCI. Dekodery skuteczniej interpretowały aktywność mózgu związaną z jednoczesną komunikacją, jeżeli wcześniej trenowano je na danych zebranych właśnie podczas równoczesnego wykonywania mowy i gestów, a nie na obu czynnościach wykonywanych oddzielnie. Oznacza to, że projektowanie przyszłych neuroprotez komunikacyjnych może wymagać uwzględnienia specyficznych wzorców aktywności mózgu związanych z naturalną, wielowymiarową komunikacją.
Cyfrowy awatar odtwarzał komunikację uczestników
Opracowany system wykorzystał zdekodowane sygnały do sterowania wirtualnym awatarem przedstawiającym całe ciało. U dwóch uczestników BCI skutecznie przekształcał intencje komunikacyjne w polecenia odpowiadające za mowę oraz ruchy awatara. To istotna różnica w porównaniu z systemami nastawionymi wyłącznie na przywracanie mowy. Naturalna rozmowa obejmuje bowiem nie tylko słowa, ale również mimikę, gesty i ruchy ciała, które mogą wzmacniać przekaz, sygnalizować emocje i nadawać wypowiedzi dodatkowy kontekst.
Rozmowa to coś więcej niż wypowiadane słowa. To wielowarstwowy, dynamiczny proces angażujący całą korę ruchową. Ten dowód słuszności koncepcji pokazuje nam, że interfejs mózg-komputer (BCI) może przywrócić część tej swobody i elastyczności – powiedział prof. Edward Chang, neurochirurg z UCSF i autor korespondencyjny badania.
Technologia może pomóc osobom z ciężkim paraliżem
Nowe rozwiązanie pozostaje na etapie badań i zostało przetestowane jedynie u trzech osób, dlatego wyniki należy traktować jako dowód słuszności koncepcji, a nie potwierdzenie skuteczności gotowej terapii. Mimo to technologia wskazuje nowy kierunek rozwoju BCI. Zamiast skupiać się na odtworzeniu pojedynczej utraconej funkcji, systemy mogą w przyszłości próbować rekonstruować bardziej naturalny sposób komunikacji.
Te obiecujące wyniki dają mi nadzieję, że w przyszłości pacjenci z ciężkim paraliżem będą mogli na nowo odkryć holistyczną naturę ludzkiej komunikacji – powiedziała dr Debara Tucci, dyrektor National Institute on Deafness and Other Communication Disorders (NIDCD) w NIH.
Kolejny krok: całkowicie wszczepialny, bezprzewodowy BCI
System wykorzystany w badaniu był przewodowy. Wszczepione czujniki ECoG pozostawały połączone z zewnętrznym sprzętem odpowiedzialnym za przetwarzanie sygnałów. Zespół Edwarda Changa planuje jednak testy w pełni wszczepialnej i bezprzewodowej wersji interfejsu. Takie rozwiązanie mogłoby być znacznie bardziej praktyczne w długotrwałym, codziennym użytkowaniu.
Główne wnioski
- Naukowcy z University of California, San Francisco (UCSF) opracowali interfejs mózg-komputer, który umożliwia jednoczesne dekodowanie mowy i gestów, dzięki czemu komunikacja osób z ciężkim paraliżem może bardziej przypominać naturalną rozmowę.
- W badaniu uczestniczyły trzy osoby z różnym stopniem paraliżu aparatu mowy i ciała. U dwóch uczestników system skutecznie przekształcał intencje komunikacyjne w polecenia sterujące mową i ruchami cyfrowego awatara.
- Badacze odkryli, że aktywność mózgu podczas jednoczesnego mówienia i gestykulowania nie jest prostą sumą sygnałów związanych z tymi czynnościami wykonywanymi oddzielnie. Dekodery działały lepiej, gdy trenowano je bezpośrednio na danych pochodzących z komunikacji multimodalnej.
- Technologia pozostaje na etapie dowodu słuszności koncepcji i w badaniu wykorzystywała przewodowy system ECoG. Zespół Edwarda Changa planuje kolejne testy w pełni wszczepialnej, bezprzewodowej wersji BCI, która mogłaby lepiej nadawać się do długoterminowego użytkowania.
Źródło:
- https://www.nature.com/articles/s41593-026-02446-2
- National Institutes of Health (NIH)
