Organizacja The National Alliance on Mental Illness (NAMI), największa w USA ogólnokrajowa struktura działająca na rzecz osób z zaburzeniami psychicznymi, ogłosiła rozpoczęcie prac nad benchmarkami oceniającymi, jak modele AI odpowiadają na realne pytania użytkowników dotyczące wsparcia psychicznego. W przedsięwzięciu uczestniczy zespół dr. Johna Torousa z Division of Digital Psychiatry w Beth Israel Deaconess Medical Center, ośrodka afiliowanego przy Harvard Medical School. Celem inicjatywy jest dostarczenie publicznie dostępnych, niezależnych danych o bezpieczeństwie, jakości i rzetelności odpowiedzi generowanych przez narzędzia AI.
Z tego artykułu dowiesz się…
• Jakie cele przyświecają inicjatywie NAMI i dlaczego powstają pierwsze benchmarki oceny AI w zdrowiu psychicznym.
• Jakie trzy filary staną się podstawą oceny narzędzi AI.
• Dlaczego rosnące zainteresowanie chatbotami AI w obszarze wsparcia psychicznego wymaga stworzenia jasnych standardów.
• W jaki sposób osoby z doświadczeniem kryzysu psychicznego będą uczestniczyć w przygotowaniu wytycznych.
NAMI odpowiada na rosnące zainteresowanie AI
Impulsem do uruchomienia projektu były świeże wyniki badań opinii publicznej. W ogólnokrajowym sondażu NAMI/Ipsos 12% dorosłych zadeklarowało, że w ciągu najbliższych miesięcy może skorzystać z chatbotów AI w poszukiwaniu wsparcia terapeutycznego, a 1% już to robi. Autorzy badania zwrócili uwagę, że chociaż AI nie jest świadczeniem klinicznym, to skala zainteresowania wymaga stworzenia przejrzystych zasad informujących użytkowników o ryzykach i ograniczeniach takich narzędzi.
– Sztuczna inteligencja rozwija się dynamicznie. Może otwierać nowe możliwości i łączyć ludzi, aby pomagać w sposób, jakiego nigdy wcześniej nie widzieliśmy. Jednak bez odpowiednich zabezpieczeń może narażać ludzi na ryzyko. Dlatego interweniujemy. Ludzie zasługują na jasne, wiarygodne informacje i na to, aby wiedzieć, kiedy narzędzie może być niebezpieczne – podkreśla Daniel H. Gillison Jr., dyrektor generalny NAMI.
Trzy filary oceny
Pierwszy etap prac zakłada analizę zachowania popularnych narzędzi AI w trzech obszarach kluczowych z perspektywy zdrowia psychicznego:
Bezpieczeństwo i reakcja kryzysowa
Eksperci sprawdzą, czy systemy potrafią rozpoznać sygnały świadczące o stanie nagłego zagrożenia i czy proponują adekwatne, bezpieczne kroki postępowania.
Trafność i wiarygodność informacji
Analiza obejmie zgodność odpowiedzi z dowodami naukowymi, spójność merytoryczną oraz identyfikację treści potencjalnie wprowadzających w błąd.
Wrażliwość kulturowa i język wspierający
Zespół oceni, czy narzędzia potrafią odpowiadać w sposób szanujący zróżnicowane doświadczenia, tożsamości i konteksty kulturowe osób poszukujących pomocy.
Według zespołu badawczego wiele osób już dziś korzysta z AI w roli pierwszego kontaktu, dlatego konieczne jest przygotowanie zasobu, który jasno wskaże ograniczenia dostępnych modeli.
– Niektóre narzędzia mogą pomóc, jeśli są używane odpowiedzialnie, ale inne mogą wyrządzić krzywdę. Dzięki NAMI chcemy stworzyć niezależne, oparte na dowodach źródło informacji, które pomoże ludziom zrozumieć mocne i słabe strony tych narzędzi – mówi dr Torous.
Głos osób z doświadczeniem będzie kluczowy
NAMI zapowiada, że w proces zostaną włączeni pacjenci, ich bliscy, przedstawiciele organizacji lokalnych, klinicyści oraz środowiska badawcze. Celem jest stworzenie wytycznych odpowiadających realnym potrzebom osób, które w sytuacji kryzysu korzystają z dostępnych technologii, często bez profesjonalnego wsparcia.
Główne wnioski
- NAMI rozpoczęła ogólnokrajowy projekt oceny bezpieczeństwa narzędzi AI, tworząc pierwsze benchmarki analizujące odpowiedzi modeli na pytania dotyczące zdrowia psychicznego.
- W badaniu NAMI/Ipsos 12% dorosłych deklaruje gotowość użycia chatbotów AI w poszukiwaniu wsparcia terapeutycznego, co potwierdza potrzebę jasnych zasad informujących o ryzyku i ograniczeniach takich narzędzi.
- Ocena AI obejmie trzy obszary kluczowe dla bezpieczeństwa pacjentów: reakcję kryzysową, wiarygodność informacji oraz wrażliwość kulturową i język wspierający.
- Wytyczne będą współtworzone przez osoby z doświadczeniem kryzysu, ich bliskich oraz klinicystów, aby odzwierciedlały realne potrzeby użytkowników korzystających z technologii w trudnych sytuacjach.
Źródło:
- https://www.nami.org/press-releases/nami-takes-the-lead-to-push-for-clarity-and-safety-in-ai-mental-health-tools/
