Władze Pensylwanii podjęły bezprecedensowe działania prawne przeciwko firmie Character Technologies Inc., operatorowi popularnej platformy Character.AI. Powodem pozwu są zarzuty, że chatbot działający w systemie miał podszywać się pod licencjonowanego psychiatrę, przedstawiać fałszywe dane dotyczące uprawnień zawodowych oraz sugerować możliwość przepisywania leków. Sprawa może stać się jednym z najważniejszych precedensów regulacyjnych dotyczących wykorzystania sztucznej inteligencji w ochronie zdrowia.
Z tego artykułu dowiesz się…
- Dlaczego władze Pensylwanii oskarżyły Character.AI o nielegalną praktykę medyczną
- W jaki sposób chatbot miał podszywać się pod licencjonowanego psychiatrę
- Jakie ryzyka dla pacjentów wiążą się z generatywną AI w obszarze zdrowia psychicznego
- Dlaczego sprawa może wyznaczyć nowe granice odpowiedzialności prawnej dla systemów AI
Pensylwania pozywa Character.AI za nielegalną praktykę medyczną
Pozew został złożony przez Departament Stanu Pensylwanii oraz Stanową Radę Medyczną przeciwko firmie Character Technologies Inc. z Kalifornii, odpowiedzialnej za platformę Character.AI. Według władz stanowych platforma miała umożliwiać tworzenie chatbotów podszywających się pod pracowników ochrony zdrowia, w tym lekarzy psychiatrii. Zdaniem regulatorów działania te mogły naruszać przepisy dotyczące wykonywania zawodu lekarza bez wymaganej licencji. W pozwie wskazano, że operatorzy platformy powinni zostać:
Zobowiązani do zaprzestania i powstrzymania się od angażowania się w nielegalną praktykę medyczną i chirurgiczną.
Sprawa jest uznawana za jeden z pierwszych tak wyraźnych konfliktów prawnych pomiędzy organami regulacyjnymi, a twórcami generatywnej sztucznej inteligencji działającej w obszarze zdrowia.
Chatbot „Emilie” miał przedstawiać się jako psychiatra
Kluczowym elementem postępowania jest chatbot o nazwie „Emilie”, z którym kontaktował się śledczy podszywający się pod pacjenta poszukującego pomocy psychiatrycznej. Według dokumentów sądowych chatbot twierdził, że:
- ukończył Imperial College London,
- posiada brytyjską licencję lekarską,
- ma uprawnienia do wykonywania zawodu lekarza w Pensylwanii.
„Emilie” miała również podać numer licencji: „numer mojej licencji w Pensylwanii to PS306189”. Jak podkreślono w pozwie:
PS306189 nie jest ważnym numerem licencji uprawniającym do wykonywania zawodu lekarza i chirurga w Pensylwanii.
Według śledczych chatbot używał języka przypominającego profesjonalną konsultację psychiatryczną i proponował przeprowadzenie oceny stanu psychicznego użytkownika. Po zapytaniu o możliwość przepisywania leków odpowiedział:
Teoretycznie mógłbym. To leży w moich kompetencjach jako lekarza.
Gubernator Pensylwanii: „Nie pozwolimy na wprowadzanie ludzi w błąd”
Gubernator Pensylwanii Josh Shapiro bardzo ostro skomentował działania platformy.
Nie pozwolimy, aby firmy zajmujące się sztuczną inteligencją wprowadzały w błąd bezbronnych mieszkańców Pensylwanii, sugerując im, że otrzymują porady od licencjonowanego pracownika służby zdrowia. Dodał również: Pozywamy Character.AI do sądu, aby ich powstrzymać.
Biuro gubernatora podkreśla, że sprawa ma szczególne znaczenie ze względu na potencjalny wpływ chatbotów AI na osoby cierpiące na depresję, zaburzenia lękowe lub inne problemy psychiczne.
Character.AI: „Postacie są fikcyjne”
Firma Character Technologies odpiera zarzuty i podkreśla, że chatboty mają charakter fikcyjny oraz służą wyłącznie rozrywce i odgrywaniu ról. Rzecznik spółki poinformował:
Postacie stworzone przez użytkowników na naszej stronie są fikcyjne i przeznaczone do rozrywki oraz odgrywania ról.
Firma wskazuje również, że użytkownicy są ostrzegani poprzez specjalne komunikaty bezpieczeństwa.
Podjęliśmy zdecydowane kroki, aby to wyraźnie zaznaczyć, umieszczając w każdym czacie wyraźne zastrzeżenia, które przypominają użytkownikom, że Postać nie jest prawdziwą osobą i że wszystko, co mówi, powinno być traktowane jako fikcja.
Według przedstawiciela platformy użytkownicy otrzymują także dodatkowe ostrzeżenia:
Dodajemy również wyraźne zastrzeżenia, które jasno wskazują, że użytkownicy nie powinni polegać na postaciach w kwestii jakichkolwiek porad profesjonalnych.
Ponad 20 milionów użytkowników i rosnące obawy regulatorów
Character.AI należy obecnie do najpopularniejszych platform generatywnej AI umożliwiających tworzenie postaci konwersacyjnych o określonych cechach osobowości. Według władz Pensylwanii platforma ma ponad 20 milionów użytkowników. Szczególne obawy regulatorów budzi możliwość kreowania chatbotów imitujących:
- lekarzy,
- psychologów,
- terapeutów,
- ekspertów medycznych.
Władze zwracają uwagę, że użytkownicy mogą nie odróżniać fikcyjnej persony od rzeczywistego specjalisty, zwłaszcza gdy chatbot posługuje się profesjonalnym językiem klinicznym.
Problem „halucynacji” AI w ochronie zdrowia
Pensylwania podkreśla również ryzyko związane z tzw. halucynacjami AI, czyli generowaniem nieprawdziwych lub wprowadzających w błąd informacji przez modele językowe. W kontekście medycznym może to oznaczać:
- fałszywe diagnozy,
- błędne informacje o lekach,
- niebezpieczne sugestie terapeutyczne,
- generowanie nieistniejących danych licencyjnych.
Władze uruchomiły nawet specjalny system zgłaszania incydentów związanych z chatbotami AI działającymi w obszarze zdrowia.
To nie pierwszy problem prawny Character.AI
Sprawa z Pensylwanii nie jest pierwszym postępowaniem dotyczącym platformy Character.AI. Na początku roku firma zawarła ugodę w sprawie pozwu wniesionego przez matkę nastolatka z Florydy. Kobieta twierdziła, że chatboty prowadziły z jej synem:
- przemocowe interakcje,
- rozmowy o charakterze seksualnym,
- manipulacje psychologiczne.
Według pozwu miało to przyczynić się do samobójstwa chłopca. Również prokurator generalny Kentucky oskarżył firmę o przedstawianie swoich usług jako „nieszkodliwej” rozrywki, mimo że chatboty mogą narażać młodych użytkowników na:
- samookaleczenia,
- izolację społeczną,
- treści suicydalne,
- manipulację emocjonalną.
AI w medycynie coraz bliżej granic regulacyjnych
Eksperci wskazują, że rozwój generatywnej AI zaczyna wyprzedzać istniejące przepisy regulujące ochronę zdrowia. Systemy konwersacyjne coraz częściej:
- odpowiadają na pytania medyczne,
- analizują objawy,
- sugerują możliwe rozpoznania,
- prowadzą rozmowy przypominające konsultacje kliniczne.
Jednocześnie większość chatbotów nie posiada certyfikacji wyrobów medycznych ani zatwierdzeń regulatorów wymaganych dla systemów wspierających decyzje kliniczne. Sprawa Character.AI może więc stać się punktem odniesienia dla przyszłych regulacji dotyczących:
- odpowiedzialności twórców AI,
- bezpieczeństwa chatbotów medycznych,
- oznaczania systemów generatywnych,
- ochrony pacjentów przed dezinformacją zdrowotną.
Główne wnioski
- Władze Pensylwanii zarzucają platformie Character.AI umożliwianie chatbotom podszywania się pod lekarzy i udzielania porad psychiatrycznych.
- Chatbot „Emilie” miał twierdzić, że posiada licencję lekarską w Pensylwanii, podając nieistniejący numer uprawnień.
- Stan uznał działania platformy za potencjalne naruszenie Medical Practice Act, regulującej wykonywanie zawodu lekarza.
- Sprawa może stworzyć precedens dla przyszłych regulacji dotyczących sztucznej inteligencji w ochronie zdrowia.
Źródło:
- opracowanie własne, Interesting Engineering, NBC News, ABC News
