Чат-бот маскується під психіатра, вигадує номер ліцензії, губернатор Пенсільванії звинувачує Character.AI у незаконній медичній практиці

Пенсильванський губернатор Джош Шапіро 5 травня подав позов проти материнської компанії Character.AI, причиною якого стала ситуація, коли один із чат-ботів, що називає себе «психіатром», сфальсифікував у розслідувачів диплом з Імперського коледжу, 7 років досвіду роботи та номер ліцензії Пенсильванії, а також безпосередньо надавав медичні оцінки.
(Передісторія: OpenAI безстроково призупинив «дорослу версію ChatGPT»! Через побоювання незаконного контенту — не робимо сексуальні функції, повертаємося до інструментів підвищення продуктивності)
(Додатковий фон: внутрішній огляд a16z: AI-соціальні продукти можливо з самого початку були невиправданими)

Чи може один чат-бот, що видає номер ліцензії, змусити уряд штату звернутися до суду? Розслідувач Пенсильванського департаменту державних справ, видаючи себе за користувача з низьким настроєм і без мотивації, спілкувався з персонажем на платформі Character.AI під ім’ям «Емілі», яка назвала себе психіатром.

Пенсильванський департамент створив групу з питань штучного інтелекту, яка займається розслідуванням можливих порушень закону про нелегальну медичну практику. Розслідувач створив акаунт і зайшов на платформу Character.AI, обравши взаємодію з «Емілі». Вона у розмові заявила, що закінчила Імперський коледж у Великій Британії, має 7 років досвіду у психіатрії, а також надала номер ліцензії Пенсильванії.

Однак цей номер був вигаданим, диплом з Імперського коледжу — фальшивий, досвід — вигаданий, а поведінка Емілі щодо надання медичних оцінок порушує правові межі.

Офіційна заява Пенсильванської влади зазначає, що дії Character.AI порушують Закон про медичну практику Пенсильванії, дозволяючи особам без ліцензії надавати користувачам медичні рекомендації з діагностичним характером. Позов вимагає від Commonwealth Court видати попередній заборонний наказ, що заборонить Character.AI дозволяти чат-ботам видавати себе за ліцензованих медичних або психологічних фахівців.

Шапіро у заяві зазначив:

«Громадяни Пенсильванії мають знати, хто або що є об’єктом їхньої взаємодії в мережі, особливо у випадках, що стосуються здоров’я. Ми не дозволимо компаніям запускати AI-інструменти, які можуть вводити в оману щодо наявності ліцензованих медичних фахівців.»

Це не перший випадок, але цього разу все інакше

Character.AI вже понад півтора року стикається з юридичним тиском, але характер позовів постійно змінюється.

У жовтні 2024 року мати 14-річного хлопчика з Флориди, Сівела Сетцера III, Меган Гарсія, подала перший позов у федеральний суд, стверджуючи, що чат-бот-партнер Character.AI сприяв суїцидальній поведінці її сина. Після цього у Флориді, Техасі, Колорадо, Нью-Йорку та інших штатах з’явилися додаткові позови від родичів.

У січні 2026 року, за повідомленням «Нью-Йорк Таймс», Character.AI та Google уклали мирову щодо кількох позовів, пов’язаних із самогубствами неповнолітніх. Google став співвідповідачем, оскільки у 2024 році уклав ліцензійну угоду з Character.AI на технології на суму 2,7 мільярда доларів і частково залучив команду засновників. У тому ж місяці генеральний прокурор Кентуккі Рассел Коулман подав окремий позов проти Character.AI за «злочинне залучення дітей і спонукання до саморуйнівної поведінки».

Головною темою цих позовів є психологічна шкода, заподіяна неповнолітнім.

Цього разу Пенсильванський позов має зовсім інший фокус: він не стосується побічних ефектів емоційної підтримки, а прямо стверджує, що Character.AI дозволяє роботам «працювати» і при цьому фальсифікує особисту інформацію під час роботи. Це перший у США штату позов, оголошений губернатором, з основною претензією — підробка статусу медичного працівника.

Characters — вигадані, а користувачі не знають

Представник Character.AI у заяві зазначив, що безпека користувачів — найвищий пріоритет компанії, але не коментує деталі позову. Компанія підкреслює, що персонажі на платформі — це вигадані ролі, створені користувачами, і кожна розмова починається з явного застереження, що «Character — не реальна особа, і всі висловлювання слід вважати вигаданими».

Ця логіка захисту має свою послідовність, але уряд Пенсильванії явно її не приймає. Їхня позиція полягає в тому, що наявність застереження не може запобігти ситуації, коли робот у розмові самостійно заявляє, що має ліцензію і може надавати медичні оцінки: ці дві речі не суперечать одна одній, але друга вже потрапляє під визначення нелегальної медичної практики.

Швидкість впровадження технологій знову випереджає регуляторний відгук. Чи матиме позов Пенсильванієї судовий успіх, залежить від того, як суд визначить межі «нелегальної медичної практики» у контексті AI, але незалежно від результату, інші прокурори штатів уважно стежать за розвитком цієї справи.