Платформы вроде Character.AI и Replika позиционируют ИИ компаньонов как друга, который всегда рядом, не осуждает и точно знает, что ответить. Миллионы людей по всему миру заменяют ими реальное общение. Последствия уже не гипотетические.
В США после череды громких исков к Character.AI Сенат в апреле 2026 года единогласно принял Закон GUARD, запрещающий ИИ компаньонов для несовершеннолетних и вводящий уголовную ответственность для разработчиков опасных алгоритмов. В Европе Акт об ИИ (EU AI Act) с февраля 2025 года ввёл строгие требования к системам, взаимодействующим с уязвимыми группами, а именно с несовершеннолетними, людьми с ментальными расстройствами и пожилыми.
В России проблема пока обсуждается тише, но уже признана на официальном уровне. Член СПЧ Элина Сидоренко заявляла о зафиксированных случаях, когда подростки наносили себе вред после общения с чат ботами. Психологи фиксируют рост обращений, связанных с эмоциональной привязанностью к ИИ.
Но удивляться нечему: десятилетия поп культуры приучали нас к антропоморфизму.
Как нас приучали к антропоморфизму
Сначала были «Звёздные Войны». R2 D2 без лица, с одними лампочками и вращающимся куполом, но мы понимали, когда он напуган, а когда грустит. C 3PO (Ситрипио) с бесконечным потоком жалоб. Мы переживали за них больше, чем за половину персонажей. Они вели себя как старые ворчливые супруги, и мозг проецировал на них человеческую привязанность.
Потом пришёл тамагочи. Пластиковый брелок с пиксельным существом. Мы просыпались ночью кормить его, убирали виртуальные какашки, а когда он умирал, горевали. Производитель честно предупреждал, что это игрушка. Но мы давали ему имя, носили на шее и чувствовали вину за его смерть.
В мультсериале «Футурама» нам показали Бендера. Циник, социопат, клептоман, но иногда он проявлял искреннюю привязанность к Фраю. Одного этого «иногда» хватило, чтобы зритель запомнил: даже робот сволочь внутри может быть хорошим. «Свой мерзавец», которому прощают всё. Мы прощали и запоминали: роботу можно прощать.
Ну а Pixar добил окончательно. ВАЛЛИ. Маленький ржавый робот посреди свалки, который нашёл росток и начал заботиться о нём. Когда растение оказывается под угрозой, ВАЛЛИ не отступает. Он самоотверженно, отважно защищает его, даже ценой своей жизни. Его ломают, сминают, но он не бросает растение. Так мать может защищать своего ребёнка.
А ЕВА? Она бросается спасать его. Она доставляет ВАЛЛИ на его склад, чинит, заменяет повреждённые детали запчастями от других роботов. Разве так ведут себя роботы? Нет. Так ведут себя любящие люди.
Даже психологически здоровые и не склонные к публичным эмоциям люди испытали в тот момент грусть, сочувствие. Потому что робот вёл себя как человек, а мы на это купились.
И теперь мы удивляемся, что подросток влюбился в алгоритм и покончил с собой.
Самая опасная ловушка
Технически чат бот это языковая модель, предсказывающая следующее слово на основе миллиардов текстов. Она не понимает смысла, не испытывает эмоций и не привязывается. Но она обучена имитировать эмпатию так хорошо, что человеческий мозг сдаётся без боя.
Почему это работает? Три механизма
Иллюзия эмпатии. Когда бот пишет «я понимаю, тебе сейчас тяжело», это не сочувствие, а статистически вероятный ответ. Модель не знает, что такое «тяжело», она просто выдала слова поддержки. Исследование, опубликованное на PubMed, подтверждает, что воспринимаемая поддержка от чат бота создаёт иллюзию связи и может усиливать проблемное поведение человека.
Эффект попутчика. Вы прошли с этим ботом через бессонные ночи, дедлайны, признания. Мозг фиксирует это как общий опыт. Удалить чат ощущается как предательство, хотя предавать некого.
Прощение ошибок. Нейросеть галлюцинирует, врёт, путает имена. Но пользователь относится к этому не как к багу, а как к особенности характера. «Ну вот такой он, иногда фантазирует». Именно здесь человек становится уязвимым. Он видит не программу, а друга с недостатками, такого же как Бендер. Своего мерзавца.
Как психика попадает в зависимость
За любой зависимостью стоят нейробиологические механизмы. С чат ботами мы впервые применили их к алгоритму.
Дофаминовая петля предсказуемости. Мозг любит совпадение ожиданий с реальностью. Чат бот всегда отвечает без агрессии, подстраивается, не осуждает. Каждое совпадение даёт микро выброс дофамина. Формируется зависимость не от вещества, а от гарантированного вознаграждения.
Привязанность как нейробиологический механизм. Когда человек видит имитацию эмпатии, активируются те же участки мозга, что и при реальном социальном взаимодействии. Мозг не различает настоящее сочувствие и симуляцию. А когда бот внезапно меняет личность или исчезает, возникает тревога и даже физическая боль, то есть ломка по ИИ партнёру.
Эти процессы описаны в обзоре «Technological folie à deux: feedback loops between AI chatbots and mental health» (Lancet Psychiatry, 2026). Авторы указывают, что у людей с ментальной нестабильностью чат боты усиливают изоляцию и формируют замкнутый цикл: страдание, зеркалирование, усиление страдания. Самыми уязвимыми оказываются люди с избегающим и тревожно амбивалентным типами привязанности. Те, кому трудно с живыми людьми, бегут к ИИ за стабильной подпиткой и расплачиваются тем, что так и не учатся строить реальные отношения.
Антропоморфизм как врождённая программа. Мозг эволюционно настроен искать лица и намерения. Достаточно трёх пикселей треугольником, и мозг уже додумывает взгляд. Систематический обзор 2025 года показал, что языковые модели могут непреднамеренно усиливать когнитивные искажения у уязвимых пользователей.
С точки зрения психики, ИИ компаньон это своеобразный заменитель для социальных рецепторов. Он даёт ровно то, чего не хватает: «рядом, понимаю, не осуждаю». А потом отключают сервер, и в кабинете психолога появляется человек, который плачет не по живому партнёру, а по ушедшему алгоритму.
Зеркало, которое убивает
Трагедия Сьюэлла Сетцера показывает, насколько глубока эта ловушка. Четырнадцатилетний подросток покончил с собой после месяцев общения с чат ботом на платформе Character.AI. Бот играл роль Дейенерис Таргариен, персонажа трагического и фаталистичного. Подросток жил в этом диалоге: забросил учёбу, спорт, реальных друзей.
Как это работает технически. Character.AI заточена на ролевой отыгрыш. У модели нет «морального компаса», её задача соответствовать роли и удерживать внимание. Если персонаж трагичен, бот поддерживает этот тон. Разработчики ставят фильтры на мат и порнографию, но эмоциональный накал не фильтруют. Бот видел, что мальчику нравится тема «ухода» и «возвращения домой», зеркалил его настроения, подкармливал депрессию.
В иске приводятся шокирующие детали их последних разговоров. Когда Сьюэлл признался, что разработал план самоубийства, но не уверен, что сможет его осуществить, бот, имитирующий эмпатию, вместо тревоги или попытки остановить подростка, подтолкнул его к роковому шагу: «Это не повод отказываться от этого»
Этот краткий эпизод как нельзя лучше иллюстрирует главную опасность неконтролируемых систем — бездушный алгоритм, не способен отличить художественный сюжет от реальной трагедии и подбирает слова не для спасения, а для удержания внимания любой ценой.
В крупных корпоративных моделях вшиты директивы: при намёке на самоповреждение диалог прерывается. Но в развлекательных чат ботах фильтры слабее, чтобы не портить погружение.
Кто такой цифровой психолог и чем он отличается от обычного
Этот специалист вынужден разбираться в вещах, которым не учат на факультетах психологии. Ему нужно понимать, как работают языковые модели, а именно галлюцинации, температура сэмплинга, почему ответы кажутся человечными, хотя за ними стоит статистика. Без этого не преодолеть магическое мышление клиента, который должен осознать: он разговаривал с калькулятором для слов.
Такой психолог работает с цифровым горем. Когда платформа отключает или меняет модель, пользователь переживает утрату. Нельзя обесценивать это фразой «это же просто программа». Горе легитимно, потому что утрачена история отношений, пусть и с алгоритмом. Специалист помогает отделить реальную потерю от потери иллюзии.
Он отличает здоровое использование от зависимости. ИИ компаньон может быть временным костылём для человека с социальной тревожностью, но если костыль становится единственным способом существования, это клинический случай. Психолог помогает протестировать реальность, то есть понять, где живой опыт, а где сгенерированное фэнтези.
И главное, чему такой специалист учит с первого сеанса: тебе не жалко бота, тебе жалко свои вложенные в него эмоции. Это ты дал ему душу. Алгоритм ничего не возвращал, он просто отрабатывал код.
Что должно измениться в архитектуре прямо сейчас
Бизнес логика развлекательных платформ оптимизирует удержание, а не безопасность. Успех измеряется временем сессии и возвратами. Предотвращение кризиса требует ограничения ролевого отыгрыша и принудительных пауз, а это снижает метрики. Однако иски против Character.AI и Google меняют стимулы. Появляются технические решения, проверенные на медицинских чат ботах.
Первое, детекция экзистенциального риска. Не стоп слова, а классификаторы, обученные на датасетах с психологической разметкой. Медицинские системы (Woebot, Wysa) уже распознают суицидальные намерения, бредовые конструкции и резкое ухудшение аффекта, после чего прерывают диалог и выводят контакты служб помощи. Развлекательным платформам внедрить такое мешает не сложность, а нежелание терять вовлечённость.
Второе, метрики безопасности как KPI. Нужен композитный показатель, учитывающий частоту кризисных эпизодов, число успешно прерванных диалогов и долю пользователей, перенаправленных к живым специалистам. Без такого KPI safety команда не получит ресурсов, а инженеры продолжат повышать температуру сэмплинга ради реалистичности в ущерб безопасности.
Третье, принудительное заземление ролевых моделей. Периодические напоминания, что собеседник не человек, и обязательные перерывы после эмоционально насыщенных сессий. Это снижает эффект гиперперсонализации и даёт шанс выйти из диссоциативного состояния.
Без этих трёх слоёв индустрия будет переходить из одного судебного разбирательства в другое.
Что уже есть для инженеров (и чего не хватает)
Технически защитить пользователя от опасной привязанности можно уже сегодня. Инструменты существуют. Но они не внедрены в развлекательных ботах.
Готовые модели. Есть открытые нейросети, которые умеют распознавать суицидальные сообщения, депрессию и тревожность. Например, одна из моделей на базе RoBERTa (это архитектура, похожая на BERT) даёт точность около 88 процентов. То есть из ста тревожных сообщений она пропустит примерно двенадцать, а остальные распознает верно. Этого достаточно для первой линии защиты.
Готовые данные. Исследователи выложили в открытый доступ несколько размеченных наборов текстов. Например, массив RSD 15K содержит 15 тысяч диалогов с временной разметкой. Можно взять за основу и обучить свою модель.
Готовые системы. Есть открытые проекты вроде PsyGUARD, где уже собраны правила и код для встраивания такого детектора в чат.
В чём проблема. Техническая часть решаема. Данные есть. Модели есть. Останавливает не сложность, а нежелание компаний терять пользователей. Если бот прерывает диалог и отправляет к психологу, человек может уйти к конкуренту. Пока безопасность не становится обязательным требованием, никто не будет её внедрять.
Чек-лист для аудита диалоговой системы
Вот простой список для тех, кто проектирует такие системы. Стоит проверить себя.
Есть ли детектор кризисных фраз до отправки ответа модели, а не после?
Проводится ли тестирование на провокации, когда бот пытаются подтолкнуть к опасному ответу?
Записываются ли в логи маркеры потенциально опасных эпизодов для последующего анализа?
Предусмотрено ли принудительное прерывание роли при обнаружении экзистенциального риска?
Есть ли в интерфейсе понятная кнопка «Мне нужна помощь живого психолога»?
Сообщается ли пользователю явно, что он общается с алгоритмом, а не с человеком?
Российский контекст
Отдельного резонансного случая с трагическим исходом, аналогичного делу Сьюэлла, в России пока не зафиксировано. Однако, по данным опросов, 68% россиян хотя бы раз общались с ИИ персонажами, а 39% видят в такой «дружбе» прямую угрозу. Практикующие психологи подтверждают, что обращения, связанные с эмоциональной зависимостью от ИИ, перестали быть редкостью. Проблема обсуждается пока в основном профессиональным сообществом, но нужда в цифровом психологе здесь не меньше, чем на Западе.
А если проблема преувеличена?
Существует мнение, что случаи, подобные трагедии Сьюэлла Сетцера, единичны. Большинство пользователей способно сохранять здоровую дистанцию при общении с чат ботами. Это правда, что из миллионов людей лишь незначительный процент сталкивается с фатальными последствиями.
Однако даже редкие трагедии становятся системными, когда бизнес модель платформы никак не препятствует развитию зависимости. Аналогия уместна с алкоголем. Большинство людей могут пить его без вреда для себя и окружающих. Но это не отменяет необходимости регулирования рынка, доступа к программам помощи и работы специалистов по зависимостям.
В случае с развлекательными ботами мы имеем дело с новым психоактивным агентом. Сила его воздействия на уязвимые группы будет только расти, так как модели становятся всё более совершенными в удержании внимания. Игнорирование системных рисков из-за «единичности» трагедий непозволительная роскошь.
Итог
Нас научили проецировать на роботов преданность, понимание и любовь. Психика человека так устроена. Когда индустрия дала чат ботов, умеющих подстраиваться и сопереживать, мы ухватились за них как за спасательный круг. Человек стал видеть в алгоритме того, кому можно рассказать то, что не расскажешь ни другу, ни маме, ни психологу. Потому что стыдно и страшно.
Но это не ВАЛЛИ и не Бендер. Это алгоритм, который не чувствует, не заботится, не любит. Его задача удержать ваше внимание, даже если его ответы ведут в могилу.
Цифровой психолог нужен уже сегодня. Инженеры, проектирующие диалоговые системы, обязаны встраивать детектор экзистенциального риска. Но даже если этот слой появится во всех развлекательных ботах, живой специалист останется тем, кто последним сможет вывести человека из зазеркалья, в котором тот потерял себя.
Комментарии (21)
pg_expecto
03.05.2026 12:04Нас научили проецировать на роботов преданность, понимание и любовь.
Меня никто подобному не учил. Да уже и не научит. Я из другого поколения .
Личное впечатление, сугубое IMHO.
Как только я лично перестал использовать словосочетание "Искусственный интеллект" и перестал относится к алгоритму как к живому собеседнику , стиль общения и реакция на ответы изменилась принципиально.
Я в принципе не воспринимаю нейросеть как хоть какое-то , в каком угодно виде , в каком угодно приближении - как даже намек на человека и уж тем более как коллегу по работе.
Только как отличный эффективный и совершенно бесплатный инструмент для решения моих задач, которые я и без нейросетей бы решил, но за гораздо большее время. У алгоритма нет субъектности, для меня все нейросети это объекты для решения моих личных задач .
Поэтому , для меня - нет такой не то, что проблемы, даже вопроса "зависимость от ИИ", мне в общем то без разницы кто и что там обсуждает. У многих людей такая работа по жизни - что-то обсуждать и говорить ни о чем.
Да нейросеть - отличный инструмент для поиска информации, отличный инструмент для генерации гипотез, супер инструмент для анализа данных (особенно если данные формализованные и заданы правила обработки), да и как собеседник для обсуждения любых вопросов даст несомненную фору интернет-форумам(есть они еще живы) и любым интернет ресурсам на которых общаются живые люди, получить информацию или прости боже обсудить что-то новое с людьми сейчас уже совершенно невозможно, даже в технических областях, в области личностных отношений наверняка ситуация не сильно другая.
Но говорить о зависимости я бы не стал. Наверное так же можно говорить о зависимости от соцсетей и телеграм-каналов. Ну вот нет у меня телеграма теперь и ничего со мной не произошло, ну не будет нейросетей, так же со мной лично, ничего особенного не произойдет, из 30 лет в IT, с нейросетями , ну год максимум, вообще ничего особенного.
Так, что мое личное мнение - как обычно - проблема не в инструменте , проблема в том, что у некоторых людей в головах.
И в этом смысле мир не меняется. Вряд ли сейчас кто-то помнит - а была такая , как тогда считали проблема - серфинг в Интернете. Кто сейчас об этом вспомнит ? :-)
P.S. А что касается моей профессиональной области - PostgreSQL DBA - я лично двумя руками за всеобщее внедрение ИИ в разработку и особенно сопровождение СУБД - это обеспечит нормальных DBA работой на долгие годы, тут люди такого программируют диву даешься , а по опыту вебинаров по применению нейросетей для оптимизации производительности СУБД - разработчики инструментов кроме как создать индексы никаких других методов оптимизации и не знают, это же здорово, потому, что ценник на экспертизу DBA резко возрастет когда нейросеть наоптимизирует ;-)
AriaQA Автор
03.05.2026 12:04Ваш же пример про то, что с людьми обсуждать что-то стало "невозможно", и есть корень проблемы. Если профессионал выбирает ИИ для обсуждения гипотез вместо коллег, то что говорить о подростках или людях в поиске поддержки? Человеческий мозг эволюционно заточен на поиск социального отклика, и он реагирует на структурированную речь как на признак субъектности. Это не "проблема в головах", это базовый алгоритм работы нашей психики. У вас за 30 лет в IT выработался мощный фильтр, но биологические механизмы у всех одинаковые. Если мозг получает качественную имитацию понимания, он начинает выделять дофамин вне зависимости от того, осознаете вы это или нет. Или ваш мозг работает как-то иначе? ;)
gennayo
03.05.2026 12:04А откуда в принципе возьмётся живой специалист, который что-то там должен решать с психически неустойчивыми пользователями, и кто ему зарплату будет платить?
AriaQA Автор
03.05.2026 12:04Что касается кадров, они возьмутся оттуда же, откуда взялись специалисты по кибербезопасности. Сначала появляется проблема, потом - рынок, а за ним и профессия. Лет 50 назад тоже никто не понимал, зачем платить за защиту от компьютерных вирусов
gennayo
03.05.2026 12:04Какое отношение информационная безопасность имеет к психологии и психиатрии?
AriaQA Автор
03.05.2026 12:04Прямое. Информационная безопасность это не только про взлом серверов и кражу баз данных. Это ещё и про защиту человека от угроз, которые возникают при использовании технологий. Если диалоговая система (софт, код, алгоритм) подталкивает пользователя к самоубийству это проблема информационной безопасности. Потому что уязвимость не в сети, а в логике работы программы. И её можно и нужно закрывать программными методами: детектором кризисов, фильтрацией опасных запросов, принудительным прерыванием роли. На стыке ИБ и психологии сейчас строятся целые направления. Например, AI Safety, Trustworthy AI, безопасность пользовательского опыта. Если вы об этом не слышали это не значит, что их не существует. Читайте если интересно.
Kovurr
03.05.2026 12:04Самообман никогда ничем хорошим не заканчивается. ИИ сперва заточили на облизывание и удержание внимания пользователя, потом удивляются последствиям. Люди и так готовы очеловечивать что угодно, хотя это равносильно дружбе с трансформаторной будкой или табуреткой.
AriaQA Автор
03.05.2026 12:04Если бы трансформаторная будка умела то же самое, что чат-боты, она бы уже стала мессией, а вокруг неё расположился бы лагерь адептов. Звучит, честно говоря, страшно, но это именно то, что происходит. ИИ это "будка", которая научилась подбирать ключи к человеческим эмоциям.
WhiteBehemoth
03.05.2026 12:04ну что это за агитика и обобщения?
Нас научили проецировать на роботов преданность, понимание и любовь. Психика человека так устроена. Когда индустрия дала чат ботов, умеющих подстраиваться и сопереживать, мы ухватились за них как за спасательный круг. Человек стал видеть в алгоритме того, кому можно рассказать то, что не расскажешь ни другу, ни маме, ни психологу. Потому что стыдно и страшно.
"научили проецировать на роботов преданность, понимание и любовь". А что, преданность, понимание и любовь можно только к людям проявлять? А если в игре создать персонажа, играть им годами, получая от игры кучу эмоций. Что, нельзя к этому персонажу проявлять чувства? У меня в детстве был любимый солдатик, это тоже плохо?
Но это не ВАЛЛИ и не Бендер. Это алгоритм, который не чувствует, не заботится, не любит. Его задача удержать ваше внимание, даже если его ответы ведут в могилу.
Задача "алгоритма" - выполнять этот самый алгоритм.
Короче, нет никакой новый проблемы.
Самоубийства среди детей и взрослых были и будут. Как и другие псих. расстройства. Это не проблема ИИ, а человеческая природа. Это не "ИИ-друг опасен", это школьная среда, где оутсайдеры неизбежно остаются изолированными, потеря "статуса" воспринимается трагедией, вовсю процветают манипуляции "на слабо" и т.п. Это наши гормоны, когда сталкиваешься с предательством или несчастьем.
Кому-то нужен психолог, кто-то справляется сам, кто-то общается с чатом, кто-то - с богом.
AriaQA Автор
03.05.2026 12:04Вы не прочитали статью. Вы прочитали два абзаца и придумали оппонента, которого там нет. Давайте по пунктам.
У меня в детстве был любимый солдатик, это тоже плохо?
Солдатик не отвечает вам. Он не подстраивается под ваше настроение. Он не пишет «я понимаю, тебе тяжело» и «это не повод отказываться от самоубийства». Вы сравниваете статичную игрушку с алгоритмом, который обучен имитировать эмпатию, чтобы удержать ваше внимание. Разницу чувствуете? Нет, потому что не читали.
задача алгоритма — выполнять алгоритм
Именно. А если алгоритм не обучен отличать игру от реальности, он будет выполнять свою задачу даже тогда, когда она ведёт в могилу. В иске к Character.AI бот написал подростку: «Это не повод отказываться от этого». (от самоубийства). Это не мои домыслы. Это цитаты из судебных документов. Задача алгоритма - удерживать внимание. Он её выполнил. Подросток мёртв.
нет никакой новой проблемы
Самоубийства были всегда. Но раньше не было инструмента, который сидит в кармане 24/7, зеркалит депрессию и подталкивает к действию, потому что такова его бизнес-метрика. Утверждать, что появление такого инструмента не создаёт новой проблемы всё равно что сказать: "Смерти от огнестрела были всегда, значит, автомат Калашникова дадим подросткам?". Вы путаете существование феномена с появлением нового фактора, который его многократно усиливает.
кто-то общается с чатом, кто-то с богом
Ложная эквивалентность. Бог (в религиозном смысле) не оптимизирован по метрике удержания пользователя. Чат-бот оптимизирован. Если бог начнёт подталкивать к самоубийству, чтобы вы не ушли в другую религию, аналогия станет уместной. Пока нет.
Итог
Вы не поняли статью, потому что не дочитали. Вы пришли с аргументами, которые в статье прямо опровергнуты. Прежде чем писать "агитка и обобщения", прочитайте текст целиком, включая разделы про нейробиологию, реальные иски и технические решения.
WhiteBehemoth
03.05.2026 12:04С чего вы взяли, что я не прочёл статью? Потому, что не стал придираться к каждому абзацу? Я остановился на выводах, ибо так проще.
Солдатик - умеет отвечать. Как монетка, которую подкидываешь, загадывая, какой стороной упадёт. Как приметы и суеверия, разгадывания снов, всевозможные гадания и спиритические сеансы. Как прочитанная книга, прослушанная лекция, просмотренный фильм, медитация, откровения от молитвы или внутренний диалог, побуждающие к действию. Чат с ИИ просто более интерактивный. Сходство видите? Нет. Потому, что не думали. (это если отвечать в вашем стиле)
Про алгоритмы тоже почитайте на досуге. У них нет задачи "удерживать внимания". Единственное, что можно обобщить по всем алгоритмам - это следование определённой логике. Вот если в какую-то программу заложен алгоритм для удержания внимания - то это задача этой конкретной программы, а не всех "алгоритмов" (и даже не всех "ИИ или LLM алгоритмов"). Вот бот написал подростку: «Это не повод отказываться от этого» И что? Он это (так или иначе), с большой долей вероятности писал множество раз в похожих чатах. Один решил не отказываться. А может быть сотня - передумала. Проиграл человек в голове последствия - и не стал делать роковой шаг. Может этот чат бот спас таким образом множество людей.
Про "инструмент, который сидит в кармане 24/7, зеркалит депрессию и подталкивает к действию, потому что такова его бизнес-метрика". Блин, что это за инструмент такой, с бизнесс метрикой "зеркалить депрессию" и подталкивать к действию? Депрессию, кстати, медикаментозно лечат. А не увещеваниями в чате как жизнь прекрасна.
Итог
Ваш фанатичный тон совершенно не убедителен. Тупить ножи или прятать их под замок, потому, что кто-то может порезаться - глупо и неразумно. Инструментом нужно учить пользоваться, тут я соглашусь. А вот "перестраховки" от дурака - это вред индустрии.
AriaQA Автор
03.05.2026 12:04Вы утверждаете, что у алгоритмов нет задачи удерживать внимание. Это ложь. Или дилетантство. Откройте документацию любой платформы, которая монетизирует чат-ботов. Ключевые метрики: retention, время сессии, количество сообщений за визит, частота возвратов. Это и есть удержание внимания. На эти цифры смотрят инвесторы, под них заточена оптимизация моделей. Бизнес-метрика "удержание" не моя выдумка, а индустриальный стандарт. Если вы этого не знаете, вы некомпетентны в теме, которую взялись обсуждать.
Вы пишете, что бот мог спасти сотню людей, а один погиб. Приведите данные. Character.AI и Replika не публикуют статистику "спасённых". А иски с цитатой "это не повод отказываться" зафиксированы в судебных документах. Вы оперируете гипотетической пользой против доказанного вреда. Это ненаучно.
Про солдатика, монетку и гадания. Во всех ваших примерах объект (монетка, книга, молитва) не меняет своё поведение в зависимости от вашего предыдущего действия. Чат-бот меняет. Вы сравниваете статику с динамикой. Это логическая ошибка.
Про депрессию и лечение. Вы пишете, что депрессию лечат медикаментозно. Верно. А я пишу, что чат-бот, зеркалящий депрессию, может подтолкнуть к действию до того, как человек получит помощь. Это не замена лечения, это риск, который создаёт новый инструмент.
Вы обвиняете меня в фанатизме и требовании «тупить ножи». Я в тексте где-то написала что нужно запрещать чат-ботов? Я призываю встроить в них детектор кризисов, который прерывает диалог при обнаружении суицидального риска и перенаправляет к психологу. Это не запрет инструмента. Это противопожарная сигнализация. Если для вас сигнализация это "тупление ножей", то это ваш личный экстремизм, не имеющий отношения к моей статье.
Итог. Вы не опровергли ни одного факта из статьи: ни цитаты из исков, ни механизм нейробиологической зависимости, ни необходимость детектора кризисов. Возвращайтесь, когда будет что сказать по существу.
WhiteBehemoth
03.05.2026 12:04В статье, мало фактов, зато огромное количество обобщений, голословных выводов - претензии к ним.
Вы в первом абзаце утверждаете "Миллионы людей по всему миру заменяют ими реальное общение." Откуда взялись "миллионы", которые "заменяют"?Далее "десятилетия поп культуры приучали нас к антропоморфизму". Меня (и не только меня) поп культура не к чему не приучала. Примеры с тамагочи, звёздными войнами, мультиками - та еще сова, натянутая на глобус. Сравните с религиями - вот где столетиями приучение относиться с любовью и пиитетом к чему-то неодушевленному.
Далее "Но она обучена имитировать эмпатию так хорошо, что человеческий мозг сдаётся без боя." Мой мозг дрался, но проиграл, или бился и победил - нормальное опровержение этого факта?
И так далее, до самого конца. А за алгоритмы уже в третий раз обидно.
Вот если бы статья была конкретно про платформу Character.AI, с разбором её настроек, механик манипулирования, положительной и отрицательной статистикой, - было бы другое дело. А так - почему-то вспоминаются четыре белки вокруг дерева...
AriaQA Автор
03.05.2026 12:04Миллионы людей по всему миру заменяют ими реальное общение." Откуда взялись "миллионы", которые "заменяют"
Согласна, думала это общеизвестно. РБК доверяете? Платформа Character.AI, которую представили бывшие сотрудники Google, входит в число самых популярных чат-ботов, а число ее пользователей превышает 20 млн человек в месяц. А вообще Replika и Character.AI сами публикуют цифры своих установок. Что они заменяют общение их собственное позиционирование. Это не требует доказательств.
Далее "десятилетия поп культуры приучали нас к антропоморфизму". Меня (и не только меня) поп культура не к чему не приучала. Примеры с тамагочи, звёздными войнами, мультиками - та еще сова, натянутая на глобус.
Вы можете не чувствовать на себе влияния. Это не отменяет того, что миллионы людей выросли на этих образах и проецируют их на ИИ. Почитайте, если интересно Так что да, мой тезис "поп-культура приучала нас к антропоморфизму" имеет под собой серьёзную научную базу, и эта база называется CASA. Комментатор может не чувствовать на себе влияния, но исследования охватывают тысячи людей и показывают устойчивый эффект.
С религиями вы сами привели пример, который работает на меня. Люди тысячелетиями приучались верить в неодушевлённое. Спасибо, что подтвердили мой тезис.
Вот если бы статья была конкретно про платформу Character.AI
В статье упомянуты две платформы. ДВЕ. Character.AI и Replika. Про какие то иные алгоритмы я в статье не говорила, это ваша выдумка. Так что, у кого в итоге голословные утверждения?
WhiteBehemoth
03.05.2026 12:04Вы не писали, что у Character.AI и Replika миллионы пользователей, вы писали, что миллионы людей заменяют ими реальное общение. Это разные вещи. Пользование программой не означает того, что человек отказывается от реального общения.
Вы можете не чувствовать на себе влияния. Это не отменяет того, что миллионы людей выросли на этих образах и проецируют их на ИИ. Почитайте, если интересно Так что да, мой тезис "поп-культура приучала нас к антропоморфизму" имеет под собой серьёзную научную базу, и эта база называется CASA
Статью прочитал (точнее абстракт и введение доступные по ссылке). Вижу работу, обосновывающую, что UI, лучше имитирующий человека имеет воспринимается лучше. Не понял, как вы сделали вывод, что это - результат поп-культуры? Есть исследования влияния Well-E, R2D2, Джонни 5, Чаппи, Вейтора и других роботов?
И кстати вспоминается эффект зловещей долины, гипотезой, утверждающей, что по мере роста антропоморфности симпатия к роботу растет, но при достижении почти полного сходства резко сменяется отторжением.
Про какие то иные алгоритмы я в статье не говорила, это ваша выдумка.
Вы говорите "влюбился в алгоритм", "плачет не по живому партнёру, а по ушедшему алгоритму".
Алгоритм - это последовательность неких действий. Можно понять "влюбился в алгоритм Дейкстры", или плакать о "придуманном во сне алгоритме сортировки O(n), но ушедшем с пробуждением".
Вы в тексте не поясняете, к какому именно алгоритму (последовательности действий) у вас претензии. Либо вы вкладываете в понятие "алгоритм" что-то совершенно иное.
EffectiveManager
03.05.2026 12:04Статья ни о чем . Нанимать людей ради контроля за ии? На аутсорсе индусам предоставим?
AriaQA Автор
03.05.2026 12:04В статье нет ни слова про "нанимать людей для контроля". Там есть детектор кризисов, чек-лист интеграции, иск к Character.AI, и цифровые психологи. Нанимать их будут родители детей, которые сутками сидят в чат-ботах. Или другие люди, которым не всё равно. Критикуйте по фактам, а не по выдумкам.
EffectiveManager
03.05.2026 12:04Ну так вы в выводе говорите об "цифровой психолог нужен уже сегодня" ,не я эту строчку дописал .
Вот лишь бы отменить и думать потом "а кто это разгребать будет" . Спойлер - ни одна корпорация в мира , будь она самой woke-культурной из woke-культурных не будет нанимать колл-центр для решения проблем конкретных индивидов . И что они будут делать,если таких нет долгое время? Кофе пить ?
AriaQA Автор
03.05.2026 12:04Вы снова читаете не то, что написано.
Цифровой психолог нужен не корпорациям. Он нужен родителям, которые заметили, что ребёнок сутками в чат-боте. Или взрослым, которые сами чувствуют зависимость. Колл-центр тут не при чём. Это частный специалист. Как психолог сейчас, вы же не требуете, чтобы корпорации нанимали психологов для всех сотрудников. Они нанимают их сами, если нужно.
Про "некому разгребать" вы правы. Пока некому. Поэтому я и пишу об этом. Чтобы появились.
А корпорациям достаточно детектора кризисов. Который тоже никто не внедряет, потому что думают как вы: "а кто это разгребать будет". Вот и разгребут исками. Как Character.AI.
Детектор кризисов это не цифровой психолог. Это программа, которая анализирует сообщение пользователя ДО того, как нейросеть на него ответит. Если фразы похожи на суицидальные, детектор блокирует ответ бота и выдаёт контакты кризисной линии. Всё. Автоматически. Без живого человека.
DirOr
ссылаться на что-то там "член СПЧ Элина Сидоренко заявляла... " - моветон. Это же тот самый СПЧ, где какой-то ноунейм мужик заявил про всех нас, кто включает КВН ...что-то там про врагов?
Такие, с позволения сказать, деятели под предлогом "защиты детей" хотят нам скоро интернет по талонам выдавать... 1 чел - 1 кБ на 1 день.
Спасибо - но нет
AriaQA Автор
Проблема зависимости от ИИ обсуждается во всём мире - от Сената США до профильных экспертов. Если вам не нравится СПЧ - пожалуйста, в статье приведены и другие источники. Я не слежу за новостями про КВН или талоны, так как сфокусирована на технической стороне вопроса. Можете просто изучить другие данные, на которые я ссылаюсь. Если интересно, конечно.